User-agent: *
Allow: /

# 允许爬取主要目录
Allow: /css/
Allow: /js/
Allow: /img/
Allow: /vendor/

# 禁止爬取临时文件和备份文件
Disallow: /less/
Disallow: /gulpfile.js
Disallow: /package.json
Disallow: /node_modules/
Disallow: /.git/
Disallow: /.*\.bak$
Disallow: /.*\.tmp$

# 禁止爬取特定文件类型
Disallow: /*.json$
Disallow: /*.xml$
Disallow: /*.txt$

# 指定sitemap位置
Sitemap: https://www.spreadqd.com/sitemap.xml

# 爬取延迟（秒）
Crawl-delay: 1