下面是一个示例robots.txt文件，用于允许多个用户代理对每个用户代理有多个抓取延迟。Crawl-delay 值用于说明目的，在真实的 robots.txt 文件中会有所不同。
我在网上搜索了正确的答案，但找不到一个。有太多混合的建议，我不知道哪个是正确/正确的方法。
问题：
(1) 每个用户代理都可以有自己的抓取延迟吗？（我假设是的）
(2) 你把每个用户代理的 crawl-delay 行放在 Allow / Dissallow 行之前还是之后？
(3) 每个用户代理组之间是否必须有空格。
参考：
http://www.seopt.com/2013/01/robots-text-file/
http://help.yandex.com/webmaster/?id=1113851#1113858
本质上，我希望使用下面示例中的值来了解最终 robots.txt 文件的外观。
提前致谢。
# Allow only major search spiders
User-agent: Mediapartners-Google
Disallow:
Crawl-delay: 11
User-agent: Googlebot
Disallow:
Crawl-delay: 12
User-agent: Adsbot-Google
Disallow:
Crawl-delay: 13
User-agent: Googlebot-Image
Disallow:
Crawl-delay: 14
User-agent: Googlebot-Mobile
Disallow:
Crawl-delay: 15
User-agent: MSNBot
Disallow:
Crawl-delay: 16
User-agent: bingbot
Disallow:
Crawl-delay: 17
User-agent: Slurp
Disallow:
Crawl-delay: 18
User-agent: Yahoo! Slurp
Disallow:
Crawl-delay: 19
# Block all other spiders
User-agent: *
Disallow: /
# Block Directories for all spiders
User-agent: *
Disallow: /ads/
Disallow: /cgi-bin/
Disallow: /scripts/
(4) 如果我想将所有用户代理的抓取延迟设置为 10 秒，以下是否正确？
# Allow only major search spiders
User-agent: *
Crawl-delay: 10
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow:
User-agent: Adsbot-Google
Disallow:
User-agent: Googlebot-Image
Disallow:
User-agent: Googlebot-Mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: bingbot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Yahoo! Slurp
Disallow:
# Block all other spiders
User-agent: *
Disallow: /
# Block Directories for all spiders
User-agent: *
Disallow: /ads/
Disallow: /cgi-bin/
Disallow: /scripts/