[2013 年更新]
我找不到用于 WordPress 的 robots.txt 文件格式的权威页面。我保证在我的网站上维护一个，但我想要一个堆栈溢出。
如果您知道自己在做什么，请在此处查看当前草稿：
其他人对此发表评论：
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Sitemap: http://domain.com/sitemap.xml
Crawl-delay: 4
User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /e/
Disallow: /show-error-*
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /comment-page-
Allow: /wp-content/uploads/
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://yoursite.com/sitemap.xml
我认为此代码对于 robots.txt 文件非常真实，只需转到 Public_HTML 并使用 robots.txt 创建文件并粘贴上面的代码。您可以在记事本中制作，只需复制上面的代码并粘贴到记事本中，但记住文件名应该为 robots.txt 并上传到您的 public_HTML。
与所有 SEO 一样，事情会发生变化。我认为目前的建议是拥有一个非常小的 robots.txt 文件。
忽略 wp-admin、wp-includes、wp-content 等可能会阻止 Google 正确呈现页面，这是它不喜欢的。
查看 Yoast 的这篇文章：https ://yoast.com/wordpress-robots-txt-example/ 。
在记事本 robots.txt 中创建并上传到 CPANEL 中的 public_html。
*请记住在将文件上传到 public_html 之前将其重命名为 robots
robots.txt在您现在的单个 Google 尝试加载所有资产以确定“移动友好性”时，阻止太多是不安全的。至少您可以阻止/wp-admin。这是StackExchange 论坛上针对 WordPress 的问题的更详细的最新答案。