我正在搜索这个主题但没有任何结果，所以我考虑提出一个问题。我知道有一个选项可以使用 www.example.com/#!somecontent 使 AJAX 加载的页面“可抓取”。但是是否有一个选项（即 Meta 标记或 robots.txt 变量）说：“嘿，机器人，禁用 javascipt！”？
它可以在示例中使用：
1) 在线 javascript 游戏，其中包含大量 javascript，对于 SEO 和机器人抓取没什么特别的（机器人内存和节省时间）
2) 使用 PHP、HTML、CSS（元标记更改等）为机器人构建站点。然后使用 AJAX 添加一些额外的功能（例如仅重新加载内容，但不更改元标记），爬虫和机器人不需要分析。在这种情况下，机器人会看到元标记和内容，并且您会阻止锚点的默认操作，并且用户只能通过 AJAX 重新加载内容，在这种情况下，元标记是标准的。
PS）问题不在于：您可以做得更好，或者您可以以其他方式重建应用程序。它是关于：我们可以建议机器人禁用 javascript。