我正在构建这个网站，其中包含许多无法在移动设备上正常运行的效果，因此我们构建了一个简单的 html 版本，并在设备不支持所有效果时在其上重定向设备。
Normal version URL: www.mysite.com/#some_page_name
Simple version URL:www.mysite.com/static.php?p=some_page_name
问题是我们不希望谷歌、必应和雅虎在搜索结果中提供简单版本的 URL，我们总是希望人们登陆网站的普通版本。
是否可以使用 Apache、PHP 或 JS 告诉搜索引擎机器人忽略所有以 static.php 开头的 URL？
把它放在你的 robots.txt 文件中：
User-agent: *
Disallow: /static.php
这不仅可以将页面排除在机器人索引之外，还可以防止它们一起抓取它们。
使用 robots.txt 文件，在您的情况下，它看起来像
# www.robotstxt.org/
User-agent: *
Disallow: /static.php
您可以在此处阅读有关 robots.txt的更多信息
您可以使用robots.txt执行此操作：
User-agent: *
Disallow: *static.php
这*是一个通配符，因此这将影响所有称为 static.php 的页面。因此，如果您在子目录中遵循类似的范例，这也会影响它们。