我希望忽略来自 bingbot 的所有包含查询字符串变量的 URL,at1=
但我不清楚应该使用的模式。
其中之一应该工作吗?
User-agent: bingbot
Disallow: /*at1=
Disallow: *at1=*
为了确认,我可以有一个这样的 URL:
/some-page?at1=4&ca1=5&op1=8
我仍然想/some-page
被访问,但当列出的 URL 有查询字符串参数时不想访问
编辑
一位海报实际上提出了一个 PHP 解决方案,该解决方案在细粒度定位方面可能有意义,但我不确定发送什么正确的 HTTP 状态代码来告诉蜘蛛它不受欢迎。有任何想法吗?