是否有另一种方法告诉 Bing 不要抓取/传递/单击/输入某个链接,例如 google 的 rel=nofollow?
msnbot/2.0b 一直被困在我的机器人陷阱中。它不遵守锚标签 rel="nofollow"。
限制:
- 我无法添加到 robots.txt 的链接,因为该链接是动态参数键,即 anypage.php?xirh398。每个会话的密钥都是唯一的,每 5 分钟更改一次。
- 我不能使用元标记,因为陷阱不是页面。
- 我不能使用 HTTP 标头,因为那时机器人已经被禁止。
- 我不想不断更新白名单。