1

好的,我对此有点困惑,一直在环顾四周,找不到任何答案,所以我在这里。我希望阻止多个子目录(动态 url)

例子:

/virtual-news/itemlist/allo/
/online-news/itemlist/hi/
/blahblah-news/itemlist/goodbye/
/something-news/itemlist/allllo/

所以要阻止蜘蛛索引任何包含 /itemlist/ 目录的 url,我可以使用它吗?

Disallow: /*/itemlist/*

这有意义吗?但我不确定,也找不到太多关于此的信息

4

1 回答 1

0

如果机器人还没有从您的网站索引内容,那么阻止访问robots.txt就可以了。如果他们已经将内容编入索引并且您希望将其删除,则不要阻止访问并返回 404 或 410(来自https://youtu.be/G29Zt-UH_Ko)。

于 2015-09-09T19:11:17.920 回答