好的,我对此有点困惑,一直在环顾四周,找不到任何答案,所以我在这里。我希望阻止多个子目录(动态 url)
例子:
/virtual-news/itemlist/allo/
/online-news/itemlist/hi/
/blahblah-news/itemlist/goodbye/
/something-news/itemlist/allllo/
所以要阻止蜘蛛索引任何包含 /itemlist/ 目录的 url,我可以使用它吗?
Disallow: /*/itemlist/*
这有意义吗?但我不确定,也找不到太多关于此的信息