0

我如何禁止 robots.txt 对页面进行索引

http://example.net/something,category1.php
http://example.net/something,category2.php
(...)
http://example.net/something,category152.php

我试过

Disallow: /something,*.php

但它说,我不能在这里使用通配符 (*)。

4

1 回答 1

0

您可以更改链接格式并将所有Disallow页面打包到一个 url 目录或编写程序/脚本以生成robots.txt所有Disallow可能的Disallow链接外观。

于 2010-07-22T09:48:26.537 回答