我如何禁止 robots.txt 对页面进行索引
http://example.net/something,category1.php
http://example.net/something,category2.php
(...)
http://example.net/something,category152.php
我试过
Disallow: /something,*.php
但它说,我不能在这里使用通配符 (*)。
我如何禁止 robots.txt 对页面进行索引
http://example.net/something,category1.php
http://example.net/something,category2.php
(...)
http://example.net/something,category152.php
我试过
Disallow: /something,*.php
但它说,我不能在这里使用通配符 (*)。