.htaccess - 禁止动态 htaccess 重写 url

Question

我如何禁止 robots.txt 对页面进行索引

http://example.net/something,category1.php
http://example.net/something,category2.php
(...)
http://example.net/something,category152.php

我试过

Disallow: /something,*.php

但它说，我不能在这里使用通配符 (*)。

Answer 1

您可以更改链接格式并将所有Disallow页面打包到一个 url 目录或编写程序/脚本以生成robots.txt所有Disallow可能的Disallow链接外观。