那我应该怎么做
用户代理: *
不允许: /
就这么简单吗?还是不会抓取根目录中的文件?
基本上这就是我所追求的 - 抓取根目录中的所有文件/页面,但根本没有任何文件夹,或者我必须明确指定每个文件夹..即
禁止:/管理员
禁止:/this
.. ETC
谢谢
纳特
那我应该怎么做
用户代理: *
不允许: /
就这么简单吗?还是不会抓取根目录中的文件?
基本上这就是我所追求的 - 抓取根目录中的所有文件/页面,但根本没有任何文件夹,或者我必须明确指定每个文件夹..即
禁止:/管理员
禁止:/this
.. ETC
谢谢
纳特