有人可以告诉我如何编写 robots.txt 文件。我需要禁止目录的所有页面,但我需要允许访问所有相关子目录。您必须知道我不知道页面和子目录的名称......它们是自动创建的。
例如:
禁止:/dir1/dir2/all-pages.html
允许:/dir1/dir2/all-subdirectories/
(对不起我的英语不好)
有人可以告诉我如何编写 robots.txt 文件。我需要禁止目录的所有页面,但我需要允许访问所有相关子目录。您必须知道我不知道页面和子目录的名称......它们是自动创建的。
例如:
禁止:/dir1/dir2/all-pages.html
允许:/dir1/dir2/all-subdirectories/
(对不起我的英语不好)