我需要有关使用 robots.txt 问题的指南如下。
我有一个实时网站“www.faisal.com”或“faisal.com”,并有两个测试网络服务器,如下所示
“faisal.jupiter.com”和“faisal.dev.com”
我想要一个 robots.txt 来处理这一切,我不希望爬虫从“faisal.jupiter.com”和“faisal.dev.com”索引页面只允许从“www.faisal.com”索引页面或“faisal.com”
我想要一个 robots.txt 文件,该文件将在所有网络服务器上,并且应该只允许索引实时网站。