seo - 制作 robots.txt

Question

我正在为我的网站制作一个 robots.txt。任何人都可以证明我做得对吗？如果我错了，请告诉我如何以正确的形式书写。 admincp，adminpp等是我的托管服务器中的文件夹：

User-agent: *
Disallow: /admincp/
Disallow: /adminpp/
Disallow: /Advertise with us/
Disallow: /ajax/
Disallow: /banner/
Disallow: /cont_img/
Disallow: /corcel/
Disallow: /css/
Disallow: /fbold/
Disallow: /images/
Disallow: /img/
Disallow: /js/
Disallow: /pic/
Disallow: /Scripts/
Disallow: /textpimg/
Disallow: /thumb_uploadtopics/
Disallow: /upload_p1/
Disallow: /uploadtopics/

Answer 1

您可以阅读这篇文章以更好地掌握编写 Robots.txt

http://seoroi.com/seo-faq/robotstxt-what-it-is-why-its-used-and-how-to-write-it/

例如，您可以编写：

User-agent: *
Disallow: /src/
Disallow: /cgi-bin/
Disallow: /~zohaib/
Disallow: /temp/

是的，你似乎做得对。

Answer 2

如果您正确地写下您的文件夹名称和页面名称而不是正确的，那么我在您的 robots.txt 文件中没有看到任何问题。

如果你想知道一些说明。

用户代理：* --> 表示您允许所有搜索引擎机器人进行爬网。

Disallow : ---> 表示您不想允许访问者访问哪个文件夹和页面。