2

I have a website (Django) on a linux server, but Google isn't finding the site at all. I know that i don't have a robots.txt file on the server. Can someone tell me how to create one, what to write inside and where to place it? That would be a great help!

4

3 回答 3

7

机器人 txt 不适用于谷歌查找您的网站。我认为您必须将您的网站注册到谷歌并添加 sitemap.xml

也看到这个robot.txt

什么是robot.txt

当搜索引擎经常访问您的网站并为您的内容编制索引时，这是非常棒的，但在某些情况下，您的在线内容的部分索引通常不是您想要的。例如，如果您有一个页面的两个版本（一个用于在浏览器中查看，一个用于打印），您宁愿将打印版本排除在爬网之外，否则您可能会面临重复内容的惩罚。此外，如果您的网站上碰巧有您不希望全世界看到的敏感数据，您也会希望搜索引擎不索引这些页面（尽管在这种情况下，不索引敏感数据的唯一可靠方法是在单独的机器上保持离线）。此外，如果您想通过从索引中排除图像、样式表和 javascript 来节省一些带宽，

告诉搜索引擎要避免网站上哪些文件和文件夹的一种方法是使用 Robots 元标记。但由于并非所有搜索引擎都读取元标签，因此机器人元标签很容易被忽视。将您的意愿告知搜索引擎的更好方法是使用 robots.txt 文件。

从什么是 Robots.txt -> http://www.webconfs.com/what-is-robots-txt-article-12.php

于 2012-07-04T09:46:15.533 回答
1

robots.txt 文件用于告诉搜索引擎哪些内容应该或不应该被索引。robots.txt 文件绝不需要被搜索引擎索引。

关于被搜索引擎索引，有很多事情需要注意。

  • 不能保证你会被索引
  • 索引需要时间，一个月，两个月，6个月
  • 为了更快地获得索引，请尝试通过博客评论等方式分享指向您网站的链接，以增加被发现的机会。
  • 通过http://google.com/webmasters网站提交您的网站，这还将为您提供提示和技巧，以使您的网站更好以及抓取统计信息。
于 2012-07-04T11:31:23.690 回答
-1

robots.txt 的位置与 view.py 和此代码相同

在视野中

 def robots(request):      
        import os.path
        BASE = os.path.dirname(os.path.abspath(__file__))
        json_file = open(os.path.join(BASE , 'robots.txt'))    
        json_file.close() 
        return HttpResponse(json_file);

在网址中

 (r'^robots.txt', 'aktel.views.robots'),
于 2014-01-06T06:58:35.907 回答