django - Django 机器人.txt 错误

Question

我正在尝试使用 robots.txt 禁用所有进入我的开发服务器以进行测试的网络爬虫

当我在浏览器中输入 127.0.0.1:8000/robot.txt 时。为什么robot.txt 没有出现在我的浏览器中？

Page not found (404)
127.0.0.1:8000/robot.txt

网址.py：

  from django.http import HttpResponse

  (r'^robots\.txt$', lambda r: HttpResponse("User-agent: *\nDisallow: /", mimetype="text/plain")),

Answer 1

您正在尝试访问robot.txt而不是robots.txt.

你应该访问http://localhost/127.0.0.1:8000/robots.txt

Answer 2

顺便说一句，它应该在 urls.py 中而不是在 views.py 中。

像这样：

from django.http import HttpResponse

urlpatterns = patterns('',
    ...
    (r'^robots\.txt$', lambda r: HttpResponse("User-agent: *\nDisallow: /", mimetype="text/plain"))
)