在 robots.txt 我可以放:
#Baiduspider
User-agent: Baiduspider
Disallow: /
#Yandex
User-agent: Yandex
Disallow: /
告诉搜索引擎停止抓取我的应用页面(php 应用)。但是如何通过 GAE 中的 IP 来阻止它们呢?
在 robots.txt 我可以放:
#Baiduspider
User-agent: Baiduspider
Disallow: /
#Yandex
User-agent: Yandex
Disallow: /
告诉搜索引擎停止抓取我的应用页面(php 应用)。但是如何通过 GAE 中的 IP 来阻止它们呢?
有两种方法。
在您的代码中执行此操作。
使用 DOS 工具 https://developers.google.com/appengine/docs/python/config/dos