google-app-engine - 为 AppEngine 上的爬虫付费

Question

昨天我的应用程序被 HUMANS 访问了 35 次。然而，似乎有一台机器正在抓取该网站。我在几个小时内（主要是前端实例时间）就超出了配额。

今天我每天最多支付 5 美元。对于 35 个真实的人来说，这似乎太多了。

对于阻止普通用户访问我的网站的爬虫，我感觉不太好。给你们2个问题：

1. 发生这种情况正常吗？
2. 我能做些什么来投资真实用户而不是爬虫？（我不是在谈论不引用我的应用程序）

应用程序：www.conceptstore.me

Answer 1

一个表现良好的爬虫应该：

• 遵守规则/robots.txt- 所以上传一个。仅此一项就足够了。
• 提供一个独特的User-AgentHTTP 请求标头 - 因此查看自动记录在 App Engine 日志中的用户代理，然后为您不喜欢的用户代理返回错误页面。