python - 获取 URL 时如何删除 Google App Engine 默认标头？

Question

我正在尝试在 GAE 上构建一个小型应用程序，以帮助我管理我感兴趣的 craigslist 列表。我想从我的应用程序中从这些列表中获取一些数据，但每次我这样做时，我都会从 craigslist 获得 404。

经过一番调查，事实证明我的代码不是罪魁祸首：craigslist 查看 HTTP 标头并在用户代理标头中找到“AppEngine-Google”时系统地返回 404！

你可以用 curl 看到：

curl http://sfbay.craigslist.org/

工作（返回页面）。

curl http://sfbay.craigslist.org/ --header "User-Agent: AppEngine-Google"

什么都不给。

知道如何删除 GAE 默认设置的标头吗？或者解决这个问题的另一个想法？

Answer 1

发出传出请求时，无法阻止 App Engine 识别自身。这是为了防止滥用。

如果 Craigslist 选择将 App Engine 列入黑名单，您需要与他们讨论这件事，而不是试图回避它。