python - python脚本收到404问题排查

Question

我有一个 python 脚本，每 3 分钟在 someExampleSite.com 上 ping 12 页。它已经工作了几个月，但今天我开始在每次运行时收到 6 个页面的 404 错误。

因此，我尝试访问正在运行脚本的电脑上的那些 url，它们在 Chrome 和 Safari 中加载良好。我还尝试更改脚本正在使用的用户代理字符串，但这也没有改变任何东西。我还尝试删除 ['If-Modified-Since'] 标头，它也没有改变任何东西。

为什么服务器会为这 6 个页面发送我的脚本 404 但在同一台计算机上我可以将它们加载到 Chrome 和 Safari 中就好了？（我确保在 Chrome 和 Safari 中进行了一次硬刷新，它们仍然加载）

我正在使用 urllib2 发出请求。

Answer 1

这可能有多种原因，例如服务器基于缺少标头或限制而拒绝您的请求。

您可以尝试使用HTTP标头在 chrome 中记录您的请求标头，然后通过在您的请求中添加所有浏览器标头来使用Python 请求库。然后您可以尝试更改或删除标题以查看到底发生了什么。

Answer 2

所以我弄清楚了问题所在。

该网站正在为这 6 个页面返回错误的响应代码。即使它返回 404，它也返回网页。Chrome 和 Safari 似乎忽略了响应代码并显示页面，我的脚本在 404 上中止。