我正在使用一个包含多个字段、一些文本和几个隐藏的表单。问题是，当我查看 mechanize.Browser 对象“看到”的字段列表时，缺少一些重要的隐藏字段，但不是全部。根据这个类似问题的最流行的答案，这是因为网页正在查询用户代理字符串。对我来说不是这样，我知道这有两个原因：
对我有帮助的是该问题的第二受欢迎的解决方案，但我不明白为什么会这样。为什么 Mechanize 会“看到”一些隐藏的表单字段而不是其他字段，需要手动输入缺失的字段？
诚然，我不知道您实际上想对您做什么 - 但作为多年来一直在抓取网页的人，我必须给您一些不请自来的建议。我提前道歉。
我强烈建议您过渡到可以处理 javascript 的东西。Mechanize 是一个很棒的模块，它在过去非常有用，但是网络上全是闪烁的灯光、CSS 和跳舞的婴儿，你必须点击。
我这么说的原因是，“隐藏”字段可能是一些花哨的东西，或者它们可能是 javascript 修改的形式，你会浪费数小时试图逆向工程它是如何工作的，只是将方形钉锤入圆孔。
我建议的现代但不幸的是 Mechanize 的重量级替代品是：
phantomjs提供基于 WebKit 的以 javascript 为中心的方式与网页交互（无头，这是一个奖励）它基于 Qt，但具有可靠的发布二进制文件，如果您从源代码构建它实际上包含运行所需的所有内容，而无需同步使用某些特定版本的 Qt。
QtWebKit 的PySide绑定很漂亮，虽然可能会有一些学习曲线，但恕我直言，我最喜欢的是因为能够进入浏览器内部并弄脏我的手来看看发生了什么真是太好了。
WebKit 还提供了一个不错的接口（虽然 Python 对它的支持很差），您可以在其中启用浏览器中的 websocket 服务器，并使用Inspector.json中定义的 API 通过 websocket 驱动它。Stock Chrome 开箱即用地支持此功能。您可以在 Chrome 开发者网站上找到更多详细信息。
因此，WebKit 非常重，与您要询问的内容无关 - 但从长远来看，这将是您最终能够真正自动导航和抓取网络的地方。