1

我正在尝试获取需要用户名和密码的域后面的 pdf 文件。我可以让 MechanicalSoup 输入我的登录凭据，但是当我导航到 pdf 文件时，我可以使用 MechanicalSoups launch_browser() 很好地查看 pdf，但我无法下载 pdf。过去（当在 python 2 中为不需要身份验证的站点使用 BeautifulSoup 时）我只会将 url 传递给 urllib2，如下所示：

page = urllib2.urlopen(download_url)
file = open(fileName, 'w')
file.write(page.read())
file.close()

当我对 urllib.requests 进行类似操作时，我发现我现在必须再次输入我的登录凭据。所以我尝试了（按照这里的说明）：

loginUrl = "http://..."
urlToPDF = "http://..."
passman = urllib.request.HTTPPasswordMgrWithDefaultRealm()
passman.add_password(None, loginUrl, "username", "password")

authhandler = urllib.request.HTTPBasicAuthHandler(passman)
opener = urllib.request.build_opener(authhandler)

urllib.request.install_opener(opener)

page = urllib.request.urlopen(urlToPDF)
file = open("test.pdf", "wb")
file.write(page.read())
file.close()

但是，这似乎不起作用。当我将文件名更改为“test”（删除“.pdf”）并在 chrome 中打开时，它似乎将网页写入文件，该网页说我需要单击将我重定向到登录页面的按钮。因此，为什么我尝试在上面的代码中同时使用 loginUrl 和 urlToPDF。

到目前为止，我读过的论坛似乎说上述内容应该有效。或者，考虑到我可以使用 MechanicalSoup 查看 pdf，有没有办法直接使用 MechanicalSoup 下载 pdf？

4

1 回答 1

0

您当然可以使用 MechanicalSoup 下载 PDF。

许多StatefulBrowser方法（包括StatefulBrowser.open和StatefulBrowser.follow_link）的返回值是一个requests.Response对象。如果请求成功，那么你想要的数据就存储在Response.content属性中。所以，下载文件相当于将这个属性写入文件！

这是一个例子：

import mechanicalsoup

browser = mechanicalsoup.StatefulBrowser()
response = browser.open("http://example.com/example.pdf")

with open('your_filename_here.pdf', 'wb') as f:
    f.write(response.content)

在未来，我希望 MechanicalSoup 将更直接地作为一种StatefulBrowser.download方法（或类似的东西）来实现它。在 MechanicalSoup GitHub 页面上查看此问题以跟踪此功能的开发。

于 2017-12-18T21:08:26.177 回答