我正在尝试从受密码保护的站点下载 .torrent 文件。我已经设法使用 cookie 访问该站点,如下所示:
cookies = {'uid': '232323', 'pass': '31321231jh12j3hj213hj213hk',
'__cfduid': 'kj123kj21kj31k23jkl21j321j3kl213kl21j3'}
try:
# read site content
read = requests.get(s_string, cookies=cookies).content
except RequestException as e:
raise print('Could not connect to somesite: %s' % e)
soup = BeautifulSoup(read, 'html.parser')
使用上面的代码,我可以访问该站点并抓取我需要的数据。使用抓取的数据,我建立了一个指向 .torrent 文件的链接,然后我想下载该文件,但这就是我卡住的地方。
这是我现在正在尝试的:(cookie数据显然不是真实的,就像它不在上面的代码中一样)
cookies = {'uid': '232323', 'pass': '31321231jh12j3hj213hj213hk',
'__cfduid': 'kj123kj21kj31k23jkl21j321j3kl213kl21j3'}
# construct download URL
torrent_url = ('https://www.somesite.com/' + torrent_url)
# for testing purposes DELETE!
print('torrent link:', torrent_url)
# download torrent file into a folder
filename = torrent_url.split('/')[-1]
save_as = 'torrents/' + filename + '.torrent'
try:
r = request.urlretrieve(torrent_url, save_as, data=cookies)
print("Download successful for: " + filename)
except request.URLError as e:
raise print("Error :%s" % e)
这段代码可以在没有 cookie 的情况下在普通站点上运行,但是我试图获取的这个 .torrent 文件位于密码/验证码站点的后面,所以我需要使用 cookie 来抓取它。
所以问题是,我在这里做错了什么?没有data=cookies
我得到http 404 error
和data=cookies
我得到以下错误:
File "/usr/lib/python3.6/http/client.py", line 1064, in _send_output
+ b'\r\n'
TypeError: can't concat str to bytes </error>
附言。在任何人问之前,是的,我 100% 确定 torrent_url 是正确的,我已经打印并手动将其复制/粘贴到我自己的浏览器中提示有问题的 .torrent 文件的下载窗口
编辑:
try:
read = requests.session().get(torrent_url)
with open(save_as, 'wb') as w:
for chunk in read.iter_content(chunk_size=1024):
if chunk:
w.write(chunk)
w.close()
print("Download successful for: " + filename)
except request.URLError as e:
print("Error :%s" % e)
根据 furas 的建议,它现在可以工作了,但是当我尝试打开 .torrent 时,torrent 客户端说“编码无效,无法打开”。
当我打开 .torrent 文件时,里面是这样的:
<h1>Not Found</h1>
<p>Sorry pal :(</p>
<script src="/cdn-cgi/apps/head/o1wasdM-xsd3-9gm7FQY.js"></script>
我是否仍然做错了什么,或者这与网站所有者阻止程序从他的网站下载 .torrent 或类似的东西有关?