python - python webcrawler的一个很好的用户代理

Question

我正在制作一个 python 爬虫，我正在考虑一个用户代理。

任何人都可以想到用户代理。

或/和有没有人有计划

我有点像“urllib（兼容；owi bot；+owi.tk/bot）”（这是 googlebot 重写的）。

所以有人可以帮助我吗

Answer 1

补一张就行了 如果您的机器人做错/坏/愚蠢/伟大的事情，可以联系您的奖励积分。规范在RFC2616秒中。14.43 (HTTP/1.1)。

请不要只是复制一些东西！

此外，在爬取 Stackoverflow 和朋友的坏链接时学到了一些实用的东西：

从第 0 天开始，为自己设置一个适当的用户代理字符串。