python - 使用 urllib 而不是 twitter api 抓取 twitter

Question

我想从 twitter 抓取数据。我正在使用 twitter api，但受到速率限制的限制，运行速度非常慢。或者，我可以通过直接解析 url 来绕过 twitter api，例如。urllib 包。但这就是我所知道的。

你们能否提供更多关于如何在不使用 twitter api 的情况下从 twitter 抓取时间线和跟踪数据的帮助？你有什么建议吗？提前致谢。

PS：我正在使用 Python 进行编程。

Answer 1

您将需要在此过程中使用 BeautifulSoup。

from BeautifulSoup import BeautifulSoup as soupy
from urllib import urllib
html = urllib.urlopen(YOUR_TWITTER_URL).read()
soup = soupy(html)
for tweet in soup.find('ol',attrs={'class':'stream-items'}).findAll('li'):
     print tweet.find('p').text