python - 爬取 Twitter 时结果重复

Question

while(page<=500):
    tweets=api.GetSearch("#Burma",per_page=100)

为什么它给了我这么多重复的结果。它只给我一页，然后重复 500 次。它给了我和第一页一样的推文。谁能给我一个线索。

Answer 1

您需要分别向 twitter 询问每个页面；在您的循环中，您每次都不断要求相同的页面，而不将页码传递给搜索查询：

import twitter

api = twitter.Api()
page = 1
while page <= 500:
    tweets = api.GetSearch("#Burma", page=page, per_page=100)
    for t in tweets:
        print t.text
    page += 1

您也不需要使用while循环，您可以通过使用循环来简化代码for，并结合xrange()函数：

api = twitter.Api()
for page in xrange(1, 501):
    tweets = api.GetSearch("#Burma", page=page, per_page=100)
    for t in tweets:
        print t.text