python - 来自推特的语料库

Question

作为开发人员，我是 Twitter 的新手。我看到有人可以使用推文的 ID 下载数据集。然而，twitter API 有下载限制。

有没有更快的方法来做到这一点？

Answer 1

如果您只想获取用户名的推文，可以这样做：

import httplib
import json
import urllib2
import pprint

def feed(username, messages=50):
    template = 'https://api.twitter.com/1/statuses/user_timeline.json?' + \
               'include_entities=false&include_rts=true&screen_name=%s&count=%i'
    url    = template % (username, messages)
    output = urllib2.urlopen(url)
    html   = ''.join(output.readlines())
    tweet  = json.loads(html)
    # pprint.pprint(tweet)
    return list(map(lambda t : t['text'], tweet))

result = feed('noelevans', messages=100)

Answer 2

即使您没有用户名，也可以这样做来获取一组推文：

import httplib
import json
import urllib2
import pprint

def feed(ids):
    result   = []
    template = 'https://api.twitter.com/1/statuses/show.json?id=%i&include_entities=true'
    for id in ids:
        url    = template % id
        output = urllib2.urlopen(url)
        html   = ''.join(output.readlines())
        tweet  = json.loads(html)
        # pprint.pprint(tweet)
        result.append(tweet['text'])
    return result

tweets = [277496833788489728, 276760134124969984]
result = feed(tweets)