1

我正在使用 cPickle 将字典对象存储到文件中，并且无法获取除第一个之外的任何其他条目。最初该文件tweets.pkl是空的，并且EOFError引发了 。我确信这与它有关。谢谢

#!/usr/bin/env python                                                                                                                                        

from urllib import urlencode, urlopen
from simplejson import loads
from hashlib import md5
from collections import defaultdict
import json
import cPickle as pickle

def fetch_tweets(new_feeds):
    dic = json.loads(new_feeds)
    feeds_file = open('tweets.pkl','r+b')
    try:
        feeds = pickle.load(feeds_file)
    except EOFError:
    #THIS IS BAD
        feeds = defaultdict()
    feeds_file.close()
    # RETURNS ONLY THE FIRST FEED ENTRY                                            
    for i in feeds.iteritems():
        print str(i)

    for i in dic['results']:
        hash = computeHash(i['text'])

        if hash not in feeds:
            appendfeed(hash, i, 'tweets.pkl')


def appendfeed(hash, new_feed, file):
    feed = defaultdict()
    file = open(file, 'a+b')
    feed[hash] = new_feed
    pickle.dump(feed, file)
    file.close()

def computeHash(data):
    h = md5(data.encode('utf-8'))
    return h.hexdigest()
4

1 回答 1

2

feed = defaultdict()每次调用您都在构建一个新字典 ( ) appendfeed，因此新字典会丢失所有以前的引用。然后，您将新的（单项）dict 附加到文件中。

如果您想像这样恢复多个单独的调用dump，那么您将需要多个匹配的调用loador unpickle，我相信。然后，每个调用都应返回一个单独dict的，每个调用一个元素。

如果您想使用多个键存储一个字典，请丢失该append模式并在需要保存时重新腌制整个字典。如果您想要更有效地存储简单映射，请查看shelve或shove

于 2011-03-13T01:03:21.960 回答