7

我正在尝试使用由 nltk.ConditionalFreqDist 生成的表格，但我似乎找不到任何关于将表格写入 csv 文件或导出为其他格式的文档。我很想在 pandas 数据框对象中使用它，这也很容易写入 csv。我能找到的唯一线程建议对 CFD 对象进行酸洗，但这并不能真正解决我的问题。

我编写了以下函数来将 nltk.ConditionalFreqDist 对象转换为 pd.DataFrame：

def nltk_cfd_to_pd_dataframe(cfd):
    """ Converts an nltk.ConditionalFreqDist object into a pandas DataFrame object. """

    df = pd.DataFrame()
    for cond in cfd.conditions():
        col = pd.DataFrame(pd.Series(dict(cfd[cond])))
        col.columns = [cond]
        df = df.join(col, how = 'outer')

    df = df.fillna(0)

    return df

但是，如果我要这样做，也许首先编写一个新的 ConditionalFreqDist 函数来生成一个 pd.DataFrame 是有意义的。但在我重新发明轮子之前，我想看看是否有任何我遗漏的技巧——无论是在 NLTK 中还是在其他地方，使 ConditionalFreqDist 对象与其他格式对话，最重要的是将其导出到 csv 文件。

谢谢。

4

4 回答 4

5

您可以将 FreqDist 视为一个字典，并使用 from_dict 从那里创建一个数据框

fdist = nltk.FreqDist( ... )    
df_fdist = pd.DataFrame.from_dict(fdist, orient='index')
df_fdist.columns = ['Frequency']
df_fdist.index.name = 'Term'
print(df_fdist)
df_fdist.to_csv(...)

输出：

                      Frequency
Term
is                    70464
a                     26429
the                   15079
于 2018-09-05T21:15:57.067 回答
5 
pd.DataFrame(freq_dist.items(), columns=['word', 'frequency'])
于 2019-12-12T17:32:39.830 回答
2

好的，所以我继续编写了一个条件频率分布函数，它接受一个像nltk.ConditionalFreqDist函数一样的元组列表，但返回一个 pandas Dataframe 对象。比将 cfd 对象转换为数据框更快：

def cond_freq_dist(data):
    """ Takes a list of tuples and returns a conditional frequency distribution as a pandas dataframe. """

    cfd = {}
    for cond, freq in data:
        try:
            cfd[cond][freq] += 1
        except KeyError:
            try:
                cfd[cond][freq] = 1
            except KeyError:
                cfd[cond] = {freq: 1}

    return pd.DataFrame(cfd).fillna(0)
于 2013-03-03T00:19:29.107 回答
1

这是使用 a 的好地方collections.defaultdict：

from collections import defaultdict
import pandas as pd

def cond_freq_dist(data):
    """ Takes a list of tuples and returns a conditional frequency 
    distribution as a pandas dataframe. """

    cdf = defaultdict(defaultdict(int))
    for cond, freq in data:
        cfd[cond][freq] += 1
    return pd.DataFrame(cfd).fillna(0)

说明： adefaultdict基本上在幕后处理@primelens 的答案中的异常处理。KeyError不是在引用一个还不存在的键时引发，而是defaultdict首先使用提供的构造函数为该键创建一个对象，然后继续使用该对象。对于 inner dict，默认值是int()我们0随后添加的那个1。

请注意，由于 - 中的默认构造函数，这样的对象可能无法很好地defaultdicts腌制 a defaultdict，您需要将其转换为dict拳头：dict(myDefaultDict)。

于 2016-02-24T12:09:16.770 回答