4

我已经下载了我的 Twitter 档案，我正在尝试对我与谁交谈最多的人进行一些分析。

Tweets CSV 列如下所示：

tweet_id,in_reply_to_status_id,in_reply_to_user_id,retweeted_status_id,retweeted_status_user_id,timestamp,source

我使用 read_csv() 将 tweets.csv 文件导入到名为“indata”的数据框中。

然后，为了获取推文中提到的所有@handles 的列表，我使用了以下内容：

handles = indata['text'].str.findall('@[a-zA-Z0-9_-]*')

结果：

timestamp
...
2013-04-12 11:24:27                                [@danbarker]
2013-04-12 11:22:32                                  [@SeekTom]
2013-04-12 10:50:45    [@33Digital, @HotwirePR, @kobygeddes, @]
2013-04-12 08:00:03                              [@mccandelish]
2013-04-12 07:59:01                                [@Mumbrella]
...
Name: text, dtype: object

我想做的是按个人句柄和日期分组，以显示多年来我与谁交谈最多的人数。

有什么建议么？

4

1 回答 1

3

一种纯粹的 pandas 方法可能是应用 Series 构造函数将其放入一个 DataFrame 并堆栈到一个 Series 中（因此您可以使用 value_counts）......如果您不关心索引/时间戳，您可以使用集合（可能更快）：

In [11]: df = pd.DataFrame([['@a @b'], ['@a'], ['@c']], columns=['tweets'])

In [12]: df
Out[12]:
  tweets
0  @a @b
1     @a
2     @c

In [13]: at_mentions = df['tweets'].str.findall('@[a-zA-Z0-9_]+')

注意：我会使用+而不是*在这里，因为我认为不@应该单独包括在内。

In [14]: at_mentions
Out[14]:
0    [@a, @b]
1        [@a]
2        [@c]
Name: tweets, dtype: object

使用集合的计数器非常简单：

In [21]: from collections import Counter

In [22]: Counter(at_mentions.sum())
Out[22]: Counter({'@a': 2, '@b': 1, '@c': 1})

pandas 方式会保留索引（时间）信息。

ApplySeries 构造函数获取 DataFrame 并将stack其放入 Series：

In [31]: all_mentions = at_mentions.apply(pd.Series)

In [32]: all_mentions
Out[33]:
    0    1
0  @a   @b
1  @a  NaN
2  @c  NaN

我们可以在此处整理名称，以便对正在发生的事情更具描述性：

In [33]: all_mentions.columns.name = 'at_number'

In [34]: all_mentions.index.name = 'tweet'  # this is timestamp in your example

现在，当我们堆叠时，我们会看到关卡的名称：

In [35]: all_mentions = all_mentions.stack()

In [36]: all_mentions
Out[36]:
tweet  at_number
1      0            @a
       1            @b
2      0            @a
3      0            @c
dtype: object

我们可以在这里做很多其他的分析，例如value_counts：

In [37]: all_mentions.value_counts()
Out[37]:
@a    2
@c    1
@b    1
dtype: int64

最终结果等价于pd.Series(Counter(at_mentions.sum()))。

于 2013-08-01T08:58:39.183 回答