3

我需要以最快的方式从数据框中拼接字符串，然后创建一个主列表。

给定以下数据框：

import pandas as pd
d=['Hello', 'Helloworld']
f=pd.DataFrame({'strings':d})
f
    strings
0   Hello
1   Helloworld

我想生成一个列表带瓦的字符串（长度为 3），如下所示：（包括所有可能的 3 字母组合。）

[['Hel', 'ell', 'llo'],['Hel', 'ell', 'llo', 'low', 'owo', 'wor', 'orl', 'rld']]

...以及所有唯一值的主列表，如下所示：

['wor', 'Hel', 'ell', 'owo', 'llo', 'rld', 'orl', 'low']

我可以这样做，但我怀疑有一种更快的方法：

#Shingle into strings of exactly 3
def shingle(word):
    r = [word[i:i + 3] for i in range(len(word) - 3 + 1)]
    return [''.join(t) for t in r]
#Shingle (i.e. "hello" -> "hel","ell",'llo')
r=[shingle(w) for w in f['strings']]
#Get all elements into one list:
import itertools
colsunq=list(itertools.chain.from_iterable(r))
#Remove duplicates:
colsunq=list(set(colsunq))
colsunq

['wor', 'Hel', 'ell', 'owo', 'llo', 'rld', 'orl', 'low']

提前致谢！

4

2 回答 2

1

我迟到了 4 年，但这是一个答案。我认为不可能确定“最快”的方式，因为这在很大程度上取决于硬件和算法。（它可能属于类似于Kolmogorov 复杂性的东西。）

但是，我需要打包超过 1100 万个文件。我将每个单词放在一个 numpy 数组中并运行以下代码。

shingles = set()

for i in range(words.shape[0] - w + 1):
    a = words[i:i + w]
    shingles.add(tuple(a))

该代码在大约 6 小时内处理了 272 亿个单词。

于 2021-08-10T21:30:15.853 回答
1

如果您想组合一系列单词，则此方法有效：

def shingles(word, n = 3):
    return [word[i:i + n] for i in range(len(word) - n + 1)]

df['shingles'] = df2.to_shingle_col.map(shingles)

所以，如果你有类似的东西

[123,456,789,123,456] 你会得到

[[123,456,789]，[456,789,123]，[789,123,456]]

于 2021-12-06T15:41:43.503 回答