0

我已将文本从 pdf(使用 pdfplumber)提取到 txt,但在 PDF 文件中没有的单词之间有一些空格。 在此处输入图像描述

我尝试使用“Previous_word”+“current_word”组合来查找单词,并检查它们是否存在于 NLTK.words 中以找出单词之间有多余空格的位置,但效果不佳。

我正在寻找一些建议,谢谢

4

2 回答 2

0

我建议寻找两个不在您的语料库中的后续单词的出现,这应该揭示这种拆分不会导致其他英语单词的所有情况。

于 2021-03-15T13:13:38.593 回答
0

将带有两个空格的单词放入列表的示例逻辑,然后您可以实现您喜欢的功能:

text = """
asdasd  asd asdd d
uuurr ii ii  rrr
"""

words = text.split(" ") #<- split if 1 spaces
dictionary = list() #<- dictionary list to compare
words_wrapper = list() #<- list of words with 2 spaces

for idx in range(len(words)):
    if words[idx] == '':
        word = f"{words[idx-1]} {words[idx+1]}"
        words_wrapper.append(word)
        if word in dictionary:
            pass #<- do sth 
            
# Print filtered words
print(words_wrapper)

或者您也可以使用 .join 将带有 2 个空格的单词组合在一起:

text = """
asdasd  asd asdd d
uuurr ii ii  rrr
"""

print("".join(text.split("  ")))
于 2021-03-15T13:21:07.570 回答