2

我有一个文本文件，其中包含许多单词的几种拼写变体：

例如

identification ... ID .. identity...contract.... contr.... contractor...medicine...pills..tables

所以我想要一个包含单词同义词的同义词文本文件，并希望用主要单词替换所有变体。本质上我想要规范化输入文件。

例如，我的同义词列表文件看起来像

identification = ID identify
contracting = contract contractor contractors contra...... 
word3 = word3_1 word3_2 word3_3 ..... word3_n
.
.
.
.
medicine = pills tables drugs...

我希望最终输出文件看起来像

identification ... identification .. identification...contractor.... contractor.... contractor...medicine...medicine..medicine

我如何在 python 中编程？

非常感谢你的帮助！！！

4

2 回答 2

3

您可以阅读同义词文件并将其转换为字典，table：

import re

table={}
with open('synonyms','r') as syn:
    for line in syn:
        match=re.match(r'(\w+)\s+=\s+(.+)',line)
        if match:
            primary,synonyms=match.groups()
            synonyms=[synonym.lower() for synonym in synonyms.split()]
            for synonym in synonyms:
                table[synonym]=primary.lower()

print(table)

产量

{'word3_1': 'word3', 'word3_3': 'word3', 'word3_2': 'word3', 'contr': 'contracting', 'contract': 'contracting', 'contractor': 'contracting', 'contra': 'contracting', 'identify': 'identification', 'contractors': 'contracting', 'word3_n': 'word3', 'ID': 'identification'}

接下来，您可以读取文本文件，并将每个单词替换为其主要同义词table：

with open('textfile','r') as f:
    for line in f:
        print(''.join(table.get(word.lower(),word) 
                      for word in re.findall(r'(\W+|\w+)',line)))

产量

identification     identification    identity   contracting     contracting     contracting   medicine   medicine  medicine
  1. re.findall(r'(\w+|\W+)',line)line在保留空格的同时使用拆分。如果对空格不感兴趣，您也可以使用更简单的line.split().
  2. table.get(word,word)table[word]如果单词在table，则返回，如果word不在word同义词中，则返回table。
于 2011-09-10T21:55:14.997 回答
3

只是一个想法：不要列出一个单词的所有变体，而是看看difflib

>>> get_close_matches('appel', ['ape', 'apple', 'peach', 'puppy'])
['apple', 'ape']
>>> import keyword
>>> get_close_matches('wheel', keyword.kwlist)
['while']
>>> get_close_matches('apple', keyword.kwlist)
[]
>>> get_close_matches('accept', keyword.kwlist)
['except']
于 2011-09-10T21:43:30.727 回答