3

我创建了一个 python 脚本来提取命名实体，如下所示：

# set java path
java_path = r'C:/Program Files/Java/jre1.8.0_161/bin/java.exe'

os.environ['JAVAHOME'] = java_path

# initialize NER tagger
sn = StanfordNERTagger('C:/Users/Parag/Documents/stanford-ner-2018-10-16/stanford-ner-2018-10-16/classifiers/english.all.3class.distsim.crf.ser.gz',
                       path_to_jar='C:/Users/Parag/Documents/stanford-ner-2018-10-16/stanford-ner-2018-10-16/stanford-ner.jar')

# tag named entities
ner_tagged_sentences = [sn.tag(sent.split()) for sent in dataset_unseen['Text']]

dataset_unseen['Text'] = dataset_unseen.apply(Detectner,axis=1)

# extract all named entities
named_entities = []

for sentence in ner_tagged_sentences:
    temp_entity_name = ''
    temp_named_entity = None

    for term, tag in sentence:
        if tag != 'O':
            temp_entity_name = ' '.join([temp_entity_name, term]).strip()
            temp_named_entity = (temp_entity_name, tag)

        else:
            if temp_named_entity:
                named_entities.append(temp_named_entity)
                temp_entity_name = ''
                temp_named_entity = None

entity_frame = pd.DataFrame(named_entities, columns=['Entity Name', 'Entity Type'])
entity_frame.head()

** 输出 **

 Entity Name      Entity Type       Frequency

 ABC Farms        ORGANIZATION          5 

 Freddy Hill Lane  ORGANIZATION          3 

 North Lane Thames ORGANIZATION          2

现在我想用“######”之类的模式屏蔽这些命名实体，以通过隐藏客户敏感信息来遵循 GDPR 规定。

我尝试了以下选项：

  1. 在原始数据帧上应用循环 - 检查命名实体数据帧中存在的命名实体的文本 - 用“#####”屏蔽命名实体。

  2. 定义一个用于在 Text 中屏蔽命名实体的函数：

def Detectner(row):
    ner_tagged_sentences = [sn.tag(sent.split()) for sent in row['Text']]
    results = ner_tagged_sentences.sub('**********',row['Text'])
    return results

dataset_unseen['Text'] = dataset_unseen.apply(Detectner,axis=1)

但我得到以下错误：

AttributeError: ("'list' object has no attribute 'sub'", 'occurred at index 0')

如何提取和屏蔽 Text 中的命名实体。对此代码的任何改进都非常受欢迎！

4

1 回答 1

1

当您制作标记的句子时，您正在创建list一行

ner_tagged_sentences = [sn.tag(sent.split()) for sent in row['Text']]

typeofner_tagged_sentences是list没有sub方法的。

您可以尝试多种方法来实现使文档匿名的目标：

  1. 将带有非O标签的令牌替换为某物（令牌级）
  2. 直接在文档中替换命名实体文本（字符串级）

看来您正在尝试执行数字（2）

于 2019-10-23T20:55:54.397 回答