machine-learning - 提取相关句子到实体

Question

您是否知道 NLP 中的一些论文或算法能够从与给定实体（术语）相关的文本中提取句子。我想处理一些评论（主要是技术），但我发现许多评论提到不止一种产品（他们进行比较）。我想从该文本中提取与一种产品相关的句子，或删除与特定命名实体（产品）无关的句子。

我的questin是怎么做的？有相关的论文吗？这样的事情是由一些工具包或api完成的吗？

Answer 1

您想要的是命名实体识别器(NER)。给定一个输入句子，NER 会将句子中的各种实体识别为人、组织、产品等。然后您可以检查识别为产品的实体，并相应地保留或丢弃该句子。一种非常简单的可能性是在 Python 中使用 NLTK 的命名实体识别器。这是一个例子：

import nltk
sent = "Albert Einstein spent many years at Princeton University in New Jersey"
sent1 = nltk.word_tokenize(sent)
sent2 = nltk.pos_tag(sent1)
sent3 = nltk.ne_chunk(sent2)
print sent3

输出将是：

(S
  (PERSON Albert/NNP)
  (PERSON Einstein/NNP)
  spent/VBD
  many/JJ 
  years/NNS
  at/IN
  (ORGANIZATION Princeton/NNP University/NNP)
  in/IN
  (GPE New/NNP Jersey/NNP))

NLTK 非常适合这个简单的示例，但老实说，我不确定它是否准确，或者是否可以对其进行定制以适合您的目的（识别产品）。但我知道斯坦福 NER既可定制又准确，因此您可能想看看上面的链接。

Answer 2

本文可能会解决您的问题。 https://www.aclweb.org/anthology/W12-4702

处理这类问题的方法很复杂。就像谈论实体的句子一样，可以是任何类型，例如描述性/比较/问题类型..等。在某些情况下，可能会或可能不会明确提及实体。

可以尝试一些方法：实体转换、共指解析、语篇关系提取等。

谢谢。