information-retrieval - 关于设计的问题

Question

我和我的队友有一个非常具有挑战性的新项目要做，我们应该在下周提交。我们对如何做到这一点一无所知，并且确实需要帮助。我们是本科生，刚接触信息检索和人工智能，真的需要你的想法。

项目大致是：

当文档中引用专家时，请找到持相反意见的专家并了解他/她对该主题的看法。

我们可以自由使用任何编程语言，但我们并不关心编程。我们希望帮助我们开始。请给我们一个关于如何设计这样一个系统以及如何在互联网上检索信息的大致想法。我们应该如何得到他的意见，然后找到相反的意见？

Answer 1

很简单：使用亚马逊的 Mechanical Turk。

没有那个（或同等的）你就有麻烦了。如果对这个问题没有进一步的限制，那么你将需要一个成熟的人工智能，这种人工智能还不存在。如果有严格的限制，那么你可能会有机会在一周内做到这一点。如果专家可以在任何领域（医学、政治、历史、时尚、科学、漫画书等），那么就不会有单一的、组织良好的论文库。您必须使用 Google 来查找 Dr. X 的意见。一旦你找到了 X 博士的作品（让我们祈祷它是文本，而不是音频），你将不得不进行某种自然语言处理来获得它的主旨，即使你有幸找到了一个描述性的标题（“数码摄影绝对很棒”）。然后你必须弄清楚它是否相反。“尼尔·盖曼的故事灵感来源于民间传说”的反面是什么？弄清楚你在寻找什么意见将是一个严重的问题。在那之后，事情实际上变得更容易了：

那么有什么机会解决呢？搜索其他人已经组织成“赞成”和“反对”的意见。一些在线政治论坛就是这样组织的。维基百科在其某些文章的特殊部分中引用了相反的观点。科学期刊打印反驳信。环顾四周，您可能会发现一个更加枯燥无味的网站。选择一个足够小的竞技场，你会遇到一个棘手的问题。

编辑：该死的，本·邓拉普在评论中击败了我所有的要点。叹

Answer 2

对我来说听起来像是一个 NLP 问题。至于有关文件和引用的信息，http://citeseerx.ist.psu.edu应该是一个很好的起点。

对于每篇论文，都有几个引用该论文的引文。至少，您必须扫描论文的摘要和引文的摘要，并运行您自己的算法来确定是否有任何引文具有相反的观点。也许你的教授可以给你一些近似启发式的提示，但据我所知，这是一个非常困难的问题。

我会关注这个线程以获得更有趣的方法。

Answer 3

自动提交类似于“ expert_name很烂”、“ expert_name wrong”或类似内容的 Google 搜索请求。在同一个句子中找到第一个具有“PhD”和文档链接的结果并返回该链接。

Answer 4

我认为你可能把它吹得太大了......作为一个本科项目，我会更小规模地处理它。

除非您的规范要求您必须使用实际的 Internet 资源，否则您最好创建自己的自定义短文档数据库。向每个文档添加元数据，说明他们对某些主题的观点。

接下来，我将创建一个链接到每个文档的引用列表，并添加一些代表专家对该主题的立场的元数据。当有人阅读文档时，我会在引文列表中添加指向对该主题有不同观点的文档的链接列表。

基本上它将由这些表组成：

Document (id, data)
DocumentPoints (documentId, topic, stance)
Citation (documentId, topic, stance)

当有人加载文档时，引用也会被拉出来。对于每个引文，您搜索DocumentPoints具有不同立场的相同主题。这个项目最困难的部分是创建 5 或 6 个文档，您需要在数据库中保存数据。之后，解决方案是微不足道的。

在旁注中，大多数其他答案都告诉您使用一些现有的解决方案......除非任务告诉您，否则不要这样做。如果您自己解决整个问题，您会更好地理解问题以及解决问题的各种方法（这绝对不是唯一/最好的方法）。当老师要求您做您选择实施解决方案的任何产品都不支持的事情时，您将无法修复它。如果您是自己编写的，您也可以轻松实现新规范。