5

我们使用一份问卷来评估学生的知识水平（我们手动执行此操作，就像在试卷中一样）。它由以下部分组成：

  1. 多项选择
  2. 理解问题（即：蜘蛛是昆虫吗？）

现在，我的任务是制作一个可以自动执行此操作的专家系统。所以基本上我们对此有一个正确的答案。但我的问题是“理解问题”。我需要将他们答案的上下文与正确答案的上下文进行比较。

我最初已经在寻找答案，但似乎这确实是一项艰巨的任务。到目前为止，我搜索的是我可以通过 NLP 来做到这一点，这对我来说真的很新鲜。另外，如果我没记错的话，似乎我必须找到一本考官可能回答的所有单词的字典。

我在正确的轨道上吗？如果没有，请建议我应该做什么（研究什么？）或给我一些我需要的材料的链接。另外，我应该自己制作字典吗？因为我将使用的单词是菲律宾语。

更新：理解题

问卷的理解部分包含一段解释特定场景的段落。问题相当简单。这是一个例子：

邦妮的叔叔让她从树上摘苹果。她拿起一根棍子，戳了一下水果，让它们掉下来。就在这时候，一阵强风吹来。由于害怕水果掉在头上，她停下了手上的动作。然而，在这之后，她注意到风把苹果从树上掉下来了。这些落下的苹果是她带回家给她叔叔的。

问题是：

  1. 邦妮的叔叔叫她做什么？
  2. 是什么导致邦妮停止从树上摘苹果？
  3. 邦妮是一个好的水果采摘者吗？请解释你的答案。

答案键状态的可能答案是：

第 1 题：
1.1 邦妮的叔叔让她从树上摘苹果
1.2 拿苹果

2号：
2.1 一阵强风吹来
2.2 她可能会被水果击中头部

3 号：
3.1 不，因为她得到的苹果已经在地上
3.2 不，因为风是导致水果掉落的
原因 3.3 是的，因为刮风时很难采摘水果。
3.4 是的，因为至少她尝试过

现在已经给了我答案。系统应该能够做的工作是将学生答案的上下文与正确答案的上下文进行比较，以便系统能够成功地对学生的答案进行评分。

4

1 回答 1

1

我能想到的一种简单的方法（在我的脑海中）是使用字符串相似度度量，如 cosine 或 jaccard 来识别某些关键字是否出现在测试答案和已知的正确答案中。自动提取这些关键字可以通过使用 NLP的词性标记来完成。例如，您可以提取所有名词（可能还有动词）。然后，将每个答案表示为关键字向量，您可以将测试向量与已知的正确向量进行比较。

例如，在第二个问题中，两个可能答案的向量可以是

  1. 阵风, 风, 吹
  2. 打, 头, 水果

与诸如“害怕水果掉在她头上”之类的带有关键字：水果，掉落，头的回答相比，诸如“她捡起一根棍子”之类的关键字的答案得分非常低。

笔记：

  1. 这只能检测到非常错误的答案。此技术不会检测到包含正确关键字的错误答案。:)
  2. 我不确定非英语句子。如果是这种情况，您可能希望将答案中的每个单词都作为关键字（删除停用词）。 这个问题也可能有帮助。
于 2013-08-17T08:02:20.710 回答