6

所以我一直在做一个自然语言处理项目，我需要对不同的写作风格进行分类。假设我已经从文本中提取了语义特征，我计划使用 Java 中的 Weka 来训练 SVM 分类器，使用这些特征可以对其他不同的文本进行分类。

我遇到麻烦的部分是要训练 SVM，必须将特征转换为特征向量。我不确定您如何将词汇丰富度、n-gram、标点符号、段落数和段落长度等特征表示为向量中的数字。如果有人能指出正确的方向，那将不胜感激。

4

1 回答 1

5

我不确定您的属性可以采用什么值，但也许这个示例会对您有所帮助：

EOS假设我们正在进行一个有监督的学习实验，试图分别确定一个句点是否标志着一个句子的结尾NEOS。训练数据来自段落样式格式的普通句子，但被转换为以下向量模型：

  • 第 1 列：类别：句末或非句末
  • 第 2-8 列：围绕相关期间的 +/- 3 个单词
  • 第 9,10 列：分别在下一个可靠句子定界符（例如 ?、! 或段落标记）之前的句点的左/右字数。
  • 第 11 列：句点后面的空格数。

当然，这不是一个很难解决的复杂问题，但它是对 Weka 的一个很好的小介绍。我们不能只使用单词作为特征（真正的高维空间），但我们可以获取它们的 POS（词性）标签。我们还可以提取单词的长度，单词是否大写等。

因此，您可以提供任何东西作为测试数据，只要您能够将其转换为上面的矢量模型并提取 .arff 中使用的特征。

以下（非常小的部分）.arff 文件用于确定句子中的句点是否标记了结尾： 

@relation period

@attribute minus_three {'CC', 'CD', 'DT', 'FW', 'IN', 'JJ', 'JJR', 'JJS', 'LS', 'MD', 'NN', 'NNPS', 'NNS', 'NP', 'PDT', 'PRP', 'PRP$', 'RB', 'RBR', 'RBS', 'RP', 'UH', 'VB', 'VBD', 'VBG', 'VBN', 'VBP', 'VBZ', 'WDT', 'WP','WRB', 'NUM', 'PUNC', 'NEND', 'RAND'}
@attribute minus_three_length real
@attribute minus_three_case {'UC','LC','NA'}
@attribute minus_two {'CC', 'CD', 'DT', 'FW', 'IN', 'JJ', 'JJR', 'JJS', 'LS', 'MD', 'NN', 'NNPS', 'NNS', 'NP', 'PDT', 'PRP', 'PRP$', 'RB', 'RBR', 'RBS', 'RP', 'UH', 'VB', 'VBD', 'VBG', 'VBN', 'VBP', 'VBZ', 'WDT', 'WP','WRB', 'NUM', 'PUNC', 'NEND', 'RAND'}
@attribute minus_two_length real
@attribute minus_two_case {'UC','LC','NA'}
@attribute minus_one {'CC', 'CD', 'DT', 'FW', 'IN', 'JJ', 'JJR', 'JJS', 'LS', 'MD', 'NN', 'NNPS', 'NNS', 'NP', 'PDT', 'PRP', 'PRP$', 'RB', 'RBR', 'RBS', 'RP', 'UH', 'VB', 'VBD', 'VBG', 'VBN', 'VBP', 'VBZ', 'WDT', 'WP','WRB', 'NUM', 'PUNC', 'NEND', 'RAND'}
@attribute minus_one_length real
@attribute minus_one_case {'UC','LC','NA'}
@attribute plus_one {'CC', 'CD', 'DT', 'FW', 'IN', 'JJ', 'JJR', 'JJS', 'LS', 'MD', 'NN', 'NNPS', 'NNS', 'NP', 'PDT', 'PRP', 'PRP$', 'RB', 'RBR', 'RBS', 'RP', 'UH', 'VB', 'VBD', 'VBG', 'VBN', 'VBP', 'VBZ', 'WDT', 'WP','WRB', 'NUM', 'PUNC', 'NEND', 'RAND'}
@attribute plus_one_length real
@attribute plus_one_case {'UC','LC','NA'}
@attribute plus_two {'CC', 'CD', 'DT', 'FW', 'IN', 'JJ', 'JJR', 'JJS', 'LS', 'MD', 'NN', 'NNPS', 'NNS', 'NP', 'PDT', 'PRP', 'PRP$', 'RB', 'RBR', 'RBS', 'RP', 'UH', 'VB', 'VBD', 'VBG', 'VBN', 'VBP', 'VBZ', 'WDT', 'WP','WRB', 'NUM', 'PUNC', 'NEND', 'RAND'}
@attribute plus_two_length real
@attribute plus_two_case {'UC','LC','NA'}
@attribute plus_three {'CC', 'CD', 'DT', 'FW', 'IN', 'JJ', 'JJR', 'JJS', 'LS', 'MD', 'NN', 'NNPS', 'NNS', 'NP', 'PDT', 'PRP', 'PRP$', 'RB', 'RBR', 'RBS', 'RP', 'UH', 'VB', 'VBD', 'VBG', 'VBN', 'VBP', 'VBZ', 'WDT', 'WP','WRB', 'NUM', 'PUNC', 'NEND', 'RAND'}
@attribute plus_three_length real
@attribute plus_three_case {'UC','LC','NA'}
@attribute left_before_reliable real
@attribute right_before_reliable real
@attribute spaces_follow_period real
@attribute class  {'EOS','NEOS'}

@data

VBP, 2, LC,NP, 4, UC,NN, 1, UC,NP, 6, UC,NEND, 1, NA,NN, 7, LC,31,47,1,NEOS
NNS, 10, LC,RBR, 4, LC,VBN, 5, LC,?, 3, NA,NP, 6, UC,NP, 6, UC,93,0,0,EOS
VBD, 4, LC,RB, 2, LC,RP, 4, LC,CC, 3, UC,UH, 5, LC,VBP, 2, LC,19,17,2,EOS

如您所见，每个属性都可以采用您想要的任何方式：

  • real表示实数
  • 我组成LC和UC分别表示大写和小写
  • 大多数其他值是POS标签

您需要准确地弄清楚您的功能是什么，以及您将使用什么值来表示/分类它们。然后，您需要将数据转换为 .arff 定义的格式。

为了解决您的标点问题，假设我们的句子都以.or结尾?。你可以有一个名为 punc 的属性，它有两个值：

@attribute punc {'p','q'}

我没有使用?，因为这是（通常）在缺少数据点时分配的内容。我们的 you 可以有布尔属性来指示一个字符或你是否在场（使用 0、1 或 false、true）。另一个例子，但质量：

@attribute quality {'great','good', 'poor'}

你如何确定所说的分类取决于你，但以上应该让你开始。祝你好运。

于 2013-05-29T21:31:40.063 回答