1

我在 Ruby 中创建了一个单词计数器,作为学习 Ruby 的一个小练习。

我在 JavaScriptKit.com 和 WordCountTool.com 以及 Open Office Writer 中使用了单词计数器。

一些文本产生了以下结果

OpenOffice: 458 words
JavaScriptKit: 453 words
WordCountTool: 455 words
Mine: 461 words

我的问题是:为什么所有计数器的相同摘录的计数不同?

脚本中有哪些问题可能导致不准确但仍接近计数?

有哪些方法可以改进我的脚本以使其更准确?

4

2 回答 2

5

您实际上是在要求对“单词”进行定义,出于计数目的,这可能意味着非常不同的事物。让我们以您的原始帖子为例。

最简单的计数工具是

text.split.count                      #=> 111

然而,如果你放了"Why do the counts differ/change for the same[...]"呢?好吧,显然“不同/改变”是两个词,所以我们应该将正斜杠算作单词分隔符。事实上,仅仅因为我忘记在句号和下一个单词之间放置一个空格,并不能使它们成为同一个单词,所以我们也将句号作为分隔符。不过我懒得去查是不是网址,所以你提到的那些网站就得算两个字了:

text.split(/[\s\.\/\?]+/).count       #=> 113

好的,这很酷,但实际上数字在技术上并不是单词 - 如果它们被说出,458 将是“458”,实际上是 5 个单词。所以让我们也打折吧

text.split(/[\s\.\/\?0-9]+/).count    #=> 109

你明白了。你得到的结果只相差 8 个词——很明显,他们对一个词的定义并没有那么不同。但是字数只是一个粗略的指南,所以不要担心差异。

于 2011-08-11T11:31:33.267 回答
1

你会得到不同的结果,这取决于 WC 的作者决定成为一个“词”。某些类型的标点符号可以归类为单词分隔符,具体取决于计数器以及空格、换行符等...

来自关于 WC 的维基百科文章的一些信息http://en.wikipedia.org/wiki/Word_count

不同的字数统计程序可能会给出不同的结果,具体取决于“单词”的定义

于 2011-08-11T11:25:34.397 回答