java - 想要英语中最常用的单词

Question

我想要最常用的英语单词。基本上，我正在处理维基百科文本并且即使在删除停用词之后也会遇到很多单词。我尝试用谷歌搜索常用词，但得到了下面的链接。

http://en.wiktionary.org/wiki/Wiktionary:Frequency_lists#English

我必须手动从这些链接中抓取数据。这些词有已知的来源可以直接下载吗？

谢谢

Answer 1

与所有统计数据一样，您的答案将取决于您所采样的内容。是您对“英语”的定义 - 维基百科中使用的语言。由于您链接的页面表明单词的频率根据不同的样本而有所不同。对语言处理工作进行文献回顾可能会给你一个过时的清单。

并相信有人会用那个名字——词频来制作一个网站。更具体地说这个。