7

可以请任何设法做到这一点的人解释如何做到这一点:-)

我需要为我需要添加的语言获取 n-gram 文件吗？

是创建tika.language.override.properties，添加一些其他语言代码并在 classPath 上添加 lang-code.ngp n-gram 文件的问题吗？在那种情况下，我从哪里得到它，为什么 Tika 不支持更多语言，如果只是这个问题？

目前支持这些语言进行语言检测

da,de,et,el,en,es,fi,fr,hu,is,it,lt,nl,no,pl,pt,ru,sv,th

并且 tika 使用传统的 n-gram 表示法

er_ 132232
_de 103517
en_ 82666
et_ 80661
for 65286
_fo 57945
de_ 51382
der 44049
at_ 41915
det 41381
_og 40344
_at 39482
ing 38707
den 36795
og_ 36577
_me 34924
nde 34528

此语言检测应用程序当前支持这些语言，但具有不同的 n-gram 文件

af  bg  cs  de  en  fa  fr  he  hr  id  ja  ko  ml  ne  no  pl  ro  sk  sq  sw   te  tl  uk   vi     zh-tw ar  bn  da  el  es  fi   gu  hi  hu  it  kn  mk  mr   nl   pa  pt  ru  so   sv  ta  th   tr  ur  zh-cn

JSON 表示法

{"freq":{"D":9246,"E":2445,"F":2510,"G":3299,"A":6930,"B":3706,"C":2451,"L":2519,"M":3951,"N":3334,"O":2514,"H" ....
4

1 回答 1

1

从TIKA-490开始，应该可以添加新的语言配置文件。TIKA-546似乎表明它还没有想象的那么容易，同时您需要从 Nutch 的 NGramProfile 工具开始并调整输出。

我建议您尝试使用 Nutch 工具生成文件，然后查看 TIKA-490 上的评论以了解如何使用它们的详细信息。

于 2011-06-03T16:35:54.390 回答