c++ - sqlite中的文本挖掘

Question

我有 sqlite 数据库，需要在其中找到最常用的单词。例子，

文字
桌椅地板
桌椅
桌

需要解决方案

字数
表 3
椅子 2
楼 1

数据库很大（几 Gb）。我正在寻找 SQL 中的解决方案。也可能使用 C++ 或其他方法。

Answer 1

Sqlite 没有任何命令，允许从单个字符串生成多行（并且不容易拥有；这样的事情需要对 SQL 进行“解包”扩展）。因此，您需要一个应用程序代码来将评论拆分为单词。您可以创建一个表格，在其中将每个单词插入单独的行和 than select word, count(rowid) from words group by word，或者您可以在应用程序中使用哈希映射直接计算单词。

Answer 2

http://www.sqlite.org/fts3.html

查看 Fts4aux - 直接访问全文索引部分。