android - 如何在 Android 中自定义 FTS 标记器

Question

因为 sqlite fts 默认标记是“简单”，我可以将其更改为“搬运工”。但我必须支持非美国语言。像中文一样，它不能只按空格或点分隔。所以我想自定义分词器。有人可以给我一些建议吗？

1. 如何在 Sqlite 中注册 Tokenizer。

   SELECT fts3_tokenizer(<tokenizer-name>, <sqlite3_tokenizer_module ptr>);
   

   因为 sqlite 是 Android 中的系统库，我不知道我是否可以注册。

2. 是否有适用于所有语言的通用标记器？对于我的应用程序必须 i18n。只支持中文是没有用的。

Answer 1

当然，您需要自定义 SQLite 安装。SQLite Android 绑定提供了一种简单的方法来做到这一点。这允许应用程序使用自定义构建或 SQLite 版本，而不管它部署到哪个 Android 版本，同时继续使用标准 Android 界面。 https://sqlite.org/android/doc/trunk/www/index.wiki