1

我们正在为我们的 hbase 集群使用 phoenix 和 hbase-indexer,我们发现了一个关于 phoenix 二级索引的奇怪现象:

我们将数据(使用 psql 导入 csv 数据)放入一个表(C_PICRECORD)中,其中包含两个来自phoenix 的全局可变索引表(C_PICRECORD_IDX1 和 C_PICRECORD_IDX2),并使用 hbase-indexer 将数据复制到 solr。数据导入完成后,我们发现 solr 文档 numfound 与 hbase 表行数不同。当我们删除索引表,清除数据并再次放入数据时,我们发现 solr document numfound 与 hbase table row count 相同。

最近我们发现了 solr document numfound 与 hbase table row count 不同的原因:1)删除文档会出错,尽管实际上我们只是用两个来自phoenix的全局索引表导入数据(psql)!

2) solr 和 hbase 的行数不一致的奇怪现象只发生在我们对数据表有二级索引的情况下。

困扰了我们很久,使用phoenix二级索引似乎有什么不同。

所以,我的问题是:Phoenix 二级索引是否专门处理 WAL 日志?

我们的环境:

cdh5.4.2 hbase-1.0.0-cdh5.4.2 phonenix-4.6 hbase-solr-1.5-cdh5.4.2(hbase-indexer)

集群:3 个 hbase regionserver 和 3 个 hbase-indexer

[提示]

hbase-indexer 基于 hbase 复制将数据放入 solr。它将捕获 WAL 日志并将感兴趣的数据放入 solr。hbase-indexer github:https ://github.com/NGDATA/hbase-indexer

4

1 回答 1

2

我们最近解决了这个问题。请看另一个stackoverflow问题:

hbase-indexer solr numFound 与 hbase 表行大小不同

关于凤凰二级索引是否专门处理 WAL 日志的问题?, 请参见 :

http://www.slideshare.net/jesse_yates/phoenix-secondary-indexing-la-hug-sept-9th-2013

有关凤凰二级索引的更多详细信息。

于 2016-06-03T09:28:01.653 回答