hbase - Phoenix JDBC驱动太慢了

Question

我正在使用phoenix driver 4.0 版本来查询数据库。我还尝试将 hbase.client.scanner.caching 设置为 1000 和 10000 在所有情况下，迭代 10000 行需要 3 分钟。我没有在迭代循环中放入任何代码。我必须扫描超过 1L 条记录，所以需要半个多小时。

这可能是什么原因。

long count = 0;
            while (rs.next())
            {
                if (count % 1000 == 0)
                {
                    log.info("Count == " + count);
                }
                count++;
            }

Answer 1

我认为hadoop及其组件擅长group-like功能，通过使用rowkey散列分布记录快速找到记录。但不擅长迭代，你运行10000条记录可能花费100000甚至1000000。我希望你能通过我糟糕的英语了解我所说的意思。:)