我的客户端正在使用org.apache.hbase:hbase-client:2.1.0"
并且服务器正在运行 1.2.0-cdh5.11.1
(1.2.0-cdh5.11.0
在另一个测试集群中)。
我的客户端非常简单,它Connection
在启动时实例化一个类(这个类 - 正如 Apache 推荐的那样 - 因为它很重且线程安全,所以跨线程共享)。然后对于每个请求,它都会创建一个Table
类并执行一个.exists(new Get(rowKey))
操作。
所以像这样:
Connection conn = ConnectionFactory.createConnection(hbaseConfig);
和
final Table table = conn.getTable(tableName);
return table.exists(new Get(context.getKey()));
大多数情况下,到 HBase 和返回的请求延迟最多为 40 毫秒。通常它在 10 毫秒左右完成。
但是,我们注意到偶尔的请求大约需要 5000 毫秒(5 秒) - 但仍然成功完成!
偶尔我的意思是每分钟大约 1 个请求(每分钟总共 600 个请求,所以速度很小)。但它是稳定的。
这些几乎正好在 5 秒左右(+/- 100-200 毫秒)。这是奇怪的部分。这不是一个尖峰。
起初我怀疑这是客户端的错误配置,我需要设置更严格的超时,所以我设置了以下内容:
hbaseConfig.set(HConstants.HBASE_CLIENT_RETRIES_NUMBER, 1);
hbaseConfig.set(HConstants.HBASE_CLIENT_PAUSE, "50");
hbaseConfig.set(HConstants.HBASE_CLIENT_OPERATION_TIMEOUT, "2000");
hbaseConfig.set(HConstants.HBASE_RPC_TIMEOUT_KEY, "1500");
hbaseConfig.set(HConstants.HBASE_RPC_SHORTOPERATION_TIMEOUT_KEY, "2000");
hbaseConfig.set(HConstants.HBASE_CLIENT_SCANNER_TIMEOUT_PERIOD, "1500");
hbaseConfig.set(HConstants.ZOOKEEPER_RECOVERABLE_WAITTIME, "2000");
hbaseConfig.set(HConstants.ZK_SESSION_TIMEOUT, "2000");
hbaseConfig.set("zookeeper.recovery.retry", "1");
hbaseConfig.set("zookeeper.recovery.retry.intervalmill","200");
hbaseConfig.set("hbase.ipc.client.socket.timeout.connect", "2000");
hbaseConfig.set("hbase.ipc.client.socket.timeout.read", "2000");
hbaseConfig.set("hbase.ipc.client.socket.timeout.write", "2000");
换句话说,5000 毫秒远远超过了全局超时(如 中设置的HConstants.HBASE_CLIENT_OPERATION_TIMEOUT
)。
然而,我的请求需要大约 5 秒才能完成 - 并且成功地完成了。
除了这些超时,我从 using 更改AsyncConnection
为Connection
(无论如何都不需要它是异步的)并且正在考虑只进行GET
调用而不是exists
.
但在这一点上,我被难住了。我没有看到任何财产以及 5s 的来源。它甚至不是超时,它实际上成功了!
有没有人遇到过这个?有没有办法让 hbase-client 发出指标?服务器端指标显示延迟没有增加(扫描指标)。