这是这个问题的后续问题,我在其中询问 Hiveserver 2 thrift java 客户端 API 是什么。如果您不需要更多上下文,这个问题应该能够在没有该背景的情况下站得住脚。
找不到任何关于如何使用 hiverserver2 thrift api 的文档,我把它放在一起。我能找到的最佳参考是Apache JDBC implementation。
TSocket transport = new TSocket("hive.example.com", 10002);
transport.setTimeout(999999999);
TBinaryProtocol protocol = new TBinaryProtocol(transport);
TCLIService.Client client = new TCLIService.Client(protocol);
transport.open();
TOpenSessionReq openReq = new TOpenSessionReq();
TOpenSessionResp openResp = client.OpenSession(openReq);
TSessionHandle sessHandle = openResp.getSessionHandle();
TExecuteStatementReq execReq = new TExecuteStatementReq(sessHandle, "SHOW TABLES");
TExecuteStatementResp execResp = client.ExecuteStatement(execReq);
TOperationHandle stmtHandle = execResp.getOperationHandle();
TFetchResultsReq fetchReq = new TFetchResultsReq(stmtHandle, TFetchOrientation.FETCH_FIRST, 1);
TFetchResultsResp resultsResp = client.FetchResults(fetchReq);
TRowSet resultsSet = resultsResp.getResults();
List<TRow> resultRows = resultsSet.getRows();
for(TRow resultRow : resultRows){
resultRow.toString();
}
TCloseOperationReq closeReq = new TCloseOperationReq();
closeReq.setOperationHandle(stmtHandle);
client.CloseOperation(closeReq);
TCloseSessionReq closeConnectionReq = new TCloseSessionReq(sessHandle);
client.CloseSession(closeConnectionReq);
transport.close();
我针对使用创建的 Hiverserver2 实例运行此代码
export HIVE_SERVER2_THRIFT_PORT=10002;hive --service hiveserver2
调试时,我从来没有越过这条线
TOpenSessionResp openResp = client.OpenSession(openReq);
客户端只是挂起,直到达到超时并且服务器不向标准输出或日志写入任何内容。使用 Wireshark,我可以看到 OpenSession() 的 TCP 段已发送并确认。一旦我杀死客户端或达到超时,服务器会给我以下信息:
13/03/14 11:15:33 ERROR server.TThreadPoolServer: Error occurred during processing of message.
java.lang.RuntimeException: org.apache.thrift.transport.TTransportException: java.net.SocketException: Connection reset
at org.apache.thrift.transport.TSaslServerTransport$Factory.getTransport(TSaslServerTransport.java:219)
at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:189)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
at java.lang.Thread.run(Thread.java:662)
Caused by: org.apache.thrift.transport.TTransportException: java.net.SocketException: Connection reset
at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:129)
at org.apache.thrift.transport.TTransport.readAll(TTransport.java:84)
at org.apache.thrift.transport.TSaslTransport.receiveSaslMessage(TSaslTransport.java:182)
at org.apache.thrift.transport.TSaslServerTransport.handleSaslStartMessage(TSaslServerTransport.java:125)
at org.apache.thrift.transport.TSaslTransport.open(TSaslTransport.java:253)
at org.apache.thrift.transport.TSaslServerTransport.open(TSaslServerTransport.java:41)
at org.apache.thrift.transport.TSaslServerTransport$Factory.getTransport(TSaslServerTransport.java:216)
... 4 more
Caused by: java.net.SocketException: Connection reset
at java.net.SocketInputStream.read(SocketInputStream.java:168)
at java.io.BufferedInputStream.read1(BufferedInputStream.java:256)
at java.io.BufferedInputStream.read(BufferedInputStream.java:317)
at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:127)
... 10 more
我发现有趣的是,当我错误地尝试对 hiveserver2 使用 hiveserver (1) 客户端时,我收到的错误完全相同,这表明就 hiverserver2 而言,我的客户端正在向它发送垃圾。
我看到了我可能出错的三种可能性。
1) 我对客户端 API 的使用是错误的。我看到在 JDBC 实现中有一些关于身份验证和连接参数的东西,我在我的示例代码中没有使用这些东西。我玩弄了它,但我在黑暗中拍摄并且没有进一步。
2)我有一些设置步骤错误。我无法在 hive-servive-0.10.0 jar 中找到 TCLIService,但我能够在 Hortonworks 在 HDP 1.2 中发布的 hive-servive-0.10.0.21 jar 中找到它,所以也许可以挖掘一下揭示问题。或者也许我需要配置服务器端的东西来解释为什么我可以使用 ODBC 但不能使用我的节俭客户端连接到配置单元。
3) 可能此时无法针对 hiveserver2 客户端 api 进行写入。由于缺乏文档和互联网上明显缺乏成功的例子,这是合理的,但 JDBC 似乎做到了。我发现这是最不可能的选择。
即使您不知道修复,知道修复是否属于 1、2 或 3 也将有助于缩小我的搜索范围。