问题标签 [apache-arrow-flight]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

2 问题
Newest
Active
Bountied
318
Unanswered
0 投票
0 回答
114 浏览

c# - Apache Arrow飞行C#实现代码连接Dremio

我们正在尝试使用 Apache Arrow Flight C# 客户端连接到 dremio 服务。我们在以下链接中找不到任何工作代码示例：

https://github.com/dremio-hub/arrow-flight-client-examples

https://github.com/apache/arrow/tree/master/csharp/examples

我们尝试使用以下 c# 代码从对我们有用的箭头飞行客户端连接到 dremio：

运行上述代码时，我们遇到以下异常：

[2021-10-15T06:14:56.704Z] System.Private.CoreLib：执行函数时出现异常：ExtractData。Grpc.Net.Client: Status(StatusCode="Internal", Detail="Error starting gRPC call. HttpRequestException: The SSL connection could not be established, see inner exception. IOException: The handshake failed due to an unexpected packet format.", DebugException="System.Net.Http.HttpRequestException：无法建立 SSL 连接，请参见内部异常。[2021-10-15T06:14:56.721Z] ---> System.IO.IOException：握手失败，原因是意外的数据包格式。[2021-10-15T06:14:56.734Z] 在 System.Net.Security.SslStream.StartReadFrame(Byte[] buffer, Int32 readBytes, AsyncProtocolRequest asyncRequest) [2021-10-15T06:14:56.772Z ] 在 System.Net.Security.SslStream。

非常感谢解决此代码示例中的问题的任何帮助。

0 投票
1 回答
130 浏览

python - 如何使用纯 gRPC 客户端解码 Arrow Flight `FlightData`

我遇到了一种情况，我们需要使用普通的 gRPC 客户端（通过grpc.aioAPI）与Arrow Flight gRPC 服务器通信。

DoGet调用确实到达了服务器，我们收到了 响应FlightData。如果我们对FlightgRPC定义的理解是正确的，那么响应会包含一条flatbuffers消息，该消息可以以某种方式解码为RecordBatch.

以下是客户端代码，

目前，我们坚持解码FlightData响应的最后一步。

问题有两个，

  1. 是否有一些现有的设施形式pyarrow.flight可以用来解码该类型的 pythongrpc对象？FlightData
  2. 如果 #1 是不可能的，还有哪些其他选项可以解码内容并从头开始FlightData重建 a ？RecordBatch

这里的主要兴趣是使用普通gRPC客户端的 AsyncIO。据说，这对于当前版本的 Arrow Flight gRPC 客户端是不可行的。


12345678910