c# - 通过 C# 的 Apache Spark 查询

Question

我想知道是否有一种方法可以使用 C# 编写查询以在 Apache spark 上运行。我知道 spark SQL 查询可以用 java/scala/python 编写。c#有接口吗？

Answer 1

你到底想达到什么目的？如果你想编写使用 spark api 的程序，可能你运气不好，因为只有 scala、java 和 python api 被公开。但是，如果您想查询 spark 存储数据，那么您可以看到 thriftserver 带有 spark 并通过它传递您的查询。本质上它应该支持任何 jdbc 连接（参见文档中的直线示例）