python - 是否有任何 python 或 scala 工具来连接 spark/shark

Question

我想使用 python 或 scala 连接鲨鱼服务器。但我没有找到任何工具来做到这一点。是否有任何库（python 或 scala/java）。谢谢先进。

Answer 1

如果你想使用 Shark 运行 SQL 查询，Shark 的Sharkserver的行为就像一个常规的 Hive Thrift 服务器，所以你应该能够重用现有的 Python 方法来连接到 Hive，例如

• 通过 Python 客户端进行 Hive 查询
• 使用 Python 访问 Hive 数据

Shark Server 还支持 Hive 的JDBC 接口，因此您可以使用它来运行来自 Scala 或 Java 的查询；只需使用 Shark 服务器的地址代替 Hive 服务器地址。

Answer 2

不清楚你所说的连接是什么意思，但鲨鱼和火花都说斯卡拉：

$./bin/shark-shell
scala> val youngUsers = sql2rdd("SELECT * FROM users WHERE age < 20")
scala> println(youngUsers.count)
...
scala> val featureMatrix = youngUsers.map(extractFeatures(_))
scala> kmeans(featureMatrix)

此外，spark 也会说python。