是否可以从 pyspark 连接到 memsql？
我听说 memsql 最近在 pyspark 之上构建了流线型基础架构，以允许自定义 python 转换
但这是否意味着我可以运行 pyspark 或提交连接到 memsql 的 python spark 作业？
问问题
618 次
1 回答
0
两个问题都是。
如果您的目标是将数据导入 MemSQL 或在摄取期间执行转换，Streamliner 是最佳方法。如何将 Python 与 Streamliner 一起使用：http: //docs.memsql.com/latest/spark/memsql-spark-interface-python/
您还可以从 Spark 应用程序查询 MemSQL。详细信息在这里：http ://docs.memsql.com/latest/spark/spark-sql-pushdown/
您还可以运行 Spark shell。请参阅http://docs.memsql.com/latest/ops/cli/SPARK-SHELL/和http://docs.memsql.com/latest/spark/admin/#launching-the-spark-shell
于 2016-02-26T16:52:28.950 回答