sql - 结合 SpqrkSQL 和 GraphX

Question

你可以在 SparkSQL 中创建存储过程并调用 GraphX API 吗？像这样的东西：

registerFunction("storedProcedureGraphX", model.storedProcedureGraphX _)

select * from someTable where storedProcedureGraphX(nodeX, nodeY) > 10

Answer 1

如果GraphX API是指对 RDD 的任何操作，那么答案是否定的。这将涉及为每一行启动新的 Spark 任务，这绝对不是一个好主意。而且您必须关闭SparkContext不可序列化的 , 并且您用作 UDF 的函数必须是。