2

我正在编写一个 ASP.Net Web API,它会在某个时候与 Apache Spark 集群进行通信。

通信是使用Spark 集群上的Livy服务器建立的,该服务器公开了一个 REST API 接口和一个我编写的 HTTP 客户端。

在我的业务逻辑中,我需要定义将作为作业提交给 spark 的操作。现在我创建一个 Livy PySpark 会话并提交 PySpark 代码。

PySpark 代码由我的 Web API 的逻辑生成。作为代码生成的一个例子,如果我想导入一个 python 模块,我这样做:

string pythonImportTemplate = "from {0} import {1}";
statements.Add(string.format(pythonImportTemplate, param1, param2));
/*** Post Statements To Spark ***/

这对我来说似乎非常错误和重复。

我的问题:是否有任何稳健的方法(或设计模式)来生成这样的代码字符串,以最大限度地减少解释器(Livy)语法错误的概率?

4

0 回答 0