我有 2 个相关的 sparkOperators,我希望将上下文从一个运算符传递到另一个运算符,我尝试构建自定义运算符,但执行方法不调用 spark 提交。
init_batch >> create_report(i, running_accounts) >> data_validation_task(i)
我想将帐户从创建报告传递到数据验证,因此 create- report1将数据传递到datavalidation1
等等。
我究竟做错了什么 ?
我有 2 个相关的 sparkOperators,我希望将上下文从一个运算符传递到另一个运算符,我尝试构建自定义运算符,但执行方法不调用 spark 提交。
init_batch >> create_report(i, running_accounts) >> data_validation_task(i)
我想将帐户从创建报告传递到数据验证,因此 create- report1将数据传递到datavalidation1
等等。
我究竟做错了什么 ?