我写了一个 argo dag 以递归方式触发 spark 作业,直到条件满足。我有一个计数器参数,每次成功完成 spark 作业后都需要增加 1。但这并没有发生。这是我的工作流程的片段。
templates:
- name: test-dag
dag:
tasks:
- name: test-spark-job
template: test-spark-job
- name: loop-it
template: backfill-dag
dependencies: [backfill-spark-job]
when: "{{=asInt(workflow.parameters.counter)}} <= {{=asInt(workflow.parameters.batchsize)}}"
arguments:
parameters:
- name: counter
value: {{=asInt(workflow.parameters.counter)}}+1