0

我希望能够将大量数据发布到 Argo 中的 webhook。在我的传感器定义中,我从请求中获取数据并将其放入工作流程中的“原始”工件中。由于数据是 base64 编码的,我使用 Sprig 模板对编码数据进行解码。

不幸的是,当我使用大量数据时,Kubernetes 拒绝处理生成的工作流定义。

原始数据示例

此示例适用于少量数据。

apiVersion: argoproj.io/v1alpha1
kind: Sensor
metadata:
  name: webhook
spec:
  template:
    serviceAccountName: argo-events-sa
  dependencies:
    - name: input-dep
      eventSourceName: webhook-datapost
      eventName: datapost
  triggers:
    - template:
        name: webhook-datapost-trigger
        k8s:
          group: argoproj.io
          version: v1alpha1
          resource: workflows
          operation: create
          source:
            resource:
              apiVersion: argoproj.io/v1alpha1
              kind: Workflow
              metadata:
                generateName: webhook-datapost-
              spec:
                entrypoint: basefile
                imagePullSecrets:
                  - name: regcred
                arguments:
                  artifacts:
                  - name: filecontents
                    raw:
                      data: ""
                templates:
                - name: basefile
                  serviceAccountName: argo-events-sa
                  inputs:
                    artifacts:
                    - name: filecontents
                      path: /input.file
                  container:
                    image: alpine:latest
                    command: ["ls"]
                    args: ["/input.file"]
          parameters:
            - src:
                dependencyName: input-dep
                dataTemplate: "{{ .Input.body.basedata | b64dec }}"
              dest: spec.arguments.artifacts.0.raw.data

较大数据集的错误

当我用一个小数据集触发上面的示例时,这可以按预期工作。但是当我使用大型数据集时,我得到一个错误:

Pod "webhook-datapost-7rwsm" is invalid: metadata.annotations: Too long: must have at most 262144 bytes

我知道这是由于将整个原始数据复制到工作流模板中。然后这个大模板被 Kubernetes 拒绝。

我正在寻找一种将数据从 webhook POST 请求复制到工件中的方法,而不会将整个有效负载复制到工作流模板中。Argo有可能吗?

4

0 回答 0