我希望能够将大量数据发布到 Argo 中的 webhook。在我的传感器定义中,我从请求中获取数据并将其放入工作流程中的“原始”工件中。由于数据是 base64 编码的,我使用 Sprig 模板对编码数据进行解码。
不幸的是,当我使用大量数据时,Kubernetes 拒绝处理生成的工作流定义。
原始数据示例
此示例适用于少量数据。
apiVersion: argoproj.io/v1alpha1
kind: Sensor
metadata:
name: webhook
spec:
template:
serviceAccountName: argo-events-sa
dependencies:
- name: input-dep
eventSourceName: webhook-datapost
eventName: datapost
triggers:
- template:
name: webhook-datapost-trigger
k8s:
group: argoproj.io
version: v1alpha1
resource: workflows
operation: create
source:
resource:
apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
generateName: webhook-datapost-
spec:
entrypoint: basefile
imagePullSecrets:
- name: regcred
arguments:
artifacts:
- name: filecontents
raw:
data: ""
templates:
- name: basefile
serviceAccountName: argo-events-sa
inputs:
artifacts:
- name: filecontents
path: /input.file
container:
image: alpine:latest
command: ["ls"]
args: ["/input.file"]
parameters:
- src:
dependencyName: input-dep
dataTemplate: "{{ .Input.body.basedata | b64dec }}"
dest: spec.arguments.artifacts.0.raw.data
较大数据集的错误
当我用一个小数据集触发上面的示例时,这可以按预期工作。但是当我使用大型数据集时,我得到一个错误:
Pod "webhook-datapost-7rwsm" is invalid: metadata.annotations: Too long: must have at most 262144 bytes
我知道这是由于将整个原始数据复制到工作流模板中。然后这个大模板被 Kubernetes 拒绝。
我正在寻找一种将数据从 webhook POST 请求复制到工件中的方法,而不会将整个有效负载复制到工作流模板中。Argo有可能吗?