1

我已经在 DataPrep 中磨练了我的转换，现在正尝试使用 gcloud CLI 直接运行 DataFlow 作业。

我已经导出了我的模板和模板元数据文件，并尝试使用gcloud dataflow jobs run输入和输出位置作为参数来运行它们。

我收到错误：

Template metadata regex '[ \t\n\x0B\f\r]*\{[ \t\n\x0B\f\r]*((.|\r|\n)*".*"[ \t\n\x0B\f\r]*:[ \t\n\x0B\f\r]*".*"(.|\r|\n)*){17}[ \t\n\x0B\f\r]*\}[ \t\n\x0B\f\r]*' was too large. Max size is 1000 but was 1187.

我没有在命令行中指定它，所以我知道它是从元数据文件中获取的——它直接来自 DataPrep，未经我编辑。

我有 17 个输入位置 - 一个包含源数据，其他所有位置都是查找。每个都有一个正则表达式，加上一个额外的。

如果它在 DataPrep 提示时正在运行，但不会通过 CLI 运行，我是否遗漏了什么？

4

1 回答 1

0

在这种情况下，我怀疑根本原因是 gcloud 中的限制，而 Dataflow API 或 Dataprep 中不存在该限制。在这种情况下，最好的办法是在公共跟踪器中打开一个新的Cloud Dataflow 问题并在那里提供详细信息。

于 2018-10-02T21:09:10.150 回答