问题标签 [google-dataflow]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-cloud-platform - 删除 bigquery 表记录的自动作业
有没有办法根据列条件安排从 bigquery 表中删除行？类似于安排每天运行的作业。
例如，假设我在表中有一个名为 creation_date 的列。当 creation_date 小于当前日期减去一周 ( creation_date < current date - 7) 时，我需要删除记录。我需要作业每天在指定时间运行并根据创建日期条件删除记录。
如果没有任何内置的调度程序操作，您能建议任何可用的选项吗？
google-cloud-dataflow - 谷歌云数据流 sql 不支持窗口功能？
我们正在尝试在数据流 sql 中实现窗口函数 ROW_NUMBER，但它给出的错误是“不支持分析函数”。有什么办法吗？
附上图片供参考
java - PubSub 流式传输作业在本地运行器中不起作用
我正在尝试来自谷歌官方网站的以下示例。
此示例在 DataFlowRunner 中工作没有任何问题，因为当我尝试在本地运行器中运行相同的示例时它不起作用。消息是从 pubsub 队列中读取的，但数据不会写入 gcs 文件。我正在使用 apache 梁 2.31.0 版本。
mysql - 数据流如何无法读取谷歌云数据流中的更新二进制日志
你好我有一些问题要问。我使用 Datastream 来进行 bigquery，如下面的指南https://cloud.google.com/datastream/docs/implementing-datastream-dataflow-analytics。
但是当我开始流时，我只看到 change_type 的数据是 INSERT。没有出现 UPDATE-INSERT 事件。即使我更新了 1 条记录，它们也不会出现。我使用 MySQL 作为源数据库，使用 Bigquery 作为目标资源
我想知道是否存在 Datastream 无法读取 UPDATE 类型的二进制日志的情况？谢谢你的帮助。
google-cloud-dataflow - 处理 3 天后，重新洗牌步骤中的 Google 数据流异常
这是日志中唯一的错误异常，所有 Dataflow 工作人员在处理 3.5 天后关闭。它通过了一半以上的负载。这个错误是什么意思？不确定这是否是增加资源后可能会解决的内存问题。用户代码不会引起异常，因为所有内容都在一个毯子 try...except 块中。
以下是作业的资源指标。
google-cloud-platform - 使用 gcloud SDK 下载 Google Dataflow 的指标
如何使用 GCP 的命令行界面并通过 下载指标，例如利用率、自动缩放和积压gcloud？
google-cloud-platform - 使用 Google Dataflow 批量解压缩模板解压缩文件？
我正在尝试将上传的 zip 文件解压缩到 Cloud Storage，其中仅包含图像文件，其中没有任何其他文件夹。
我可以使用云功能做到这一点，但是当文件变大时，我似乎会遇到与内存相关的问题。我为这个特定案例找到了数据流模板（批量解压缩云存储文件），并尝试运行一些类似于以下参数的作业。
作为输出，我只得到 1 个与我的 zip 文件同名的文件，没有文件扩展名，并且类型为 text/plain。
这是预期的行为吗？如果有人可以帮助我使用 Dataflow 解压缩文件，我会很高兴。
谢谢