问题标签 [google-datastream]

有没有办法获得有关谷歌云数据流中不受支持的事件的更多详细信息？

我正在从 MySQL 运行一个数据流，并且有一些数据流UNSUPPORTED_EVENTS_DISCARDED，我想了解这些事件是什么。

在日志资源管理器中，详细信息仅限于以下内容：

几周前，我从模板（Cloud Datastream 到 BigQuery）创建了一个数据流作业。我停止了该作业，然后尝试使用相同的模板（Cloud Datastream 到 BigQuery）创建一个新作业。现在，我看到了两个必需的新字段（在 GCS 通知策略中使用的 Pub/Sub 订阅。数据流输出文件格式 (avro/json)）。我不知道我应该在这些领域输入什么。页面上的教程甚至不起作用。

知道应该在这两个新字段中输入什么值吗？

我找不到任何有关在新必填字段中输入内容的文档。 https://blog.searce.com/giving-a-spin-to-cloud-datastream-the-new-serverless-cdc-offering-on-google-cloud-114f5132d3cf

https://www.youtube.com/watch?v=7nL4UuFQKy0

错误视图教程图片：

添加图像的新字段：

我目前正在测试 Google Datastream 以将数据从 Cloud SQL 流式传输到 GCS，然后传输到 Big Query。一切都很好，但是一个 200m 行的表目前正在回填数据，我想停止这种情况，因为该表没有在使用中。

这是我到目前为止所尝试的：

1. 从流中删除表。到目前为止，这对所有桌子都有效，但这是我第一次在桌子回填时尝试它。

2. 将表格添加到流中的 No-Backfill 选项。

3. 暂停流，排空，然后重新启动流。

这些似乎都不起作用，在回填表格之前有人遇到过这个问题吗？

非常感谢，马克。

我希望你一切都好。

我不想使用私有连接将 Google Datastream 与托管在 Cloud SQL 中的 MySQL 数据库连接起来。

我已使用公共 IP 通过公共互联网连接，但我需要通过 VPC 对等连接以确保安全，文档表明应执行以下操作：https ://cloud.google.com/datastream/docs/private-connectivity

我一直在尝试跨 Cloud SQL Auth Proxy 进行连接，请遵循此文档，并且我已经将代理连接到 Cloud SQL：https ://cloud.google.com/sql/docs/mysql/connect-admin-proxy#tcp-sockets

在每种情况下，我都会看到相同的错误，无论配置什么 ip，它总是会更改为另一个 ip。

例如，下图显示了设置 Cloud SQL Auth 代理内部 IP 10.128.0.2 的 perfil 配置。

而且，当我尝试测试时，我发现 MySQL IP 更改为 192.168.5.236

Dataflow 和 Datastream 的新功能。有一个用 Java 编写的 Google Dataflow 模板，可以将Datastream数据从存储桶读取到github repo中的 BigQuery

它正确地将 MySQL 数据复制到指定的 BigQuery 数据集

目前，每个更改Datastream都将通过从特定表中插入或更新来合并

如何调整此模板以添加一个新BigQuery Nested & Repeatable列，该列将审核由Datastream

我在 GCP 上启动了一个以 MySQL 数据库为源的Datastream流，但该流失败并出现以下错误：

“源数据库上的 Binlog 配置不正确。”

我怎样才能解决这个问题？我的源数据库有问题吗？

你好我有一些问题要问。我使用 Datastream 来进行 bigquery，如下面的指南https://cloud.google.com/datastream/docs/implementing-datastream-dataflow-analytics。

但是当我开始流时，我只看到 change_type 的数据是 INSERT。没有出现 UPDATE-INSERT 事件。即使我更新了 1 条记录，它们也不会出现。我使用 MySQL 作为源数据库，使用 Bigquery 作为目标资源

我想知道是否存在 Datastream 无法读取 UPDATE 类型的二进制日志的情况？谢谢你的帮助。