google-cloud-dataflow - 如何验证发送到 PubSub 的所有消息是否已正确发送？

Question

我正在运行从 PubSub 读取并写入 BigQuery 的 Dataflow 流式传输管道。当我尝试验证是否所有消息都已写入 BigQuery 时，我意识到有些消息丢失了。

如何验证发送到 PubSub 的所有消息是否已正确发送？

Answer 1

如果您在您的 PubSub 发布者 (cloud.google.com/pubsub/publisher) 上收到 OK 响应，这应该意味着它们已正确发送。您可以尝试在您的发布者处记录所有已发布的消息 ID，并在您的管道中记录所有收到的消息 ID（例如，将它们放入 BigQuery 列）。