问题标签 [google-cloud-pubsub]

我已经设置Pubsub.Builder了指向本地 PubSub 模拟器的根 url（localhost:8036在我的情况下）。它似乎正在工作，我看到模拟器正在接收我的测试推送，但给了我错误 400 Bad Request。

发布代码：

在模拟器控制台输出中，我看到以下内容（这是非常基本的PublishRequest）：

似乎默认的 PubSub 客户端使用不同的协议，但我看不到任何配置它的方法。

如何将com.google.apis:google-api-services-pubsub库与本地模拟器一起使用？

I'm trying to find a way gracefully end my jobs, so as not to lose any data, streaming from PubSub and writing to BigQuery.

A possible approach I can envision is to have the job stop pulling new data and then run until it has processed everything, but I don't know if/how this is possible to implement.

In the console they have quotas for Discovery, Administrative, Publish and Subscribe but I cannot find anywhere a definition of these four categories.

If I list subscriptions is that Discovery? If I get a subscription is that Discovery? If I create or delete topics or subscriptions is that Administrative?

thanks

Paul

edit: you can see the Pub/Sub dquota docs here but they do not answer this question. https://cloud.google.com/pubsub/quotas

我正在尝试使用 java pubsub 客户端来获取命名主题：

不幸的是，当我运行它时

我不断收到 404 响应：

从外观上看，客户端库似乎是 url 转义了 url 中的主题名称，并且 google 服务器失败了。

有没有办法解决这个问题，或者有更好的方法让 google api 客户端不转义主题名称。

编辑按要求，这是完整的来源：

我想对来自 Cloud Dataflow 的工作人员日志进行一些二次处理。有没有简单的方法可以做到这一点？

我很好奇在使用 Cloud DataFlow 和 PubSub 时确保幂等性的最佳方法？

我们目前有一个系统在 MySQL 数据库中处理和存储记录。我对在我们的一些报告中使用 DataFlow 感到好奇，但想了解我需要做些什么来确保我不会意外重复计算（或超过重复计算）相同的消息。

我的困惑来自两部分，首先确保我只发送一次消息，其次确保我只处理一次。

我的直觉如下：

每当我感兴趣的事件记录在我们的 MySQL 数据库中时，将其转换为 PubSub 消息并将其发布到 PubSub。假设成功，记录与 MySQL 记录一起返回的 PubSub id。这样，如果它有一个 PubSub id，我知道我已经发送了它，我不需要再次发送它。如果发布到 PubSub 失败，那么我知道我需要再次发送它。都好。

但是如果在 PubSub 写入成功后写入 MySQL 失败，我可能最终会再次将相同的消息发布到 pub sub，所以我需要在 DataFlow 端处理这种情况和 PubSub 发送消息两次的情况（如每个https://cloud.google.com/pubsub/subscriber#guarantees）。

处理这个问题的最佳方法是什么？在 AppEngine 或其他系统中，我会检查数据存储以查看我正在创建的新记录是否存在，但我不确定您将如何使用 DataFlow 执行此操作。有没有一种方法可以轻松实现过滤器来阻止消息被处理两次？还是 DataFlow 已经处理了这个问题？

我正在使用 google-api-client gem 将 google 服务集成到我的 Rails 应用程序中。在 PubSub 的范围内，我可以在我的 a/c 中创建主题和订阅，但是在调用 watch() 方法时我遇到了问题。谁能给我通过如下服务对象调用 watch 方法的流程 https://developers.google.com/gmail/api/v1/reference/users/watch

以下是我获取服务对象的脚本

我查看了 Google PubSub 的文档，还尝试查看 Google Cloud Monitoring，但找不到任何方法来确定我的主题中的队列大小。

由于我计划使用 PubSub 进行分析，因此监控队列数量对我来说很重要，因此我可以扩大/缩小订阅者数量。

我错过了什么？

我正在调用 gmail 的 watch 方法来获取我的邮箱的更新，但它给了我错误

这是代码

谁能告诉我这有什么问题？

有没有办法以确定的顺序将消息从有界数据流管道（批处理模式）发布到 PubSubIO.Write 中，以便它们至少按该顺序传递。例如使用时间戳或自然/排序排序。