我正在使用 GCP 处理和存储从模拟物联网设备发送的数据。数据(应该)在以下路径中流动:
[使用 mqtt 客户端模拟 IoT 设备] -> [IoT 核心设备] -> [IoT 核心注册表] -> [pub/sub 主题] -> [pub/sub 订阅] -> [cloud dataflow pub/sub 订阅 BigQuery 模板] -> [BigQuery 表]
我所在的公司有一些 GCP 配置(它在 VPC 上),这要求我为 DataFlow 指定一个子网才能运行。当数据流在指定子网后运行时,它什么也不做。它不会从订阅中提取数据,也不会输出任何错误消息。它显然不知道数据正在发送到主题和订阅。我还尝试了 BigQuery 模板的云数据流发布/订阅主题,但它也没有任何作用。我已验证数据正在发送到订阅。
解决此问题的最佳方法是什么?我不知道为什么这两个组件之间没有通信。