google-cloud-platform - Google Dataprep 与消息代理的集成

Question

是否可以在 Dataprep 作业中读取 Kafka 或 Google Pub/Sub 表格？

如果是这样，在调试生产流程时，在“哦，如此快速、实时且响应迅速”的视觉工作室（减去购买或下载工具的能力）上编辑样本时，我应该期待任何“最佳实践”部署注意事项（相同的“数据类型”）是在除此类工具（在我们最喜欢的 IDE 上编码 Scala/Java）之外的任何东西上执行的吗？

Answer 1

没有从消息系统（如 Kafka 或 Pub/Sub）直接读取到 Cloud Dataprep 的本机方式。

我推荐一种替代方法：

1. 将数据流式传输到 BigQuery，然后从 BQ 读取数据
2. 将流数据写入 Cloud Storage，然后加载数据

这两种方法都需要事先将数据写入中间位置。如果您将来需要低延迟、性能或查询能力，我会推荐 BQ。当速度不重要时，我会推荐低成本的 GCS。