google-cloud-platform - 从 PubSub 提取 CDAP

Question

我正在尝试将 PubSub 消息中的数据加载到 GCS 文件中。简单管道：PubSub 源 -> JSON 解析器 -> GCS 接收器。

由于 PubSub 只接受作为 utf-8 的 data 参数，我如何在 CDAP 中对其进行解码？我应该构建一个实现解码功能的自定义插件，还是使用 PuSub 消息中的属性而不是“数据”将我的数据作为字符串传递更好？

Answer 1

我使用投影仪插件而不是 PubSub 源和 GCS 接收器之间的 JSON 解析器解决了这个问题。投影仪将 PubSub 源的字节消息属性转换为字符串（纯文本）。