2

我对 Google Cloud Dataflow 的用例是在管道期间使用 Redis 作为缓存,因为要发生的转换取决于一些缓存的数据。这意味着执行 Redis GET 命令。官方的内置 Redis I/O 转换的文档提到支持一些方法:

阅读 - “提供一个源,它返回一个包含键/值对作为 KV 的有界 PCollection”

readAll - “可用于使用输入 PCollection 元素作为键模式(作为字符串)来请求 Redis 服务器”

看起来 readAll 不对应于 GET 命令,因为输入 PCollection 将用于过滤扫描整个 Redis 源的结果,所以这不是我想要的。

我想知道在查看可以启用我的用例的内置 I/O 转换时是否缺少某些东西,或者是否有支持它的开源 3rd 方 I/O 转换等替代方案。或者,这是否与 Apache Beam 根本不兼容?

4

1 回答 1

2

您可以使用RedisConnectionConfiguration。它将为您提供可在转换中使用的可序列化连接。

于 2018-09-25T00:58:52.613 回答