python - 来自端口的 Apache Beam 输入

Question

[Python - 光束 SDK]

我希望能够在集成测试中测试时序问题，所以我想构建一个生成器系统，将消息通过我指定的时间戳传递到我的 Beam 应用程序中。我目前的想法是将应用程序写入端口（我想监听的每个流一个），然后让 Beam 应用程序监听这些端口（与监听 Kafka 主题的方式相同）。

Beam 是否已经能够将端口作为源侦听？如果没有，最好的方法是什么？

Answer 1

我对 [Java SDK] 的体验

在我看来，SocketIIO.read() 实现应该只返回字符串（或字节 []）。因此，创建一个打开端口的 PTransform，然后在 expand() 方法上创建一个循环来读取字符串（或 byte[]），然后将值发送到管道中（返回一个 PColletion）。

希望它能给你一个想法。