python - Apache Beam HTTP 无界源 Python

Question

当前版本的 Apache Beam 是否可以开发一个无界源来接收 HTTP 消息中的数据？我的目的是运行 HTTP 服务器并将收到的消息注入 Beam 管道。如果可能的话，可以用现有的资源来完成吗？

Answer 1

有可能的。您可以利用Splittable DoFn来开发它。来源看起来他们将在不久的将来贬值。

从我的角度来看，我正在尝试开发这样一个管道，该管道将使用一个 Rest API，该 API 在 get 的主体中流式传输 Json 消息并支持多个连接，从而在 API 端（如Adob​​e Livestream或Twitter ）拆分工作负载。此行为应在消费者端启用扩展（数据流）

我的挣扎是我无法从这个用例中找出一个可拆分的限制。流是无限的，并且没有像 Kafka 或字节范围（文件）这样的消息传递代理中的偏移量。我想首先构建元素限制对，例如：（url，缓冲阅读器），但我认为缓冲阅读器不能拆分。

解决方案之一可能是根本不提供限制。我很难想象管道将如何分配元素从而扩展。