2

通过使用会话窗口运行具有相当高级组的流式数据流管道，我在运行几个小时后遇到了问题。这项工作在工人中扩大规模，但后来开始使用以下内容获取日志负载

Processing lull for PT7500.005S in state process of ...

记录此代码的转换就在“group by”块之后，并对scala.concurrent.{Await/Promise}外部服务执行异步 HTTP 调用（使用 ）。

任何想法为什么会发生这种情况？与异步、扩展或按策略分组有关？

  • 职位编号：2018-01-29_03_13_40-12789475517328084866
  • SDK：适用于 Java 2.2.0 的 Apache Beam SDK
  • Scio 版本：0.4.7
4

1 回答 1

1

@jkff评论为我指明了正确的方向。第一步是为 scala 未来添加超时 - 这向我表明“处理暂停”实际上是永不终止的承诺，从而迫使数据流“永远”保持它们。现在我得到了适当的未来超时错误，但无济于事，因为工作仍未继续进行。现在改为同步调用，但我看到吞吐量要低得多

于 2018-02-22T09:01:47.393 回答