here-olp - 为什么我的管道会抛出“fetchMessages request failed with invalid offset error”？

Question

我正在尝试编写流式管道并收到此错误。

这是我的规格：-

--cpu-parallelism 8
--memory-parallelism 8

请让我知道这是否有意义。

Answer 1

这种行为有两种已知的场景 -

• 如果管道暂停的时间超过输入流之一的保留期或
• 如果管道处理数据的速度比输入流接收数据的速度慢。在这种情况下，在某些时候，Pipeline 正在处理的当前数据将在超过保留期阈值时被流层丢弃。