0

我是 Streamsets 和 Kudu 技术的新手,我正在尝试几种解决方案来实现我的目标:我有一个包含一些 Avro 文件的文件夹,这些文件需要处理并随后发送到 Kudu 模式。

https://i.stack.imgur.com/l5Yf9.jpg

当使用包含数百条记录的 Avro 文件时,一切正常,但是当记录数增加到 16k 时,会显示此错误:

Caused by:
org.apache.kudu.client. NonRecoverableException:
MANUAL_FLUSH is enabled but the buffer is too big.

我在 Streamsets 和 Kudu 上搜索了所有可用的配置,我能够应用的唯一解决方案是编辑 Java 源代码,删除从默认刷新模式切换到手动模式的单行;这可行,但它不是最佳解决方案,因为每次我想在新机器上使用它时都需要编辑和编译这个文件。

任何人都知道如何避免这种情况发生?

提前致谢!

4

0 回答 0