csv - Cloudconnect CSV 缓冲区大小

Question

当我尝试从 zip 文件加载大 CSV 时，执行日志给我以下错误：

----------------------------------------- Error details ------------------------------------------
  Component [Clientes:CLIENTES1] finished with status ERROR.
   The size of data buffer is only 100663296. Set appropriate parameter in defaultProperties file.
--------------------------------------------------------------------------------------------------

如何在 defaultProperties 文件中设置适当的参数？

我试过这个链接，但我的 cloudconnect 运行配置页面与链接不同：

我已经创建了参数文件，并用正确的值填充了附加参数，如教程（下面的代码）所述，并且屏幕上出现了相同的错误。

Name: -config; Value: new_buffer_size.txt

new_buffer_size.txt 内容只有这一行：DEFAULT_INTERNAL_IO_BUFFER_SIZE = 200000000

我怎么解决这个问题？我需要在世界爆炸之前解决这个问题。

Answer 1

CloudConnect 旨在开发 ETL(s)，它可以在 GoodData 云工作者上运行，因此在这种情况下超越了一些较低级别的设置。唯一合法的方法是修改 ETL，使其能够使用当前设置处理数据。关于文档，引用的文章已过时。GoodData 文档团队知道它是否并且他们正在准备文档重构。

注意：您可能已经注意到，CloudConnect 由 Javlin 的 Clover ETL 提供支持，因此请随时查看他们的论坛，因为您会发现如何在较低级别（无 UI）上克服该问题，但它仅适用于数据在本地机器上处理。