我想从 CSV 文件中读取一百万条记录，并使用 WSO2 流式集成器写入另一个 CSV 文件。问题是读写数据的速度很慢，几乎每秒10次。WSO2 说“在 20 分钟内读取包含 1000 万行的 100GB 文件”，但我没有找到这样做的示例或指南。谁能帮我？
问问题
74 次
1 回答
1
最后我在这里找到了一些示例https://ei.docs.wso2.com/en/7.2.0/streaming-integrator/ref/performance-analysis-results/并且通过这些示例我的速度还可以。
batch.size.max并且buffer.size在这里是有用的参数。
于 2021-09-02T06:30:18.563 回答