我正在针对特定用例评估 Apache Ignite。我正在尝试将 50 GB 的数据加载到 Ignite 中的缓存中。我有 CSV 格式的数据。目前,我正在以 Java Bean 的形式读取 Java 程序中的数据,并使用 Ignite 中的流式 API 将 bean 添加到缓存中。我正在寻找替代方法/选项。
- Ignite 是否有任何开箱即用的功能可用于以并行方式批量加载 CSV 文件中的数据(读取 CSV 和写入缓存)?
- 在 Java 客户端程序中使用流媒体 API 加载数据时,我看到流媒体对象在添加了大约 600MB 数据后关闭,并导致客户端节点崩溃并随后其他节点崩溃。处理 500MB 数据时,数据加载工作正常。我在每台服务器中使用 3 个物理节点集群和 2 个 ignite 节点实例。
任何建议都会有所帮助。