1

读取一个大文本文件(40M+ 行)并对这个列表进行一些操作并将输出写入新文件。

例如:调用 Web 服务并使用响应与此列表进行联合或交集(重复此过程数百次)

使用 scala 使用猫或 scala 流库以功能方式实现此功能的最佳方法是什么(没有 OOM 问题)?

  1. 分块读取数据
  2. 对当前列表进行操作(联合或交集)
  3. 写入新文件
4

0 回答 0