2

我的应用程序逐行处理一个可能很大的文本文件,我的代码当前是:

(with-open [r (clojure.java.io/reader "large_text_file")]
  (doall
    (map #(process %) (line-seq r)))

在我的代码中,已经处理的行会留在内存中吗?如果是这样,我该如何避免它?

通常,消耗的惰性序列元素是否保留在内存中?

谢谢!

4

4 回答 4

3

这取决于:正常的 GC 规则适用,正如StackOverflow 其他地方详细讨论的那样。

因此,请确保您仅在元素流经时引用它们,而不是保持序列的头部,您应该很好。

于 2012-06-09T04:04:43.027 回答
2

使用doall将保留 seq 的头部并返回它。整个序列将驻留在内存中。

我假设您遍历 seq 以产生副作用。这就是doseq的目的:

(with-open [r (clojure.java.io/reader "your_large_file.txt")]
  (doseq [l (line-seq r)]
    (println l)))
于 2012-06-09T09:08:37.187 回答
1

如果你需要强制对惰性序列求值但你不需要持有它,你可以使用 dorun。它与 doall 相同,但返回 nil 并且不将整个序列保存在内存中。

胡安·曼努埃尔

于 2012-06-09T08:19:13.593 回答
0

函数的返回值是process什么?你最终会以这种方式构建大量的东西吗?我认为您可以处理它doseq而不会产生任何价值,这与 map 不同。

于 2012-06-09T04:37:07.330 回答