我的应用程序逐行处理一个可能很大的文本文件,我的代码当前是:
(with-open [r (clojure.java.io/reader "large_text_file")]
(doall
(map #(process %) (line-seq r)))
在我的代码中,已经处理的行会留在内存中吗?如果是这样,我该如何避免它?
通常,消耗的惰性序列元素是否保留在内存中?
谢谢!
这取决于:正常的 GC 规则适用,正如StackOverflow 其他地方详细讨论的那样。
因此,请确保您仅在元素流经时引用它们,而不是保持序列的头部,您应该很好。
使用doall将保留 seq 的头部并返回它。整个序列将驻留在内存中。
我假设您遍历 seq 以产生副作用。这就是doseq的目的:
(with-open [r (clojure.java.io/reader "your_large_file.txt")]
(doseq [l (line-seq r)]
(println l)))
如果你需要强制对惰性序列求值但你不需要持有它,你可以使用 dorun。它与 doall 相同,但返回 nil 并且不将整个序列保存在内存中。
胡安·曼努埃尔
函数的返回值是process
什么?你最终会以这种方式构建大量的东西吗?我认为您可以处理它doseq
而不会产生任何价值,这与 map 不同。