2

我的问题是，如果 .csv 文件足够大，map/zipmap 步骤（如下）是否存在消耗过多内存的风险？

我有一个从 clojure-csv 返回的序列。为了清楚起见，以下步骤特意分开。换句话说，我会在生产代码中结合其中的一些。

; Process the .csv file
(defn fetch-csv-data
    "This function accepts a csv file name, and returns parsed csv data,
     or returns nil if file is not present."

    [csv-file]
        (let [csv-data (ret-csv-data csv-file)]
            csv-data))

(def bene-csv-inp  (fetch-csv-data "benetrak_roster.csv"))

; Pull out the columns/keys, and
(def bene-csv-cols (map #(cstr/trim %1) (first bene-csv-inp)))

; create the keys.
(def bene-csv-keys (map #(keyword %1) bene-csv-cols))

; Make a sequence of just one of the keys:

(def test-ssns2 (map (fn [x] (:GIC-ID x)) 
                (map #(zipmap gic-csv-keys %1) gic-csv-data)))

谢谢。

4

1 回答 1

4

此代码泄漏内存的唯一方法是因为defs 将持有惰性序列的头部。如果你用返回序列的函数替换它们，那么实际的头将只存在于调用堆栈中，并由惰性求值正确处理。

(defn bene-csv-inp [] (fetch-csv-data "benetrak_roster.csv"))

; Pull out the columns/keys, and
(defn bene-csv-cols [] (map #(cstr/trim %1) (first (bene-csv-inp))))

; create the keys.
(defn bene-csv-keys [] (map #(keyword %1) (bene-csv-cols)))

这是一个粗略的经验法则，虽然有时很有用，但在它们包含无限序列时defs用defn's 替换，并使它们在任何地方调用而不是读取（除非你真的想要多个读取器的惰性序列的缓存优势，并且序列是只会读取合理数量的数据）。

一旦热点编译器完成它，使用函数调用而不是在这里读取定义几乎肯定不会对运行时产生任何影响。

于 2012-08-09T18:49:49.883 回答