2

我在我的 F# 项目中使用 MathNet.Numerics，但在处理应该在其职权范围内的矩阵时，它会耗尽内存。

编辑：问题绝对不在于 MathNet.Numerics。这是我正在做的事情，虽然我还没有弄清楚那可能是什么。

这是我构建 MNIST 矩阵的方式。也许我要打开文件流或其他东西，但我看不出情况会如何。

let readInt (b : BinaryReader) =
    [1..4] |> List.fold (fun res item -> (res <<< 8) ||| (int)(b.ReadByte())) 0

let readImage (b : BinaryReader, rowArray, colArray) =
    rowArray |> List.collect (fun r -> List.map (fun c -> (b.ReadByte() |> int |> float)/255.0 ) colArray)

let loadMnistImage file =
    use stream = File.Open(file, FileMode.Open)
    use reader = new BinaryReader(stream)
    let magicNumber = readInt(reader)
    let nImages = readInt(reader)
    let nRows = readInt(reader)
    let nCols = readInt(reader)

    let row = [1..nRows]
    let col = [1..nCols]
    let images = [1..nImages] |> List.map (fun _ -> readImage(reader, row, col))
    matrix images;

使用这个，

let mnistTrainingImages = loadMnistImage MnistTrainingImageData
let tr = mnistTrainingImages.Transpose()

炸毁。

是他们还是我？我从http://yann.lecun.com/exdb/mnist/中提取了文件，以防有人想自己尝试。

编辑 1：罪魁祸首是对loadMnistImage. 根据 Gene Belitski 的建议，我运行了代码

let rand = System.Random()
let m: double [,] = Array2D.init 60000 784 (fun _ _ -> rand.NextDouble())

行前和行后

let mnistTrainingImages = loadMnistImage MnistTrainingImageData

行前，还好；在该行之后，它因同样的内存不足异常而爆炸。我原以为这些use声明会发布文件，我会没事的（这不是一个庞大的文件）。但是，我错过了一些东西，所以我会继续挖掘，如果有人看到任何东西，请告诉我。

编辑2：当我如下简化文件阅读器时，问题就消失了。看起来问题出在列表的惰性评估上。

let readImage (b : BinaryReader) =
    (b.ReadByte() |> int |> float)/255.0

let loadMnistImage file =
    use stream = File.Open(file, FileMode.Open)
    use reader = new BinaryReader(stream)
    let magicNumber = readInt(reader)
    let nImages = readInt(reader)
    let nRows = readInt(reader)
    let nCols = readInt(reader)
    Array2D.init nImages (nRows * nCols) (fun _ _ -> readImage reader)
4

1 回答 1

2

即使使用 32 位 F#3.0 FSI，以下代码段也可以毫无问题地为我工作：

#if INTERACTIVE
#r @"....\packages\MathNet.Numerics.2.6.2\lib\net40\MathNet.Numerics.dll"
#endif

open MathNet.Numerics.LinearAlgebra.Double

let rand = System.Random()
let m: double [,] = Array2D.init 60000 784 (fun _ _ -> rand.NextDouble())
let mx = DenseMatrix.OfArray m
let tmx = mx.Transpose()

必须在您的设置中工作，是吗？

于 2013-10-30T13:22:03.697 回答