5

... 就是那个问题。我一直在研究一种算法,该算法将向量数组作为输入,并且该算法的一部分重复选择向量对并评估这两个向量的函数,该函数不会随时间变化。在寻找优化算法的方法时,我认为这将是一个很好的记忆化案例:与其一遍又一遍地重新计算相同的函数值,不如将其缓存并命中缓存。

在跳到代码之前,这里是我的问题的要点:我从记忆中获得的好处取决于向量的数量,我认为这与重复调用的数量成反比,并且在某些情况下记忆会完全降低性能。那么我的情况是否不足以记忆?我是不是做错了什么,有没有更聪明的方法来优化我的情况?

这是一个简化的测试脚本,它非常接近真实的东西:

open System
open System.Diagnostics
open System.Collections.Generic

let size = 10 // observations
let dim = 10 // features per observation
let runs = 10000000 // number of function calls

let rng = new Random()
let clock = new Stopwatch()

let data =
    [| for i in 1 .. size ->
        [ for j in 1 .. dim -> rng.NextDouble() ] |]    
let testPairs = [| for i in 1 .. runs -> rng.Next(size), rng.Next(size) |]

let f v1 v2 = List.fold2 (fun acc x y -> acc + (x-y) * (x-y)) 0.0 v1 v2

printfn "Raw"
clock.Restart()
testPairs |> Array.averageBy (fun (i, j) -> f data.[i] data.[j]) |> printfn "Check: %f"
printfn "Raw: %i" clock.ElapsedMilliseconds

我创建了一个随机向量列表(数据)、一个随机索引集合(testPairs),并在每一对上运行 f。

这是记忆的版本:

let memoized =
    let cache = new Dictionary<(int*int),float>(HashIdentity.Structural)
    fun key ->
        match cache.TryGetValue(key) with
        | true, v  -> v
        | false, _ ->
            let v = f data.[fst key] data.[snd key]
            cache.Add(key, v)
            v

printfn "Memoized"
clock.Restart()
testPairs |> Array.averageBy (fun (i, j) -> memoized (i, j)) |> printfn "Check: %f"
printfn "Memoized: %i" clock.ElapsedMilliseconds

这是我所观察到的: * 当大小很小 (10) 时,记忆的速度大约是原始版本的两倍,* 当大小很大 (1000) 时,记忆比原始版本多 15 倍时间,* 当 f 代价高昂时, memoization 改进了事情

我的解释是,当尺寸较小时,我们有更多的重复计算,并且缓存得到了回报。

令我吃惊的是更大尺寸的巨大性能冲击,我不确定是什么原因造成的。我知道我可以稍微改进字典访问,例如使用结构键 - 但我没想到“天真的”版本表现得如此糟糕。

那么 - 我在做什么明显有问题吗?对于我的情况,记忆是错误的方法吗?如果是,有更好的方法吗?

4

2 回答 2

7

我认为记忆是一种有用的技术,但它不是灵丹妙药。它在动态编程中非常有用,它可以降低算法的(理论)复杂性。作为一种优化,它可以(正如您可能期望的那样)产生不同的结果。

f在您的情况下,当观察数量较少(并且计算成本更高)时,缓存肯定更有用。您可以将简单的统计数据添加到您的记忆中:

let stats = ref (0, 0) // Count number of cache misses & hits
let memoized =
    let cache = new Dictionary<(int*int),float>(HashIdentity.Structural)
    fun key ->
        let (mis, hit) = !stats
        match cache.TryGetValue(key) with
        | true, v  -> stats := (mis, hit + 1); v // Increment hit count
        | false, _ ->
            stats := (mis + 1, hit); // Increment miss count
            let v = f data.[fst key] data.[snd key]
            cache.Add(key, v)
            v
  • 对于 small size,我得到的数字是这样的(100, 999900),所以记忆化有很大的好处 - 该函数f被计算 100 倍,然后每个结果被重用 9999 倍。

  • 对于 big size,我得到类似(632331, 1367669)这样的东西f被多次调用,每个结果只被重用两次。在这种情况下,在(大)哈希表中分配和查找的开销要大得多。

作为一个小的优化,您可以预先分配Dictionary和 write new Dictionary<_, _>(10000,HashIdentity.Structural),但这在这种情况下似乎没有多大帮助。

为了使这种优化有效,我认为您需要了解有关 memoized 函数的更多信息。在您的示例中,输入非常有规律,因此记忆化可能没有意义,但是如果您知道该函数更经常使用某些参数值调用,则您可能只能记忆这些常见参数。

于 2013-01-05T22:10:36.980 回答
5

Tomas 的答案非常适合您何时应该使用 memoization。这就是为什么在你的情况下记忆变得如此缓慢的原因。

听起来您正在调试模式下进行测试。在 Release 中再次运行您的测试,您应该会获得更快的记忆结果。在调试模式下,元组可能会导致很大的性能损失。我添加了一个散列版本进行比较以及一些微优化。

发布

Raw
Check: 1.441687
Raw: 894

Memoized
Check: 1.441687
Memoized: 733

memoizedHash
Check: 1.441687
memoizedHash: 552

memoizedHashInline
Check: 1.441687
memoizedHashInline: 493

memoizedHashInline2
Check: 1.441687
memoizedHashInline2: 385

调试

Raw
Check: 1.409310
Raw: 797

Memoized
Check: 1.409310
Memoized: 5190

memoizedHash
Check: 1.409310
memoizedHash: 593

memoizedHashInline
Check: 1.409310
memoizedHashInline: 497

memoizedHashInline2
Check: 1.409310
memoizedHashInline2: 373

资源

open System
open System.Diagnostics
open System.Collections.Generic

let size = 10 // observations
let dim = 10 // features per observation
let runs = 10000000 // number of function calls

let rng = new Random()
let clock = new Stopwatch()

let data =
    [| for i in 1 .. size ->
        [ for j in 1 .. dim -> rng.NextDouble() ] |]    
let testPairs = [| for i in 1 .. runs -> rng.Next(size), rng.Next(size) |]

let f v1 v2 = List.fold2 (fun acc x y -> acc + (x-y) * (x-y)) 0.0 v1 v2

printfn "Raw"
clock.Restart()
testPairs |> Array.averageBy (fun (i, j) -> f data.[i] data.[j]) |> printfn "Check: %f"
printfn "Raw: %i\n" clock.ElapsedMilliseconds


let memoized =
    let cache = new Dictionary<(int*int),float>(HashIdentity.Structural)
    fun key ->
        match cache.TryGetValue(key) with
        | true, v  -> v
        | false, _ ->
            let v = f data.[fst key] data.[snd key]
            cache.Add(key, v)
            v

printfn "Memoized"
clock.Restart()
testPairs |> Array.averageBy (fun (i, j) -> memoized (i, j)) |> printfn "Check: %f"
printfn "Memoized: %i\n" clock.ElapsedMilliseconds


let memoizedHash =
    let cache = new Dictionary<int,float>(HashIdentity.Structural)
    fun key ->
        match cache.TryGetValue(key) with
        | true, v  -> v
        | false, _ ->
            let i = key / size
            let j = key % size
            let v = f data.[i] data.[j]
            cache.Add(key, v)
            v

printfn "memoizedHash"
clock.Restart()
testPairs |> Array.averageBy (fun (i, j) -> memoizedHash (i * size + j)) |> printfn "Check: %f"
printfn "memoizedHash: %i\n" clock.ElapsedMilliseconds



let memoizedHashInline =
    let cache = new Dictionary<int,float>(HashIdentity.Structural)
    fun key ->
        match cache.TryGetValue(key) with
        | true, v  -> v
        | false, _ ->
            let i = key / size
            let j = key % size
            let v = f data.[i] data.[j]
            cache.Add(key, v)
            v

printfn "memoizedHashInline"
clock.Restart()
let mutable total = 0.0
for i, j in testPairs do
    total <- total + memoizedHashInline (i * size + j)
printfn "Check: %f" (total / float testPairs.Length)
printfn "memoizedHashInline: %i\n" clock.ElapsedMilliseconds


printfn "memoizedHashInline2"
clock.Restart()
let mutable total2 = 0.0
let cache = new Dictionary<int,float>(HashIdentity.Structural)
for i, j in testPairs do
    let key = (i * size + j)
    match cache.TryGetValue(key) with
    | true, v  -> total2 <- total2 + v
    | false, _ ->
        let i = key / size
        let j = key % size
        let v = f data.[i] data.[j]
        cache.Add(key, v)
        total2 <- total2 + v

printfn "Check: %f" (total2 / float testPairs.Length)
printfn "memoizedHashInline2: %i\n" clock.ElapsedMilliseconds



Console.ReadLine() |> ignore
于 2013-01-05T23:47:12.733 回答