5

我希望尝试在大量输入上运行一个中等成本的函数，使用该函数的部分输出作为其输入之一。代码按预期运行，不幸的是它在进程中消耗了大量内存（堆上略低于 22GiB，最大驻留略高于 1GiB）。这是我的意思的简化示例：

{-# LANGUAGE OverloadedStrings #-}

import Data.List (foldl')
import qualified Data.Text as T
import qualified Data.Text.Lazy as TL
import qualified Data.Text.Lazy.IO as TL
import qualified Data.Text.Lazy.Builder as TB

main :: IO ()
main = TL.putStr $ TB.toLazyText showInts

showInts :: TB.Builder
showInts = foldMap fst shownLines
  where
    shownLines = map (showInt maxwidth) [0..10^7]
    maxwidth = foldl' (\n -> max n . snd) 0 shownLines

showInt :: Int -> Int -> (TB.Builder, Int)
showInt maxwidth n = (builder, len)
  where
    builder = TB.fromText "This number: "
      <> TB.fromText (T.replicate (maxwidth - len) " ") <> thisText
      <> TB.singleton '\n'
    (thisText, len) = expensiveShow n

expensiveShow :: Int -> (TB.Builder, Int)
expensiveShow n = (TB.fromText text, T.length text)
  where text = T.pack (show n)

请注意，在 where 子句中，showInts作为参数， where本身取决于在整个列表上运行的输出。showIntmaxwidthmaxwidthshowInt maxwidth

另一方面，如果我做一些幼稚的事情并将定义替换为maxwidth，foldl' max 0 $ map (snd . expensiveShow) [0..10^7]那么最大驻留量将降至 44KiB。我希望这样的性能可以在没有像预计算这样的变通方法的情况下实现expensiveShow，然后将它与列表一起压缩[0..10^7]。

我尝试严格使用列表（使用foldl包），但这并没有改善情况。

我想吃我的蛋糕并吃掉它：利用懒惰，同时也让事情变得足够严格，以免我们堆积如山。这可能吗？还是有更好的技术来实现这一点？

4

1 回答 1

6

你不能这样做。

问题是您showInts必须遍历列表两次，首先找到最长的数字，然后以必要的格式打印数字。这意味着列表必须在第一遍和第二遍之间保存在内存中。这不是未评估的重击的问题。只是整个列表，完全评估，被遍历两次。

唯一的解决方案是两次生成相同的列表。在这种情况下，这是微不足道的；只有两个[0..10^7]值，一个是最大长度，第二个是格式化它们。我怀疑在您的实际应用程序中，您正在从文件或其他内容中读取它们，在这种情况下，您需要读取文件两次。

于 2021-03-10T13:46:51.360 回答