3

我正在尝试对Parsec一大堆小文件运行解析器，并收到一条错误消息，提示我打开的文件太多。我知道我需要使用严格的 IO，但我不知道该怎么做。这是有问题的代码：

files = getDirectoryContents historyFolder

hands :: IO [Either ParseError [Hand]]
hands = join $ sequence <$> parseFromFile (many hand) <<$>> files

注意：我的<<$>>功能是这样的：

(<<$>>) :: (Functor f1, Functor f2) => (a -> b) -> f1 (f2 a) -> f1 (f2 b)
a <<$>> b = (a <$>) <$> b
4

2 回答 2

5

我不知道你的parseFromFile函数现在是什么样子（将它包含在问题中可能是个好主意），但我猜你正在使用Prelude.readFile，正如@Markus1189 指出的那样，它包括惰性 I/O。要获得严格的 I/O，您只需要一个 strict readFile，例如Data.Text.IO.readFile。

流式数据库类似于pipesorconduit将允许您避免一次将整个文件读入内存，但据我所知，parsec 不提供流式接口来允许这种情况发生。另一方面，attoparsec 确实包含这样的流接口，并且管道和管道都具有 attoparsec 适配器库（例如，Data.Conduit.Attoparsec）。

tl; dr：您可能只需要以下辅助函数：

import qualified Data.Text as T
import qualified Data.Text.IO as TIO

readFileStrict :: FilePath -> IO String
readFileStrict = fmap T.unpack . TIO.readFile
于 2014-04-06T12:52:23.340 回答
0

在这种情况下，您可以使用BangPatterns语言扩展来强制执行 IO 操作的严格性parseFromFile。例如，该功能hands可以更改为：

hands :: [String] → IO [Either ParseError [Hand]]
hands [] = return []
hands (f:fs) = do
  !res ← parseFromFile hand f
  others ← hands fs
  return (res:others)

parseFromFile这个版本的 hands在移动到列表中的下一个文件之前等待每次调用的结果。一旦你有了这个，问题就会消失。一个完整的工作玩具示例是：

{-# LANGUAGE BangPatterns #-}
import Control.Monad
import Control.Applicative hiding (many)
import Data.Char (isDigit)
import System.Directory (getDirectoryContents)
import System.FilePath ((</>))
import Text.ParserCombinators.Parsec

data Hand = Hand Int deriving Show

hand :: GenParser Char st [Hand]
hand = do
  string "I'm file "
  num ← many digit
  newline
  eof
  return [Hand $ read num]

files :: IO [String]
files = map ("manyfiles" </>)
      ∘ filter (all isDigit) <$> getDirectoryContents "manyfiles"

hands :: [String] → IO [Either ParseError [Hand]]
hands [] = return []
hands (f:fs) = do
  !res ← parseFromFile hand f
  others ← hands fs
  return (res:others)

main :: IO 
main = do
  results ← files >≥ hands
  print results
于 2014-04-06T13:24:57.203 回答