2

我有一个目录，里面有我需要解析和处理的 CSV 转储文件。每个文件名都包含一个我知道如何提取的时间戳。然后我需要处理转储中的所有行，但是对于每一行，我需要知道它来自什么文件时间戳。我可以单独获取时间戳，并且可以分别从文件中获取所有行（按照我如何在 Haskell 中实现“cat”？），但找不到组合它们的方法。有任何想法吗？

{-# LANGUAGE OverloadedStrings #-}
module Main (main) where

import Control.Monad.Trans.Resource (MonadResource, runResourceT)
import Data.Conduit (($=), ($$))
import qualified Data.Conduit as C (Conduit, awaitForever)
import qualified Data.Conduit.Binary as C (sinkHandle, sourceFile)
import qualified Data.Conduit.Combinators as C (map, sourceDirectory, unlines)
import qualified Data.Conduit.Text as C (decode, encode, utf8)
import Data.Text (Text, pack)
import Data.Time (LocalTime)
import Filesystem.Path.CurrentOS (FilePath)
import System.IO (stdout)
import Prelude hiding (FilePath)

decodeFilePath :: FilePath -> Text
decodeFilePath = undefined

decodeFilePathToString :: FilePath -> String
decodeFilePathToString = undefined

extractTimestamp :: Text -> LocalTime
extractTimestamp = undefined

readFileConduit :: MonadResource m => C.Conduit FilePath m Text
readFileConduit =
  C.awaitForever (\fp -> C.sourceFile (decodeFilePathToString fp) $= C.decode C.utf8)

readFileWithTimestampConduit :: MonadResource m => C.Conduit FilePath m (LocalTime, Text)
readFileWithTImestampConduit = ???

main :: IO ()
main = do
  runResourceT $
    C.sourceDirectory "data/dumps" $=
    C.map (pack . show . extractTimestamp . decodeFilePath) $=
    C.unlines $=
    C.encode C.utf8 $$
    C.sinkHandle stdout
  runResourceT $
    C.sourceDirectory "data/dumps" $=
    readFileConduit $=
    C.unlines $=
    C.encode C.utf8 $$
    C.sinkHandle stdout

编辑：感谢 acomar，我有这个解决方案：

readFileWithTimestampConduit :: MonadResource m => C.Conduit FilePath m (LocalTime, Text)
readFileWithTimestampConduit =
  C.awaitForever (\fp ->
    C.sourceFile (decodeFilePathToString fp) $=
    C.decode C.utf8 $=
    C.linesUnbounded $=
    C.map (\t -> (extractTimestamp $ decodeFilePath fp, t)))

谁能想到一种方法，包括将一个包含时间戳的管道与另一个包含文件行的管道压缩在一起？这就是我在问这个问题之前试图做的事情。

4

1 回答 1

1

回答更新的问题：

由于导管的设置方式，这不会很好地工作。请注意，管道的传入类型固定为接收单个值：

MonadResource m => C.Conduit i m o

如果要接受多个输入，则必须将它们作为一对请求

MonadResource m => C.Conduit (i1, i2) m o

但是要为该管道提供输入，您已经编写了现有的解决方案！

另一方面，如果有办法将导管制作成箭头，那么您可以毫不费力地使用(***)完全符合您想要的功能的功能来做到这一点 - 即，获取两个输入箭头并将它们组合以产生一个作用于的箭头这对。我的理解是，没有将导管变成箭头的好方法。但是，如果您降级readFileConduit到readFile（使用Handleand hGetContents），您可以extractTimeStamp在readFileIO monad 内部进行组合。

do let timestamp = extractTimeStamp <..args..>
   contents <- readFile <..args..>
   return (timestamp, contents)

然后，您可以使用简单的lift.

于 2014-04-25T23:00:42.767 回答