3

我正在尝试在第 5 列中使用 JSON 制作适合导入到 mongoDB 的大型 TSV 文件。特别是我想将顶级且仅顶级关键字段更改为_id。这是我到目前为止所拥有的，它似乎工作但很慢：

{-# LANGUAGE OverloadedStrings #-}

import System.Environment (getArgs)
import Data.Conduit.Binary (sourceFile, sinkFile)
import Data.Conduit
import qualified Data.Conduit.Text as CT
import qualified Data.Conduit.List as CL
import qualified Data.Text as T
import Data.Monoid ((<>))
import Data.Attoparsec.Text as APT
import Control.Applicative

main = do 
        (inputFile : outputFile : _) <- getArgs
        runResourceT $ sourceFile inputFile  
                $= CT.decode CT.utf8 $= CT.lines $= CL.map jsonify 
                $= CT.encode CT.utf8 $$ sinkFile outputFile

jsonify :: T.Text -> T.Text
jsonify = go . T.splitOn "\t"
        where 
        go (_ : _ : _ : _ : content : _) = case parseOnly keyTo_id content of
                Right res -> res <> "\n"
                _ -> ""
        go _ = ""

keyTo_id :: Parser T.Text 
keyTo_id = skipWhile(/='{') >> T.snoc <$>
        (T.cons <$> (char '{') 
                <*> (T.concat <$> many1 ( bracket 
                    <|> (string "\"key\":" >> return "\"_id\":") 
                    <|> APT.takeWhile1(\x -> x /= '{' && x /= '}' && x/= '"') 
                    <|> T.singleton <$> satisfy (/= '}')
                    )))  
        <*> char '}'        

bracket :: Parser T.Text        
bracket = T.cons <$> char '{' 
        <*> scan 1 test
     where
        test :: Int -> Char -> Maybe Int
        test 0 _ = Nothing        
        test i  '}'= Just (i-1)
        test i '{' = Just (i+1)
        test i _ = Just i

根据分析器，58.7% 的时间花在括号中，19.6% 用于 keyTo_id，17.1% 用于 main。

如果括号匹配，肯定有更好的方法来返回括号中的术语吗？

我简要地查看了 attoparsec-conduit，但我不知道如何使用该库，甚至不知道这是否是它可以用来做的事情。

编辑：更新了代码。数据来自openlibrary.org，例如http://openlibrary.org/data/ol_dump_authors_latest.txt.gz

4

1 回答 1

2

使用该scan功能。它允许您扫描维护状态的字符串。在您的情况下，状态将是一个数字——到目前为止您遇到的左大括号和右大括号的区别。当您的状态为 0 时，这意味着大括号在当前子字符串内匹配。

诀窍是您不会以这种方式解构和重建字符串，因此它应该更快。

此外，即使使用当前算法，您也可以通过使用惰性文本获得一些性能——该concat函数将更有效地工作。

于 2012-10-03T20:11:56.303 回答