2

我想使用parboiled2来解析多个 CSV 行而不是单个 CSV 字符串。结果将是这样的：

val parser = new CSVRecordParser(fieldSeparator)
io.Source.fromFile("my-file").getLines().map(line => parser.record.run(line))

其中 CSVRecordParser 是我的 CSV 记录半熟化解析器。我遇到的问题是，对于我所尝试的，我不能这样做，因为煮熟的解析器需要在构造函数中输入，而不是在 run 方法中。因此，我可以为每一行创建一个新的解析器，这是不好的，或者找到一种方法将输入传递给解析器，用于我拥有的每个输入。我试图通过将输入设置为变量并将解析器包装在另一个对象中来破解解析器

object CSVRecordParser {

  private object CSVRecordParserWrapper extends Parser with StringBuilding {

    val textBase = CharPredicate.Printable -- '"'
    val qTextData = textBase ++ "\r\n"

    var input: ParserInput = _
    var fieldDelimiter: Char = _

    def record = rule { zeroOrMore(field).separatedBy(fieldDelimiter) ~> (Seq[String] _) }
    def field = rule { quotedField | unquotedField }
    def quotedField = rule {
      '"' ~ clearSB() ~ zeroOrMore((qTextData | '"' ~ '"') ~ appendSB()) ~ '"' ~ ows ~ push(sb.toString)
    }
    def unquotedField = rule { capture(zeroOrMore(textData)) }
    def textData = textBase -- fieldDelimiter

    def ows = rule { zeroOrMore(' ') }
  }

  def parse(input: ParserInput, fieldDelimiter: Char): Result[Seq[String]] = {
    CSVRecordParserWrapper.input = input
    CSVRecordParserWrapper.fieldDelimiter = fieldDelimiter
    wrapTry(CSVRecordParserWrapper.record.run())
  }
}

然后CSVRecordParser.parse(input, separator)在我想解析一行时调用。除了这很可怕之外，它不起作用，而且我经常遇到与解析器以前的用法有关的奇怪错误。我知道这不是我应该使用 parboiled2 编写解析器的方式，我想知道实现我想用这个库做的最好方法是什么。

4

2 回答 2

2

为什么不向解析器添加记录结束规则。

def EOR = rule { "\r\n" | "\n" }

def record = rule { zeroOrMore(field).separatedBy(fieldDelimiter) ~ EOR ~> (Seq[String] _) }

然后你可以传入任意多的行。

于 2016-10-20T19:59:26.600 回答
1

我在一个需要高速和低资源的项目中为超过 100 万条记录的 CSV 文件完成了此操作，我发现为每一行实例化一个新的解析器效果很好。

在我注意到 parboiled2 自述文件提到解析器的重量非常轻后，我尝试了这种方法。

我什至不需要从它们的默认值中增加 JVM 内存或堆限制。每行的解析器实例化工作得很好。

于 2015-01-16T15:08:39.240 回答