scala - 在烫伤中读取 ctrl 分隔符

Question

我正在尝试在烫伤中读取 ctrl-a 分隔文件。我收到一条错误消息，指出它找到了错误数量的字段（期望 166，找到 142），然后它显示它试图读取的行。由于某种原因，它不会读取文件三分之一的分隔符。这是我正在使用的代码：

Csv(args("input"), separator = "\u0001", fields = schema)
    .read
    .groupBy('var2){group => group.sum[Long]('var3)}
    .write(Tsv(args("output")))

我是烫伤的新手，所以我可能不正确/不恰当地使用了 CSV 函数。关于为什么会发生这种情况的任何想法？

Answer 1

我建议查看错误所在的行，看看该字段值中是否嵌入了任何控制字符。我快速阅读了一个由这个（标题开头！！）控制字符分隔的文件，我能够很好地阅读。所以建议看一下数据——如果可能的话，你可以提供样本数据。