3

有人可以指出一个链接，解释如何在烫伤中读写简单的案例类吗？是否有一些默认的序列化方案？

例如，我有创建 com.twitter.algebird.Moments 管道的工作。我希望将管道写入 HDFS 并使用不同的作业读取它们。

Fer示例：我尝试使用以下方式编写：

pipe.write(Tsv(outputPath))

并阅读使用：

class MomentsReadingExample (args: Args) extends Job(args){
  val pipe = Tsv(args("input"), ('term, 'appearanceMoments, 'totalMoments)).read

  val withSum = pipe.map(('appearanceMoments, 'totalMoments) -> 'sum) {
    x: (Moments, Moments) => MomentsGroup.plus(x._1, x._2)
  }

  withSum.write(Tsv(args("output")))
}

我收到以下错误：

java.lang.ClassCastException: java.lang.String cannot be cast to com.twitter.algebird.Moments
4

1 回答 1

1

一种方法是使用pack 和 unpack。

pipe
  .unpack[Moments]('appearanceMoments -> ('m0, 'm1, 'm2, 'm3, 'm4))
  .write(Tsv(outputPath))

Tsv(args("input"), ('term, 'm0, 'm1, 'm2, 'm3, 'm4).read
  .pack[Moments](('m0, 'm1, 'm2, 'm3, 'm4) -> 'appearanceMoments)
于 2014-04-14T18:05:21.763 回答