4

我正在使用 Scalding 处理具有许多(> 22)字段的记录。在该过程结束时,我想将最终管道的字段名称写入文件。我知道这是可能的,因为 Mapper 和 Reducer 日志显示了此信息。我想在工作本身中获取这些信息,以将其用作穷人模式的基础。如果这不可能做到,那么有没有一种很好的方法可以将类型安全的 Pipes API 用于大型记录(即,不使用任意嵌套的元组或案例类)?

4

1 回答 1

0
.write(Tsv("filename.tsv"), writeHeader=true)

通过让writeHeader = true你告诉.write函数也包含模式。

于 2015-02-24T12:33:26.147 回答