Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
我正在使用 Scalding 处理具有许多(> 22)字段的记录。在该过程结束时,我想将最终管道的字段名称写入文件。我知道这是可能的,因为 Mapper 和 Reducer 日志显示了此信息。我想在工作本身中获取这些信息,以将其用作穷人模式的基础。如果这不可能做到,那么有没有一种很好的方法可以将类型安全的 Pipes API 用于大型记录(即,不使用任意嵌套的元组或案例类)?
.write(Tsv("filename.tsv"), writeHeader=true)
通过让writeHeader = true你告诉.write函数也包含模式。
writeHeader = true
.write