scala - mapTo 如何比 Scalding 中的 map 更高效

Question

Github 上的 Scalding 参考（https://github.com/twitter/scalding/wiki/Fields-based-API-Reference#map-functions）说明如下：

MapTo 相当于映射然后投影到新字段，但效率更高。因此，以下两行产生相同的结果：

pipe.mapTo(existingFields -> additionalFields){ ... } pipe.map(existingFields -> additionalFields){ ... }.project(additionalFields)

我的问题是：

• mapTo 如何比 map 更高效？

Answer 1

map由于您指出了剩余的字段，因此在执行操作时无需保留将要丢弃的字段。

根据丢弃的字段数量和数据量，差异可能非常明显。