hadoop - 用于性能的 Hadoop 映射输出类型

Question

我有一堆字段要由 Mapper 写出大约 10 个字段。哪种方式会更快 1. 写出如下字段

    tradeDate.readFields(in);
    marketMakerId.readFields(in);
    eventTime.readFields(in);
    bidPrice.readFields(in);
    ......................... 

或 2. 将它们转换为单个文本字段（tradeDate、marketId、evenTime、bidPrice ....）并在 Reducer 上构造回对象。

哪种方式可以提供更好的性能呢？

Answer 1

像往常一样，基准测试可能会有所帮助。您可以使用Caliper来检查假设。

但总的来说，当涉及文本<->二进制转换时，二进制格式更快。因此，我认为二进制读/写字段会更快。