2

我想实现一个使用以下模式读取镶木地板文件的 mapreduce 作业：

{
  optional int96 dropoff_datetime;
  optional float dropoff_latitude;
  optional float dropoff_longitude;
  optional int32 dropoff_taxizone_id;
  optional float ehail_fee;
  optional float extra;
  optional float fare_amount;
  optional float improvement_surcharge;
  optional float mta_tax;
  optional int32 passenger_count;
  optional binary payment_type (UTF8);
  optional int96 pickup_datetime;
  optional float pickup_latitude;
  optional float pickup_longitude;
  optional int32 pickup_taxizone_id;
  optional int32 rate_code_id;
  optional binary store_and_fwd_flag (UTF8);
  optional float tip_amount;
  optional float tolls_amount;
  optional float total_amount;
  optional float trip_distance;
  optional binary trip_type (UTF8);
  optional binary vendor_id (UTF8);
  required int64 trip_id;
}

这项工作的主要目的是计算每天每小时 (0->23) 的出租车在行程中的平均速度。

我的Mapper类计算每个接送小时的速度，因此它提供以下几个(hour, speed)。

Reducer类通常应该计算每小时的平均速度。

但是我想知道我是否可以使用组合器类来促进数据处理，因为我了解到组合器类只能用于交换和关联操作，而这不是平均情况吗？

任何帮助将不胜感激。

谢谢 ：）

4

1 回答 1

2

组合器可以帮助计算平均值。您基本上想使用组合器为您提供一个运行总计，您可以在减速器中使用它来计算平均值。

作为输入，组合器将获得(hour, (speed, 1))，作为输出它应该产生(hour, (sum_speed, num_records))。sum_speed然后，reducer 可以通过除以 来计算每小时的平均值num_records。

例如，如果组合器 1 接收作为输入：

(1, (50, 1))
(1, (20, 1))
(1, (10, 1))
(23, (16, 1))

然后它会输出：

(1, (80, 3))
(23, (16, 1))

如果组合器 2 接收输入：

(1, (20, 1))
(23, (40, 1))

然后它会输出：

(1, (20, 1))
(23, (40, 1))

然后，reducer 会在除法之前再次对它们求和：

(1, (80+20, 3+1)) = (1, (100, 4)) = (1, 25) 
(23, (16+40, 1+1)) = (23, (56, 2)) = (23, 28)

以(hour, average_speed).

于 2018-03-07T09:04:09.740 回答