hadoop - 如何映射减少顺序数据，其中 Kn+1->Vn+1 = f(Kn->Vn)？

Question

我有一个更理论的问题，但它与我过去在没有 Hadoop 的情况下解决的任务到 map-reduce 平台的转换有关。

例如，我们有一个视频文件，它在技术上是一个帧序列，我们需要在每一帧中检测一些圆形物体的特征：（x，y，大小，失真）。检测算法将两件事作为输入：帧本身和前一帧的识别结果。

这里的问题是，如何将此类问题转换为 map-reduce 范式，以便：

1. 将使用减速器的好处，在我的情况下，我可以想象只有映射器
2. 算法将能够处理序列，而不仅仅是单独的每一帧。

谢谢

Answer 1

1. 如果要保留每一帧的数据，则不需要 Reduce 步骤。Reduce 步骤在 Hadoop 中是可选的。如果您想运行一些统计数据（例如，在所有帧中平均您的数据），可以使用 reducer。
2. MapReduce 不适合像这样的顺序处理。
   1. 如果您有多个视频要处理，您可以让每个映射器处理一个视频。这将为您提供数据并行性。
   2. 您可以查看相关的 Hadoop 技术，例如为并行顺序处理而设计的Apache Hama或HaLoop 。