0

这是关于 mapreduce 输出的基本问题。

我正在尝试创建一个映射函数，该函数接受一个 xml 文件并使用 apache fop 制作一个 pdf。但是，我对如何输出它有点困惑，因为我知道它作为（键，值）对输出。

我也没有使用流媒体来做到这一点。

4

1 回答 1

0

map-reduce 的重点是处理通常不适合内存的大量数据 - 因此输入和输出通常会以某种方式存储在磁盘上（又名文件）。输入输出必须以键值格式指定

(input) <k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3> (output)

我没有尝试过，但这就是我会做的：

将映射器的输出写入此表单：key是Text中的文件名（保持文件名唯一），value是TextOutputFormat中 fop 的输出。使用TextOutputFormat编写它。

建议：

我假设您的用例只是读取输入 xml（可能对其数据进行一些操作）并使用fop将数据写入 PDF 文件。我不认为这首先是一个hadoop用例......因为你想做的任何事情都可以通过批处理脚本来完成。你的 xml 文件有多大？您必须处理多少个 xml 文件？

编辑：

SequenceFileOutputFormat将写入SequenceFile。SequenceFile具有自己的标题和其他元数据以及存储的文本。它还以键：值的形式存储数据。 

SequenceFile Common Header

    version - A byte array: 3 bytes of magic header 'SEQ', followed by 1 byte of actual version no. (e.g. SEQ4 or SEQ6)
    keyClassName - String
    valueClassName - String
    compression - A boolean which specifies if compression is turned on for keys/values in this file.
    blockCompression - A boolean which specifies if block compression is turned on for keys/values in this file.    
    compressor class - The classname of the CompressionCodec which is used to compress/decompress keys and/or values in this SequenceFile (if compression is enabled).    
    metadata - SequenceFile.Metadata for this file (key/value pairs)
    sync - A sync marker to denote end of the header.

使用SequenceFile会破坏您的应用程序，因为您最终会得到损坏的输出 PDF 文件。试试这个，自己看看。

你有很多输入文件......这就是 hadoop 糟糕的地方。（读这个）。我仍然觉得您可以使用脚本对每个文档逐一调用fop来执行所需的操作。如果您有多个节点，请在输入文档的不同子集上运行相同的脚本。相信我，考虑到创建地图和减少所涉及的开销（你不需要减少......我知道），这将比 hadoop 运行得更快。

于 2012-04-11T03:10:26.640 回答