xml - 来自hadoop的xml数据的可视化

Question

在我的 HDFS 中，我将进行 xml 处理。即处理一个 xml 文件并提取 2 个节点。这将是我绘制图形的 x 和 y。

我该怎么做。从 hdfs 输出生成图表。我想使用 Rapid miner。我怎么能做到这一点......

要不然

有没有办法可视化我的 hadoop 数据

Answer 1

HDFS 的工作方式是将文件拆分为预定义大小的块。它就像做一个

split -b 64M file.xml

并获取每个块并将其保存到一个救助数据节点。现在，如果您的 HDFS 的块大小为 64MB 且文件大小为 1 GB，您的文件将被分成 16 个块并保存在不同的位置。因此，mapreduce 作业将无法从 xml 文件块中理解，因为 xml 的结构不同于简单的 csv 或 tsv 文件。据我所知，如果 xml 文件大于 hdfs 块大小，则无法通过 hdfs 处理 xml 文件。