问题标签 [outputformat]

我有一份工作会发出 900,000 种不同的输出。每一个都必须由一个特定的唯一名称来标识……这就是我在 mapOutputKey 上的“名称”。我如何在 map-reduce 中做到这一点？

我正在为 hadoop 构建自定义输出格式，并且想知道输出格式中是否有办法知道所有减速器（RecordWriters）何时完成？

为了知道一个 RecordWriter 完成了，可以使用 RecordWriter 的 close 方法，但是当所有 RecordWriters 完成时执行一些清理呢？

我有一个复合组件，这是其中的一个片段。

如果我想使用 格式化 value3 <f:convertNumber>，我该怎么做？

我对 Cassandra 很陌生。我正在使用 hadoop 使用 CqlOutputFormat 将数据批量加载到 cassandra 集群中。我无法在互联网上找到足够的示例来根据我的用例定制它。

我专门使用它来使用语句将数据插入集群，

我不确定 context.write() 应该如何完成这项工作。似乎有足够的示例来了解它应该如何用于更新语句（示例中的字数会做）。但是有人可以告诉我如何在插入模式下使用它吗？

使用 XSLT Compiled Transform 时，我无法将输出完全格式化，它总是会去除所有空格并且不是人类可读的形式。

但是，如果我通过 Visual Studio XSLT 调试器运行相同的转换，则输出会整齐地缩进。这是我的代码的样子：

转换将创建一个文本文件，Visual Studio 的 XSLT 调试器在保留输出格式方面有何不同？

我已经看过这个链接：XSLT Transform not indenting proper

当我输出到文本时，这不适用于我。我应该使用 Stream 以外的东西吗？

我的示例 XSLT：

预期输出：

使用 XSLT 编译转换的输出： {Start:Value1value2End:}

Visual Studio XSLT 调试器为我提供了预期的输出格式，但 XSLT Compiled 转换去除了所有空格和换行符。

嗨，我是 MapReduce 的初学者，我想对 WordCount 进行编程，以便输出 K/V 对。但问题是我不想使用“制表符”作为文件的键值对分隔符。我怎么能改变它？

我使用的代码与示例代码略有不同。这是驱动程序类。

由于我希望文件名与reducer的分区相对应，因此我在reduce函数中使用了multipleout.write()，因此代码略有不同。

任何帮助将不胜感激！谢谢！

我已经实现了一种自定义输出格式，用于将键值对转换为 Json 格式。

}

但是，Mapreduce 作业的输出有一些不受欢迎的字符，例如：{ NUL Chair:12 NUL BS Book:1}

我的驱动程序类如下：

}

任何想法为什么这些字符出现在输出中？

我有一个具有以下格式的 .csv 文件。 id|name|date

我正在使用以下 awk 命令来更改一行中的特定列，它可以工作。 awk -F "|" '{$"'"$col"'"="'"$val"'";}1' filename.csv

我想保存输出，但是格式被破坏了。

我想要的是 ： 100|James|2015

我得到什么：100 James 2015

我如何避免第二个，并获得第一个？

有没有办法使用 python 使用 hadoop-streaming 将文本数据写入镶木地板文件。

基本上，我的 IdentityMapper 发出了一个字符串，我想将其存储为镶木地板文件。

输入或示例将非常有帮助

我有一个要求，我需要创建一个序列文件。现在我们已经在 hadoop api 之上编写了自定义 api，但是由于我们在 spark 中移动，我们必须使用 spark 来实现相同的目标。可以使用 spark 数据帧来实现吗?