问题标签 [multipleoutputs]

我们需要能够将 map/reduce 的输出写入多个文件（已经工作）以及 HBase 表。这可能吗？我一直在研究 MultipleOutputs 选项，但我不知道该怎么做，或者它是否可行。我对 haddop 非常陌生。如果有人知道网络上的任何示例，请您指出正确的方向吗？谢谢你。

我已经有了我的 python 脚本，通过将 5 个不同的输入文件传递给它来生成我想要的输出文件。每个输入文件都在不同的文件夹中，并且在每个文件夹中还有更多的文件，它们都以“chr”开头并以扩展名“.vcf.gz”结尾

因此，我执行以产生一个输出的命令是：

现在我想要获得的是一个单一的命令来对包含在相同文件夹中的其他输入文件执行相同的操作，比如说“chrY.vcf.gz”和“chrZ.vcf.gz”，同时产生我的每组输入文件都有一个输出文件，名为“chrYoutput.txt”和“chrZoutput.txt”

那可能吗？我应该改变我的策略吗？

非常感谢您的任何建议或提示！

我试图在我的 gui 中有两个输出记录器。此代码正确输出到每个文件。

但是之后当我在 gui 中测试相同的两行时，它不再起作用了。我对记录器的解释是错误的还是我做错了什么？

相反，如果我在主目录中使用以下行（所以我从字符串中删除了 myApp），那么记录器在整个应用程序中都能完美运行，但所有内容都只保存到一个文件中。

PS，如果可以的话，我不想使用第三方课程。

我在reduce 阶段的reduce 程序中使用MultipleOutputs。我正在处理的数据集约为 270 mb，我在我的伪分布式单节点上运行它。我为我的地图输出值使用了自定义可写。键是数据集中存在的国家。

}

以上是我的减少逻辑

问题

1) 上述代码适用于小型数据集，但由于堆空间为 270 mb 数据集而失败。

2) 使用国家作为键在单个可迭代集合中传递相当大的值。我试图解决这个问题，但 MutlipleOutputs 为给定的一组键创建唯一文件。重点是我无法附加之前运行reduce创建的现有文件并引发错误。因此对于特定的键，我必须创建新文件。有没有办法解决这个问题？. 解决上述错误导致我将键定义为国家名称（我的最终排序数据）但抛出 java heap error 。

样本输入

3858241,"Durand","Philip","E.","","","Hudson","MA","US","",1 3858241,"Norris","Lonnie","H. ","","","Milford","MA","US","",2 3858242,"Gooding","Elwyn","R.","","120 Darwin Rd."," Pinckney","MI","US","48169",1 3858243,"Pierron","Claude","Raymond","","","Epinal","","FR","", 1 3858243,"Jenny","Jean","Paul","","","Decines","","FR","",2 3858243,"Zuccaro","Robert",""," ","","Epinal","","FR","",3 3858244,"Mann","Richard","L.","","邮政信箱 69","伍德斯托克","CT","美国","06281",1

小数据集的样本输出

示例目录结构...

CA-r-00000

FR-r-00000

魁北克-r-00000

TX-r-00000

美国-r-00000

*个别内容*

3858241 菲利普·E·杜兰德

朗尼·H·诺里斯

3858242

埃尔文·R·古丁

3858244

理查德·L·曼

我在 mapreduce 作业中遇到问题，我希望输出文件具有格式file-day-26而不是part-r-00000.

我尝试使用方法addNamedOutput( MultipleOutputs) 来完成此操作，但只能更改部分part。

在旧的 API 中，我看到可以使用方法generateFileNameForKeyValue( MultipleTextOutputFormat) 来执行此操作，但我不能使用旧的 API，所以我想知道 Hadoop 的新 API 中是否有类似的东西。

有人能帮我吗？

谢谢。

我的 php 代码没有显示我选择的多个选项。我究竟做错了什么 ？

这是我的 form.html 中的代码

这是我在 form.php 中的 php 代码

相关问题@Test multiple outputs with MRUnit but answer is not applicable for the newer version 1.1.0

问题是如何设置多个命名输出，以便底层模拟实现识别命名路径。我正在写将相同的减速器记录写入 2 条路径。我可以通过调用 MultipleOutputs.addNamedOutput(job, "mos", ...) 在常规 MR 作业中做同样的事情

当我尝试运行 mrunit 时，出现以下异常

scala 代码发布在这里。为代码的冗长道歉。我试着把所有的部分都拉进去，以便更容易地独立运行代码。

我有点卡住了...我试图从查询中获取输出并根据单个条件将其分解为多个文件。我收到将 varchar 类型转换为 int 的错误，我不知道为什么。在 SQL Server 2008 中工作...

我得到的错误是：

我正在尝试使用 LOOP 值让我知道每个文件的内容。例如，LOOP='1' 意味着文件包含与 LIST_ID='1' 关联的客户记录

对错误的想法？

我正在测试一种使用 bash 脚本的运动检测方法。我正在运行 ImageMagick 比较命令并将结果输出到文本文件中。

循环每次运行时都会创建一个输出。我希望将每个输出放入单个文本文件并用逗号分隔。

我目前使用的代码是：

这段代码确实继续将所有数据放入一个文本文件中，但数据显示在一起，看起来就像一个大数字。

目前数据被放入文本文件，但显示如下：“4873343460936622743393154537”

当我希望它阅读时：“4873,343,4609,366,2274,339,315,4537”

所以我想做的是当用户按下提交按钮时，运行一个 php 查询。在那个 php 查询中，如果满足“If 语句”条件，我想执行一个操作（在我的例子中是页面重定向）并返回 false。

[编辑] 整个查询代码是这样的：

我想知道查询是否有效？如果它有什么问题，请务必提及更正。提前感谢您帮助/试图帮助我。