问题标签 [multipleoutputs]

我确定有办法做到这一点，但我找不到。我想要的是将多个文件传递给 browserify 并输出多个文件——这对于一个站点有多个 SPA 的情况很有用，每个 SPA 都有自己的要求。

假设我有app1.js,app2.js等，每个都加载到不同的页面并具有独立的require('..')语句。我正在寻找执行以下操作的任务：

知道什么是完成此任务的简单方法吗？谢谢。

我需要根据过滤条件将输入文件拆分为 2 个输出文件。我的输出目录应如下所示：

我正在使用MultipleOutputs类在我的地图函数中拆分我的数据。在我的驱动程序类中，我使用如下：

在 Mapper 中，我在下面使用：

该程序可以正常运行一天。但是在第二天我的程序没有说：

第二天我不能使用不同的基本目录。

我该如何处理这种情况？

注意：我不想读取输入以创建 2 个单独的文件。

I have written a Map only hadoop job in which i have used MultipleOutputs concept. The problem here is, i want to test this code with MRUnit. I don't see any working example for MultipleOutputs testing.

My mapper code will be like,

Can anyone of you guys give me a working example of MRUnit test with MultipleOutputs?

我有一个任务，它在由输入记录的几个字段组织的多个目录中写入 avro 输出。

下面的代码将使用哪个输出提交者来编写输出。与推测执行一起使用是否不安全？通过推测执行，这会导致（可能会导致）org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException

在这篇文章 中 Hadoop Reducer：如何使用推测执行输出到多个目录？ 建议使用自定义输出提交器

hadoop AvroMultipleOutputs 的以下代码没有说明推测执行有任何问题

如果 baseoutput 路径位于作业目录之外，则 write 方法也不会记录任何问题

在作业目录之外写入时，AvroMultipleOutputs（其他输出）是否存在具有推测执行的真正问题？如果，那么我如何覆盖 AvroMultipleOutputs 以拥有它自己的输出提交者。我在 AvroMultipleOutputs 中看不到它使用的输出提交者的任何输出格式

我使用 MultipleOutputs 将数据输出到某些绝对路径，而不是相对于 OutputPath 的路径。

然后，我得到错误：

错误：org.apache.hadoop.ipc.RemoteException（org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException）：无法为 [DFSClient_attempt_1425611626220_29142_m_000035_01 创建文件 [/test/convert.bak/326/201505110030/326-m-00035] -370311306_1] 在客户端 [192.168.7.146] 上，因为此文件已由 [DFSClient_attempt_1425611626220_29142_m_000035_1000_-53988495_1] 在 [192.168.7.149] 上的 [DFSClient_attempt_1425611626220_29142_1000_-53988495_1] 创建:2320) 在 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:2083) 在 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2012) 在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:1963) 在

我有需要使用 MyBatis 调用的存储过程。无论如何，我设法调用了这个存储过程。过程有多个输出参数。out 参数之一是 oracle cursor。我需要遍历 Oracle Cursor，但是当我在没有使用 fetchSize 属性对 jdbc 驱动程序进行任何微调的情况下执行此操作时，它会逐行进行，并且此解决方案非常慢。我可以设置过程调用 fethcSize 属性：

但这根本没有帮助。我认为这不起作用，因为有多个输出参数 - 所以程序不知道应该在哪里应用这个提取大小 - 哪个输出参数。有没有办法在 ResultSet（Oracle 游标）上设置获取大小？就像我使用 java.sql 包中的 CallableStatemen 一样，我可以设置 ResultSet 获取大小。

以下是程序中的映射文件和过程调用：

并从程序调用：

提前致谢！

我在减速器中使用 MultipleOutputs。多个输出会将文件写入名为 NewIdentities 的文件夹。代码如下所示：

它可以以前运行。但是当我今天运行它时，它会引发如下异常。我的hadoop版本是2.4.0。

错误：org.apache.hadoop.fs.FileAlreadyExistsException: /CaptureOnlyMatchIndex9/TEMP/ChangeReport/NewIdentities/-r-00000 客户端 192.168.71.128 已经存在于 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem .java:2297) 在 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2225) 在 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2178 ) 在 org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:354) 在 org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:520)。 hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) 在 org.apache.hadoop.ipc。ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928) at org.apache.hadoop.ipc.Server$Handler$1.run (Server.java:2013) 在 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject。 doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007) 在 sun .reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 在 java.lang.reflect.Constructor.newInstance （构造函数。java:526) at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106) at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73) at org.apache.hadoop.hdfs .DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1604) 在 org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1465) 在 org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1390) 在org.apache.hadoop.hdfs.DistributedFileSystem$6.doCall(DistributedFileSystem.java:394) 在 org.apache.hadoop.hdfs.DistributedFileSystem$6.doCall(DistributedFileSystem.java:390) 在 org.apache.hadoop.fs.FileSystemLinkResolver。 resolve(FileSystemLinkResolver.java:81) at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:390) at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:334) at org.apache .hadoop.fs.FileSystem.create(FileSystem.java:906) at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:887) at org.apache.hadoop.fs.FileSystem.create(FileSystem.java: 784）在 org.apache.hadoop.mapreduce.lib.output.TextOutputFormat.getRecordWriter(TextOutputFormat.java:132) 在

首先，我将发布一个示例，我如何“认为”它可以在早午餐配置文件中定义：

本质上，我正在尝试根据每个“app_??????”的名称找出一种具有多个输出的方法 保存 Javascript 文件的文件夹。

所以如果你有这个文件夹结构，你会得到以下输出：

注意：
没错，我没有在配置中显示 HTML 将如何像 JS 文件一样被重命名/合并，但这就是我希望它理想地工作的方式。任何向我展示它是如何完成的人都会击掌奖励！

我正在从 mapper 生成两个输出文件。我正在使用 Multipleoutput api 生成两个输出。我不确定它是否是正确的方法。这是我的代码.. 请通过这个并给我你的建议..当我运行代码时出现错误：java.lang.NullPointerException ..

这是日志..

错误：com.nielsen.grfe.Export_Column_Mapping$Export_Column_Mapping_Mapper.map(Export_Column_Mapping.java:1) 处 com.nielsen.grfe.Export_Column_Mapping$Export_Column_Mapping_Mapper.map(Export_Column_Mapping.java:113) 处的 java.lang.NullPointerException。 hadoop.mapreduce.Mapper.run(Mapper.java:145) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787) at org.apache.hadoop.mapred.MapTask.run(MapTask.java: 341) 在 org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject.doAs(Subject.java:415 ）在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671) 在 org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

我想运行两个在不同目录中产生两个不同输出的映射器。第一个映射器的输出（作为参数发送）应该发送到第二个映射器的输入。我在驱动程序类中有这个代码

我得到错误..

错误：org.apache.hadoop.mapreduce.lib.input.InvalidInputException：输入路径不存在：文件：/home/Barath.B.Natarajan.ap/rules/text.txt

我想一个一个地运行这些工作，任何人都可以帮助我吗？...