在我的程序的映射阶段，我需要知道创建的映射器的总数。这将有助于我在映射的键创建过程中（我想为每个对象发出与映射器数量一样多的键值对）。

我知道设置映射器的数量只是一个提示，但是获取实际映射器数量的方法是什么。我在 Mapper 的配置方法中尝试了以下操作：

但我得到了结果：

这意味着（？）有两个地图任务，而不仅仅是一个，正如打印的那样（这很自然，因为我有两个小输入文件）。地图任务后的数字不应该是2吗？

目前，我只计算输入文件夹中的文件数量，但这不是一个好的解决方案，因为文件可能大于块大小并导致多个输入拆分和映射器。有什么建议么？

我正在运行一个 hadoop 作业，它卡在“map 0% reduce 0%”。更具体地说，映射器都处于“STARTING”状态，似乎从未真正开始执行。

我试过查看日志，但除了一些弃用消息之外，并没有真正看到任何东西。我不确定要寻找什么，想知道是否有人有任何建议？

编辑1：

标准错误日志：

如何使用映射器在我的减速器中进行概率聚合；

我正在尝试在 Hadoop 上为以下任务实现“条纹”方法和“对”方法，但我想知道如何在多个映射器之间进行通信以及如何在我的减速器中进行面向概率的聚合。

• 每对物品的共现，Count (A, B)=# of transactions 同时包含 A 和 B，条件概率 Prob(B|A)=Count(A,B)/Count(A)。
• 每个三元组项目的共现，Count (A,B,C) =# of transactions 包含 A 和 B，条件概率 Prob(A|B,C)=Count(A,B,C)/计数(B,C)

• 每行记录一次交易（一起购买的一组物品）：输入数据集是具有以下格式的交易数据：

  25 52 164 240 274 328 368 448 538 561 630 687 730 775 825 834 39 120 124 205 401 581 704 814 825 834 35 249 674 712 733 759 854 950 39 422 449 704 825 857 895 937 954 964 15 229 262 283 294 352 381 708 738 766 853 883 966 978 26 104 143 320 569 620 798 7 185 214 350 529 658 682 782 809 849 883 947 970 979 227 390 71 192 208 272 279 280 300 333 496 529 530 597 618 674 675 720 855 914 932 ==================================================== ======================================**

我浏览了很多关于 stackoverflow 的博客以及 apache wiki，以了解映射器在 Hadoop 中的设置方式。我还浏览了 [ hadoop - 如何确定总映射器[this] post。有人说它基于 InputFormat，一些帖子说它基于输入文件 id 分成的块数。

我对默认设置有些困惑。

当我运行 wordcount 示例时，我看到映射器低至 2。设置中到底发生了什么？还有这篇文章[ http://svn.apache.org/repos/asf/hadoop/common/trunk/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/ QuasiMonteCarlo.java] [示例程序]。在这里，他们根据用户输入设置映射器。如何手动进行此设置？

我非常感谢您对映射器如何工作的帮助和理解。

提前致谢

我正在使用 EntityTypeConfiguration 来映射我的数据库。

问题是，类 T_DOC_GENERIC 继承了 T_DOC，当我设置我的 WithMany 关系时，他期望一个对象 T_DOC_GENERIC，他将其声明为 T_DOC。

无法将类型“System.Collections.Generic.ICollection<Protocol.Models.BaseEntities.T_DOC>”隐式转换为“System.Collections.Generic.ICollection<Protocol.Models.BaseEntities.GenericsEntities.T_DOC_GENERIC>”。存在显式转换（您是否缺少演员表？） D:\PortalProtocolo\Models\Mappers\GenericsMappers\T_DOC_GENERIC.cs

有一种方法可以在 lambda 表达式中进行转换吗？

我尝试了像 .WithMany((T_DOC)tType => tType.T_DOC) 这样的显式转换，但我不知道怎么做！

有人可以帮助我吗？

我想将多种文件格式转换为一种文件格式。示例：D:\myrepo\rough 有 3 个文件 1.abc.sql 2.def.xml 3.ghi.dmp

我希望使用 glob 映射器将它们全部转换为 .txt。

这给出了 1.abc.sql.txt 2.def.xml.txt 3.ghi.dmp.txt 因为我只需要 abc.txt、def.txt 和 ghi.txt。

请让我知道如何解决这个问题（from= " . " 也无济于事）。

我正在从 mapper 生成两个输出文件。我正在使用 Multipleoutput api 生成两个输出。我不确定它是否是正确的方法。这是我的代码.. 请通过这个并给我你的建议..当我运行代码时出现错误：java.lang.NullPointerException ..

这是日志..

错误：com.nielsen.grfe.Export_Column_Mapping$Export_Column_Mapping_Mapper.map(Export_Column_Mapping.java:1) 处 com.nielsen.grfe.Export_Column_Mapping$Export_Column_Mapping_Mapper.map(Export_Column_Mapping.java:113) 处的 java.lang.NullPointerException。 hadoop.mapreduce.Mapper.run(Mapper.java:145) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787) at org.apache.hadoop.mapred.MapTask.run(MapTask.java: 341) 在 org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject.doAs(Subject.java:415 ）在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671) 在 org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

我对 Orika 1.4.5 和 PermGen Space 有疑问。

确实，我以这种方式使用 aa ConfigurableMapper ：

}

但是每次我调用这个映射器时，我都会自动生成存储在 PermGen 中的类映射器。

我尝试使用 MapperFactory 的“existsRegisteredMapper”来防止类映射器自动生成，但它不起作用：

和修改后的第一个代码块：

请问，有没有办法在不重写我拥有的所有映射器的情况下防止类映射器自动生成？

谢谢你的帮助。

我正在尝试使用 Cytoscape.js mapData() 映射器为我的顶点的背景颜色生成红色和蓝色之间的颜色渐变。我正在使用文档中的确切示例：

但是，它将所有节点设置为蓝色。数据的度数各不相同，我知道 cytoscape 'data(degree)' 映射器可用于设置节点大小。对此的任何指导或建议都会非常有帮助。我究竟做错了什么？

组合器处理映射器的输出记录。如果将映射器输出记录馈送到组合器，那么为什么我的组合器输入记录多于映射器输出记录？

我额外获得了这 80 条记录。我不知道它们来自哪里以及它们的价值是什么。

Mapreduce 的纱线转储：