0

当我使用 C# 运行 MapReduce 示例应用程序时出现“失败的映射任务超出允许的限制”错误，如下所示。谁能告诉我为什么它一直显示这个错误？欣赏它。

            public override void Map(string inputLine, MapperContext context)
        {
            //Extract the namespace declarations in the Csharp files
            var reg = new Regex(@"(using)\s[A-za-z0-9_\.]*\;");
            var matches = reg.Matches(inputLine);

            foreach (Match match in matches)
            {
                //Just emit the namespaces.
                context.EmitKeyValue(match.Value, "1");
            }
        }
    }

    //Reducer
    public class NamespaceReducer : ReducerCombinerBase
    {
        //Accepts each key and count the occurrances
        public override void Reduce(string key, IEnumerable<string> values, ReducerCombinerContext context)
        {
            //Write back  
            context.EmitKeyValue(key, values.Count().ToString());
        }
    }

    //Our Namespace counter job
    public class NamespaceCounterJob : HadoopJob<NamespaceMapper, NamespaceReducer>
    {
        public override HadoopJobConfiguration Configure(ExecutorContext context)
        {
            var config = new HadoopJobConfiguration();
            config.InputPath = "Input/CodeFiles";
            config.OutputFolder = "Output/CodeFiles";
            return config;
        }
    }

    static void Main(string[] args)
    {
        var hadoop = Hadoop.Connect();
        var result = hadoop.MapReduceJob.ExecuteJob<NamespaceCounterJob>();

    }

==================================================== ==============================

错误的作业跟踪器日志如下所示。

感谢你的帮助。

未处理的异常：Microsoft.Hadoop.MapReduce.StreamingException：无法加载用户类型。DLL=c:\hadoop\HDFS\mapred\local\taskTracker\Administrator\jobcache\job_201309041952_0030\attempt_201309041952_0030_m_000000_0\work\MRRunner.exe，类型=MRRunner.Program+NamespaceMapper ---> System.IO.FileNotFoundException：无法加载文件或程序集 'file:///c:\hadoop\HDFS\mapred\local\taskTracker\Administrator\jobcache\job_201309041952_0030\attempt_201309041952_0030_m_000000_0\work\MRRunner.exe' 或其依赖项之一。该系统找不到指定的文件。

工作跟踪日志

4

2 回答 2

1

此错误表明太多地图任务失败。这可能有很多原因。如果没有任何日志或跟踪，就很难正确地告诉你一些事情，但你可以尝试查看失败的映射器的跟踪。它会让你更好地了解问题。只需将浏览器定位到JobTracker webui(JobTracker_Host:50030) 即可。在那里你可以找到所有失败的工作。转到这个特定的工作并单击它。这将向您显示所有地图（已完成和失败）。单击失败的映射器，然后在下一页的“任务日志”列中选择“全部”选项。您可以在此处找到整个跟踪。

高温高压

于 2013-09-06T00:01:44.570 回答
1

我确实认为有几点值得检查： 1. 如果程序以管理员身份运行；2. 如果有可执行文件（日志文件中的路径）；3. .net framework 版本是否正常； 4.如果构建目标是x64而不是x86

为什么不从#4开始？尽管文件在那里，但它可能会导致加载 dll 的异常。

于 2013-09-29T16:54:46.267 回答