我们在 mapper 和 reducer 阶段记录警告。我想知道是否有任何好方法可以轻松找到包含警告日志的日志，而不是搜索每个日志。hadoop M/R 有这方面的东西吗？
谢谢，院长
问问题
34 次
1 回答
0
我不确定这是否是您所要求的，但您可以在提示符下尝试以下命令：
tail -f $HADOOP_INSTALL/*tasktracker*.log $HADOOP_INSTALL/*datanode*.log | grep -i warning
这将在任何带有“警告”一词的datanode或tasktracker日志文件中输出任何新行（忽略大小写）
如果您要求分布式解决方案，您可以像这样通过 SSH 执行完全相同的操作
ssh slave1 'tail -f $HADOOP_INSTALL/*tasktracker*.log $HADOOP_INSTALL/*datanode*.log | grep -i warning
每个从站用一行或一个 bash for 循环
我希望它有帮助
于 2014-05-17T20:01:11.843 回答