hadoop - 获取异常警告 org.apache.hadoop.streaming.PipeMapRed: java.io.IOException: Broken pipe

Question

我在现有的工作 R 脚本中添加打印语句以用于某些调试目的。

print("Hello")

我在使用 Hadoop 流执行此代码时遇到了 Broken pipe 异常。如果我再次删除此打印，它会起作用，对我来说听起来很奇怪！在编辑 Rscript 时，我通过窗口 gitbash 使用 vi。您能否提出解决方案。

Answer 1

如果您的 Hadoop 集群由 Linux 节点组成，并且您提交了在 windows 或 windows gitbash 中编辑的脚本，它将无法运行并引发误导性异常。只需使用 vi 或 emacs 在 linux 中编辑文件。或者使用 do2unix 命令将文件从 dos 格式转换为 linux 格式。（这将删除尾随 \r\n 并替换为 \n）。