问题标签 [apache-tez]

嵌入在 shell 包装器中的 Pig 脚本（启用 Tez）返回退出代码 0或正常退出，即使它抛出错误也是如此。

在批处理的情况下，该任务应该出错并停止该过程。但在这种情况下，所有下游任务都将被执行。

阅读 Pig Jira，据说它已在0.8.1中修复，但我正在使用0.14并且仍然存在问题。
有没有人遇到过这样的问题？

下面显示的 Pig（带有 Tez 执行引擎）脚本抛出内存不足异常，在 4 节点集群上有一个 15GB 的员工表。
当执行引擎更改为 MapReduce 时，它​​可以正常工作。

错误信息是，

与集群内存和存储相比，表大小太小。
Tez 中是否有需要特定配置的内存参数？

知道为什么我会收到此错误吗？10.0.1.193是我的从属虚拟机之一。

知道为什么我的应用程序被杀死了吗？我是这个节点的唯一用户。我的历史服务器也没有显示任何内容。我如何进一步追查并了解是谁杀死了它以及为什么以及如何解决它？

这是好的还是我应该解决的问题？

我使用 Python 和 Thrift 通过 HiveServer2 在分离队列（公平调度程序）中的 Tez 引擎上运行查询。一些查询停止Choosing a session from the defaultQueuePool，但队列为空。

为什么会这样？

我有一个在 hive 13(YARN) 上运行良好的脚本我正在试验 tez。当我对大型数据集运行查询时，遇到以下错误。

关于 EMR 集群的一些规格 - m1.xlarge 主节点、4 个 r3.8xlarge 核心节点、2 个 r3.8xlarge 任务节点（大约 1.3 TB 内存）

我尝试了以下设置，但它们不起作用。

也因为亚马逊在 EMR 上提供了 0.4.1 版本的 tez，我现在正在运行它（也许这就是问题？）

任何人都可以请帮助解决它。我试图调整一些与内存相关的属性，如 mapreduce.map.memory.mb 但还没有运气

这是我得到的错误：

http://pastebin.com/bP6W7P7y DataNode 日志（包含错误）

我附上了我当前看到的节点的两个屏幕截图以及我从 gridmix-generate.sh 看到的当前内容现在运行：

http://pastebin.com/jd12yDEk gridmix-生成运行时日志

在 yarn-site.xml 我们有这个： yarn.execution.optimistic-containers-policy only_conservative

我们在所有虚拟机中都有相同的 conf 文件夹。我们安装了 dstat。

知道什么可能是错误的或缺少什么，因为现在节点还没有关闭，但在执行过程中的某个地方节点会关闭并丢失。

最后是我们的纱线应用程序状态：http: //pastebin.com/WiMa0yRf

当我通过在 Cloudera Manager 高级配置选项中将配置添加到 yarn-site.xml 来启用纱线时间服务器时：

然后重启集群，但是时间线服务器没有启动。如何解决问题？CM管理hadoop的机制是什么？我在纱线日志中找不到任何时间线日志。

CDH 版本为 CDH-5.3.6-1.cdh5.3.6.p0.11，hadoop 版本为 2.5.0。

我不知道如何解决这个错误：

知道是怎么回事吗？