问题标签 [apache-tez]

我有一个包含用户代理字符串（我将其解析为browser、os和device列）和 cityid的表。我要计算最流行的browser，os并device为每个city。

这是我的尝试：

所以，最里面的子查询，别名t只是将我的表连接到另一个将id's 映射到 city的表上name，所以我可以在输出中看到实际name的 s，而不是 city id。

然后，名为的子查询t2计算复合键（device, browser, os, city）的数量。外部查询将所有内容分组到name窗口中并提取具有最大用户数的行。

我得到的错误是这样的：

失败：SemanticException [错误 10025]：第 1:7 行表达式不在 GROUP BY 键“设备”中

我明白这意味着什么。它说我需要包含device到group by中，但如果我这样做，那么它将不会计算我想要的。如何修复我的查询？

另外，我注意到我的一些 hive 查询在 mapreduce 上运行，但不在 tez 上运行。这是为什么？

我在查询中得到一个java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.1.0 exception。这是查询：

这是我容器中的日志：

我一直无法理解问题出在哪里，一切正常，mapreduce但不想继续工作tez。

我对此查询使用用户定义的函数来解析其中一列中的用户代理字符串。

我想从应用程序 id 中找到 hive 查询，我知道在 TEZ 视图中我可以看到查询，但我想知道是否有任何 api 可用于从命令行或通过 curl 命令从应用程序 id 查找查询?

我在一个相当大的数据集上运行了一个 hive 查询，查询花费了太多时间，所以我决定用以下方法终止应用程序：

现在，当我从 CLI 检查时：

那么上述应用程序不会出现在列表中。

但是，当我从 ambari 登录到 Tez 视图时，应用程序显示仍处于运行状态（自我创建以来几乎 24 小时）。

我尝试从命令行再次杀死它，但它说应用程序已经完成。

我还检查了资源管理器 UI，该作业的状态显示它已被终止。

因此，每当我尝试运行任何新的 hive 作业时，它都会排队，我无法运行任何其他作业。

请帮忙！

我们有一个在大约 5 TB 大小的表/视图上运行的简单查询。我们正在执行 ETL，最后通过添加分区将数据添加到核心表中。

但是由于我们正在处理的数据非常庞大，因此查询会产生 4000 多个映射器和 1000 多个减速器。查询也运行了 40 多分钟。

如何提高/减少资源利用率？

询问：

我们正在视图上运行一个简单的选择（其中包含大量数据），我们得到“超出 GC 开销限制，内存不足错误。我们想要运行此查询，以便在此视图之上运行的报告可以工作。它在 Tez 上运行。

查询运行了 4 个多小时并失败。有什么方法可以运行这个查询，比如一些设置选项？

询问

错误信息 -

我是 hadoop 和 yarn 的新手，并尝试在配置单元 2 直线上运行配置单元插入查询。我得到的信息是： INFO : Tez 会话尚未创建。开幕式和我的系统似乎被挂起。我尝试检查 YARN UI 8088 端口上的日志，我可以看到我的工作被终止了

检查hdfs中vi gc.log-201901071626文件中的日志状态后，我可以看到GC分配失败

请帮助我找到合适的解决方案

我尝试将引擎更改为 mr 但不支持

有人知道并向我解释一下 Tez 的这些设置之间的区别吗？

hive.tez.container.size和tez.task.resource.memory.mb

谢谢。

我加入了多个表，总行数约为 250 亿。最重要的是，我正在做聚合。这是我的配置单元设置，如下所示，我用它来生成最终输出。我不确定如何调整查询并使其运行得更快。目前，我正在反复试验，看看是否能产生一些结果，但这似乎不起作用。映射器运行得更快，但减速器需要永远完成。有人可以分享您对此的想法吗？谢谢你。

我已经用hiveon进行了一些实验tez。我有一个查询，80% 的时间运行大约 45 秒，其余时间运行大约 24 秒。这种罕见的加速可以归因于什么？