1

我正在寻找一种方法来优化我的查询。

我们有一个名为 的表，其中lea有一列app_properties是标签，存储为逗号分隔的字符串。

我想选择与选择所需标签的查询结果匹配的所有事件。

我的第一次尝试：

SELECT uuid, app_properties, tag
FROM events
LATERAL VIEW explode(split(app_properties, '(, |,)')) tag_table AS tag
WHERE tag IN (SELECT source_value FROM mapping WHERE indicator = 'Bandwidth Usage')

但是 Hive 不允许这样做...

FAILED: SemanticException [Error 10249]: Line 4:6 Unsupported SubQuery Expression 'tag': Correlating expression cannot contain unqualified column references.

WHERE tag IN通过替换WHERE tag_table.tag IN而不是运气再试一次......

FAILED: SemanticException Line 4:6 Invalid table alias tag_table' in definition of SubQuery sq_1 [tag_table.tag IN (SELECT source_value FROM mapping WHERE indicator = 'Bandwidth Usage')] used as sq_1 at Line 4:20.

最后......下面的查询给出了预期的结果，但我感觉这不是解决这个用例的最优化方法。有没有人遇到过相同的用例，您需要从 a 中选择LATERAL VIEW使用 a Sub query？

SELECT to_date(substring(events.time, 0, 10)) as date, t2.code, t2.indicator, count(1) as total
FROM events
LEFT JOIN (
    SELECT distinct t.uuid, im.code, im.indicator
    FROM mapping im
    RIGHT JOIN (
      SELECT tag, uuid
      FROM events
      LATERAL VIEW explode(split(app_properties, '(, |,)')) tag_table AS tag
      ) t
    ON im.source_value = t.tag AND im.indicator = 'Bandwidth Usage'
    WHERE im.source_value IS NOT NULL
) t2 ON (events.uuid = t2.uuid)
WHERE t2.code IS NOT NULL
GROUP BY to_date(substring(events.time, 0, 10)), t2.code, t2.indicator;
4

1 回答 1

1

WHERE 子句中的 Hive 子查询可以与 IN、NOT IN、EXIST 或 NOT EXIST 一起使用，如下所示。如果 WHERE 条件中的列 (name) 之前没有指定别名（参见下面的员工表示例），Hive 会报错 Correlating expression cannot contain unqualified column references。这是 Hive 子查询的限制。

来自 Apache Hive Essentials。

我猜这个问题也是由子查询引起的。事件应该有一个别名

于 2016-08-17T02:20:26.040 回答