问题标签 [query-tuning]

此查询大约需要 40 多分钟才能完成。删除 RANK 和 Qualify 有助于更快地执行查询。但我不能删除它，因为它是一个要求。关于如何在查询级别优化它的任何想法

谢谢你的帮助！

以下 hive 查询在单个列上查找领先和滞后。该查询产生 1 个 Mapper 和 50 个 Reducer。我如何优化查询以减少产生的减少。

表说明

故事中的数据

查询 ID = phodisvc_20170403015502_de129135-eb19-4c4d-8161-c3f217a45928 总作业 = 1 正在启动作业 1 / 1 未指定减少任务的数量。默认为 jobconf 值：50 为了更改减速器的平均负载（以字节为单位）：设置 hive.exec.reducers.bytes.per.reducer= 为了限制减速器的最大数量：设置 hive.exec。 reducers.max= 为了设置一个恒定数量的reducer： set mapreduce.job.reduces= Kill Command = /opt/mapr/hadoop/hadoop-2.7.0/bin/hadoop job -kill job_1489146839620_136214 Hadoop job information for Stage- 1：映射器数量：1；减速机数量：50

JOIN查询包含大量数据的下表。这对 java jdbc 和 jpa 执行非常慢。

用例 UI 有一个选择交易者列表、类别和日期范围的选项。如果我从下拉列表中选择 1 周日期范围和所有交易者，以下查询是否会将 1 周股票表的记录与来自 stock_trader 的所有记录连接起来？

SQL查询

traderlist：从 UI 中选择的交易者列表

stock_trader如果我使用下面的数据模型添加一个额外的列并加入多个列，请评论性能提升。我可以期待以下查询的更快响应，该查询仅映射来自 stock 表的 1 周记录与来自 stock_trader 的 1 周交易者。

• 有什么办法可以最小化查询的处理时间？100 万条数据的平均执行时间是多少。

• 如果下面的连接被替换为视图并在来自 java jdbc/jpa 的视图上应用 where 子句会怎样。我发现 view 使执行速度更快，但担心它会加入整个数据集，因为 where 子句是从 UI 动态应用的。如果是这样，性能会慢得多，对吧？

  SQL查询

  /li>

我有以下带有 2 个表连接和一个WHERE子句的简单查询。

我已经索引了关键连接字段以及WHERE子句字段。

这两张表有大约 1.23 亿行，非常大。完成下面的完整查询大约需要 7/8 小时。我编制了索引，但不确定还能做什么，因为它是一个带有JOIN&WHERE子句的简单查询：

预计执行计划：

我想比较两个查询：

1)

2)

我有以下问题：

1. 在我得到的两个查询的结果中：Expression is unsearchable。这是一件好事吗？这是否意味着索引已被使用并且无法进行进一步的索引？

2. （为流派启用范围索引）我猜 fn:distict+Xpath 使用范围索引，但由于 Xpath 而涉及过滤。OTOH 搜索：搜索仅使用值词典，所以它是否进行未过滤的搜索？如果没有，有没有办法以未经过滤的方式找到不同的值？

我有以下表达式：

我做了一个xdmp:plan，并且知道正在使用范围索引并且表达式是可搜索的

但是，当我添加 XPath 时：

在做 axdmp:plan时，它告诉我路径是不可搜索的。进一步在查询跟踪中进行，除了fn:doc()没有可搜索的内容外。

但是，因为我得到了正确的结果。我的猜测是索引工作得很好。

如果是这样，什么是记录消息“不可搜索”？

在这种情况下，我特别需要 title 元素，我可以做些什么来使整个表达式可搜索？

在生产环境中执行以下 SQL 查询需要超过 5:19 分钟。此 SQL 是从服务器端 C# 代码动态生成的，并且对于少数客户端需要很长时间才能执行。由于生产时间长，Web 服务超时。您能否优化此 SQL 以提高性能？

这是动态生成的查询 -

每个人。

我有一个名为“文件”的表，它有近 1 亿行。

我的问题是在尝试搜索此表时如何提高性能。实际上，我正在使用“全文索引”来搜索它。

其中一个想法是将我的主表拆分为另一个等效表（Horizo​​ntally Scaling Table），我想这就是这种技术的名称。

如果有更好的方法，请告诉我。任何其他建议都会有很大帮助。

谢谢大家。

注意：我已经使用“SQL SERVER 执行计划”创建了“索引”。

我在 Oracle 11g 上，我们有以下 3 个核心表：

我在每个表上都有大约 6000 万行，数据是美国和加拿大人口的混合体。

我有一个调用 Web 服务的前端应用程序，他们执行姓氏和部分 zip 搜索。所以我的查询基本上有

它们通常提供 zip 的前 3 位数字。

地址表在所有街道/城市/州/邮编上都有一个索引，在州和邮编上还有一个索引。

我确实尝试为 zip 添加专门的索引，并强制 oracle 在我的查询中使用该索引，但这没有任何区别。

返回大约 100 行（我的分页一次只返回 100 行）大约需要 30 秒，这并不理想。我能做些什么来让这变得更好？

我的任务是调查现有 ETL 的超时错误。我想访问以前 ETL 运行的日志以确定超时发生的位置。ETL 位于 Azure 上，一项任务不断失败。

不断失败的任务有效地启动了 SQL Server 上的存储过程。我想知道是否可以使用一些日志和统计数据来进行调查。我知道存储过程中使用的表，所以这有望给我一个起点。但基本上我是在以下信息之后。

1. 超时发生在哪个表

2. 是什么导致超时，即它是一个死锁

3. 其他哪些进程（即存储过程）使用受影响的表。

我可以在 SQL Server 中使用哪些功能进行挖掘。任何帮助，将不胜感激。