问题标签 [large-query]

我有以下代码：

运行时效果很好

但是失败了

其中有大约 20 万条记录。调试器优雅地忽略了 catch 块，直接进入 finally 块；当我将 stmt.executeQuery(query) 添加到监视列表时，NetBeans 给了我这个堆栈帧：

如何在这个框架中进行大型查询？

编辑：我正在使用 J 连接器和 mysql 服务器 5.1；连接字符串是

是的，我知道 select * 是一种不好的做法，但是正如您所见，我才刚刚开始，这或多或少是我正在做的第二次测试

我的 SQL 2005 Server 上有大量查询。这必须每天运行一次，但是当这个查询运行时，temp db 会从 2GB 增长到 48GB。当此查询在单个表上（约 120 列）的 80K 记录上添加/更新时，最佳优化或找到 tempdb 增长的原因是什么？

对于这个 tempdb 不会增长太多的查询，我应该怎么做？

任何建议将不胜感激。

注意：此查询没有任何临时表或表变量或 CTE。只是一堆

由于我的应用程序的性质，我需要支持将大量数据快速插入到数据库中。使用 executemany() 可以提高性能，但有一点需要注意。例如，MySQL 有一个名为 max_allowed_pa​​cket 的配置参数，如果我的插入查询的总大小超过了它的值，MySQL 就会抛出错误。

问题 #1：有没有办法告诉 SQLAlchemy 将数据包分成几个较小的数据包？
问题 #2：如果其他 RDBS 也有类似的限制，我应该如何解决它们？



PS我之前已经发布了这个问题，但是当我错误地认为我可能根本不会遇到这个问题时删除了它。可悲的是，事实并非如此。

我正在为我的客户使用一个报告工具，如果它们已经存在 X 天，它基本上会即时重建报告。

问题是报告是用 PHP 重建的，其中一些可能非常大，这意味着 20-40 秒的加载时间。

目前，它只是在执行查询时挂起页面。

然而，我想要做的是在查询开始之前将某种 jquery 加载覆盖放置到页面中，然后当查询完成时，重定向到另一个页面（将显示结果）。

我是否认为只要在运行查询之前将 html 加载到页面中，加载屏幕应该会显示，然后一旦查询完成，我可以放置另一位 HTML 来对另一个页面进行元刷新（显然，标头重定向是不可能的，因为标头已经发送）。

如果这是正确的，任何人都可以推荐任何基于 jquery 的加载插件吗？

非常感谢

尝试进行大查询时收到此错误。

我搜索并发现将setAutoCommit(false)和setFetchSize方法应用于我准备好的语句可能有助于处理大查询。但是，当我使用它时，我收到了这个错误。

处理大型查询的正确且简单的方法是什么？

使用 setFetchSize 的正确方法是什么？

I've made a test. Here is a innodb table:

Here is an insert:

Here is a query to check is it unique timestamps or not:

The results are:

MySQL server - it's remote SQL server (xeon 1270v3 with 32 ram, mysql have 4Gb cache).

Is "UNIX_TIMESTAMP()" value fixed for large insert queries? Or it's fixed for session? Or i'm just lucky?

我们有一个使用 JPA 的 Java EE 应用程序。用户可以要求应用程序根据大型查询的结果生成一些输出（大图表等），因此在这种情况下，我们决定直接使用 JDBC 并循环遍历结果集。我们已经实现了这样的代码：

无论如何，它总是将所有结果加载到内存中，我们尝试了不同的技术（useCursorFetch true 和 fetch size = 10 等）但没有运气，我们总是无法获得流结果集。

“jdbc/resource”是 jpa 实体管理器使用的相同资源（所以它工作正常），连接没有“奇怪”选项，我们使用 glassfish 4.1 进行测试，我们使用连接器/J 版本 5.1。 26 和 5.1.32。

有没有办法拥有一个有效的流媒体结果集？

我正在使用 SQL Server 2014 中的全文搜索查询在 C# 中编写应用程序。用户需要能够使用包含多达 100 000 个参数的非常大的查询来搜索数据库。例如：

FTS 查询：

LIKE 查询：

除了 2 个名字，我们有 100 000 个名字。显然，这超出了 SQL 支持的最大查询长度。该数据库包含超过 100 万条记录。在某些情况下，我需要查找以指定字符串开头的客户端名称，这就是 FTS 优于“in”或“like”子句的原因。除了将请求批处理成许多块之外，是否有一些巧妙的绕过方法？有没有比使用 SQL 数据库更好的选择？

我也尝试使用 Lucene.NET 实现搜索，但是为超过 100 万条记录生成索引需要很多小时，这是不可接受的，因为数据将每天同步。

优化此查询的最佳方法是什么，因为它最多需要 12 秒才能执行？

为查询的大小道歉，它几乎立即执行，没有 group by 和 order by 语句。

我对 SQL 优化相当陌生，我只编码了大约一年。我没有写这个查询，但我需要修复它。

我使用Impala执行以下查询结构，它花费了 20 多个小时并且没有完成：

问题正是在 ON 语句中的“OR”条件下，因为分别从 t1 产生的记录数约为 14M，而从 t2 单独产生的记录数约为 15M。因为我遇到了内存问题，所以我采用了 t1 和 t2 子查询，分别执行它们并将它们保存到新表中。然后根据以下内容执行加入：

子表创建成功，但最终加入仍然面临同样的问题。如果我在两个步骤上执行连接，每个步骤都有一个条件，然后连接两个结果，这是否合乎逻辑？或者是否会有另一种帮助方法？