问题标签 [full-table-scan]

我在消息列中有 3,090,590 行，我正在使用此代码一次获取 3000 行。

我正在尝试将我的 SQL 转换为 NoSQL，为此我用 Ajax 编写了一个 PHP 脚本。Ajax 请求$page每次乘以；例如 3000、9000、12000...

不知何故，即使我限制查询，它总是会扫描整个表，这使得 MySQL 使用 100% 的可用 CPU。我对每一列都有完整的索引，但它仍然很慢。

你能告诉我一个如何优化它的方法吗？

当我打开 TOAD 并执行select * from table时，结果（前 500 行）几乎立即返回。但是解释计划显示全表扫描并且表非常巨大。结果怎么这么快？

我有 3 个表（不写所有和实际的字段名称）

• 合同（约 30 000 行）

  |id|client_id|contract_nr|....

• 容器（约 30 000 行

  |id|contract_nr|phone_1(varchar)|....

• 客户端（约 35 000 行）

  |id|phone_2(varchar)|phone_3(varchar)|phone_4(varchar)|....

我需要搜索电话号码，所以我试试这个 - 如果我搜索一个电话号码，例如在 container.phone_1

但是当我开始使用 OR 添加客户端的电话号码时

解释扩展：

我已经索引了所有用于连接表和用于搜索的字段。我还尝试为包含所有搜索行的客户端和容器表创建多列索引 - 没有区别。

如何避免扫描容器表的 32113 行？

我试图弄清楚为什么查询需要这么长时间，所以我可以优化它。

我用 EXPLAIN 试过了：

当我在我的工作台上运行它时，我在 10 分钟（600 秒）后得到连接丢失的错误代码。在我设置了Indexin之后Prod_ID，查询会在大约一秒（完美）内回答，在此之前，几乎不可能得到答案。也EXPLAIN PLAN可以在几秒钟内执行它。在使用索引之前，我仍然想在查询上使用 EXPLAIN 。

这里有什么想法吗？

在这里找到这个：

通常，在以下任何一种情况下，请考虑在列上创建索引：

• 索引列上存在参照完整性约束。索引是一种避免全表锁定的方法，如果您更新父表主键、合并到父表或从父表中删除，则该全表锁定是必需的。

我不明白为什么在这种情况下会发生全表锁。我会认为，如果我尝试删除/更新父表中的主键，则会对子表执行全表扫描。

锁从何而来？

为什么第一个查询使用全表扫描，而第二个使用索引？

和

我目前正在研究一个基准测试（这是我的学士论文的一部分），它基于抽象数据模型和抽象查询比较 SQL 和 NoSQL 数据库，以在所有系统上实现公平实施。

我目前正在执行如下指定的查询：我在 Cassandra 中有一个表，指定如下：

该表包含大约 100,000,000 条记录 (~300GB)。

我们现在需要为report_name、view_name、col_name和row_name的每个可能组合计算字段“数量”的总和。

在 SQL 中，这很容易，只需选择 sum（金额）并按您想要的字段对其进行分组。但是，由于 Cassandra 不支持这些操作（这非常好），我需要以另一种方式实现这一点。

目前，我通过执行全表遍历、处理每条记录并将每个组合的总和存储在 Java 中的 HashMap 中来实现这一点。我使用的准备好的语句如下：

这部分适用于 cassandra 和 Java 应用程序具有大量 RAM 的机器，但在较小的机器上会崩溃。

现在我想知道是否有可能以更快的方式实现这一目标？我可以想象使用 partition_key，它也用作 cassandra 分区键并为每个分区执行此操作（我有 5 个）。

我也想通过分配每个分区并报告给一个单独的线程并并行运行它来完成这个多线程。但我想这会在应用程序方面造成很多开销。

现在回到实际问题：您会推荐另一种执行策略来实现这一目标吗？也许我仍然以类似 SQL 的方式思考太多。

感谢您的支持。

假设我们有一个很大的 mysql 表，它的行数少于 1000 万行。

如果我想选择所有结果，显然全表扫描可以正常工作。

但是如何让它并行呢？我发现 Sqoop 中的解决方案是Split.

问题是如果id size number大的话，mysql 可能会把它当作Full table scan.

Update1：​​慢查询日志

更新2：解释

更新3： Mysql版本

而且如果我们同时发送3个这样的查询，服务器的查询时间那么长，我们无法忍受。

那么，是否可以并行进行拆分查询？如果不是，为什么 Sqoop 会这样做？谢谢。

我有一个大小约为 3GB 的 SQLite3 数据库，我正在尝试查询它，以便在 2 个日期之间调出特定产品的最新订单。

这是用于创建表的查询：

ProductID我在and上创建了索引，OrderDateTime以确保表中没有重复项。

我目前用来执行此操作的查询如下：

该查询工作正常并且完全符合我的要求，但是它似乎正在扫描整个表以查找查询的“a”部分。我的踪迹如下：

运行至少需要 2 分钟，这是无法使用的。我注意到在结构ProductID中显示为主键 1 而OrderDateTime显示为主键 2，这可能是原因吗？

以下查询：

使用 Explain 后，很明显查询使用了表扫描：

有各种键，并pusher_idx包含device_id和flight_id。为什么不使用这个索引？