3

我在开发 Web 应用程序以及使用 laravel 并学习它们方面真的很新，所以我原谅我的非常简单的问题......但是如果有人回答我这些问题并帮助我了解这些东西，那将非常有帮助......

首先让我描述一下我的表结构：表结构

我正在使用，MySql 的 InnoDB ......这个表目前存储了大约 13k 条记录，并且将来可以存储数百万甚至数十亿条记录......

现在描述我的问题如下：

当我从该表中获取所有记录时，即 13k 条记录，使用 laravel 的普通查询构建器使用块（以下代码描述了我获取记录的方式），我在 1.39 秒内得到结果，这很好，但实际上它应该更有效（这些结果可能是因为我的系统内存有限，我没有在高端系统上测试过），但是，如果我在这里也犯了错误，请告诉我。

DB::table($tableName->dataTableName)->orderBy('id')->chunk(100, function($data) {
    foreach ($data as $record) {
        echo "DateTime: " .$record->DateTime. " id: ".$record->meter_id;
    }
})

当我使用块（以下代码描述，我使用 eloquent 获取记录的方式）对 eloquent 做同样的事情时，即使在 60 秒后我也没有得到完整的结果，这是完全不可接受的......

Data::orderBy('id')->chunk(100, function($data) {
    foreach ($data as $record) {
        echo "DateTime: " .$record->DateTime. " id: ".$record->meter_id
    }
})

我确实在模型中使用其他data模型来获取表名...以下是data模型的内容...

<?php namespace App;

use Illuminate\Database\Eloquent\Model;
use App\dataTableMaster as DataTableMaster;
use App\Company;

class Data extends Model {

    /**
     * The database table used by the model.
     *
     * @var string
     */
    protected $table = 'data';

//========This following constructor assigns table name depending upon client which has logged in... ===============
    public function __construct(){
        $user = \Auth::user();
        $associatedIdOfUser = $user->asso_id;
        $associatedCompanyObjectOfUser = Company::where('id',$associatedIdOfUser)->first();
        $companyRoot = $associatedCompanyObjectOfUser->getRoot();
        $tableObject = DataTableMaster::where('company_id',$companyRoot->id)->orderBy('created_at','desc')->first();
        $this->table = $tableObject->dataTableName;
    }

}

现在，我的问题是：

  1. 雄辩真的比普通的查询构建器慢，因为雄辩会创建结果的对象，而后来没有这样做。？？
  2. 如果 eloquents 与查询构建器相比并没有慢很多，即 eloquents 也可以有效地获取数千或数百万条记录，例如查询构建器 THAN
    1. 我在这里犯了什么错误，因此，我遇到了问题？它是表结构还是方式，我正在获取记录还是它是什么？请解释一下。
    2. 使用 eloquents 处理这么大的桌子是否可取？
  3. 如果 eloquents 在处理数百万条记录时确实比使用什么方法更慢且不建议使用，我们可以处理数百万个表，只有通过查询构建器来处理它们的方法？而且，为什么它们变慢了，是因为它创建了对象还是原因是别的什么？
4

1 回答 1

2

使用 Eloquent 比直接使用查询生成器慢大约 3 倍（基准测试）。ORM 必须将数据映射到对象，所以它总是会变慢，没有办法解决这个问题。

如果您打算处理数百万条记录，请忘记 ORM。它不再为你而存在。您必须进行自定义查询。

按 100 分块是不够的。我发现增加到 5000 是安全的。您可以通过监控内存使用情况来增加或减少这个数字。

请记住，sql 比 php 快，所以在 sql 中尽可能多地做。请记住只选择您需要的字段 - 它会降低内存使用量。

Order by 在大型数据集上很慢，因为它可能在文件系统中而不是在内存中进行排序。

DB::table('data')->select('DateTime', 'meter_id')->chunk(5000, function($data) {
    foreach ($data as $record) {
        echo "DateTime: " .$record->DateTime. " id: ".$record->meter_id;
    }
});

根据您的设置，回声可以大大减慢速度。

于 2016-07-24T11:00:40.580 回答