3

我在开发 Web 应用程序以及使用 laravel 并学习它们方面真的很新,所以我原谅我的非常简单的问题......但是如果有人回答我这些问题并帮助我了解这些东西,那将非常有帮助......

首先让我描述一下我的表结构:表结构

我正在使用,MySql 的 InnoDB ......这个表目前存储了大约 13k 条记录,并且将来可以存储数百万甚至数十亿条记录......

现在描述我的问题如下:

当我从该表中获取所有记录时,即 13k 条记录,使用 laravel 的普通查询构建器使用块(以下代码描述了我获取记录的方式),我在 1.39 秒内得到结果,这很好,但实际上它应该更有效(这些结果可能是因为我的系统内存有限,我没有在高端系统上测试过),但是,如果我在这里也犯了错误,请告诉我。

DB::table($tableName->dataTableName)->orderBy('id')->chunk(100, function($data) {
    foreach ($data as $record) {
        echo "DateTime: " .$record->DateTime. " id: ".$record->meter_id;
    }
})

当我使用块(以下代码描述,我使用 eloquent 获取记录的方式)对 eloquent 做同样的事情时,即使在 60 秒后我也没有得到完整的结果,这是完全不可接受的......

Data::orderBy('id')->chunk(100, function($data) {
    foreach ($data as $record) {
        echo "DateTime: " .$record->DateTime. " id: ".$record->meter_id
    }
})

我确实在模型中使用其他data模型来获取表名...以下是data模型的内容...

<?php namespace App;

use Illuminate\Database\Eloquent\Model;
use App\dataTableMaster as DataTableMaster;
use App\Company;

class Data extends Model {

    /**
     * The database table used by the model.
     *
     * @var string
     */
    protected $table = 'data';

//========This following constructor assigns table name depending upon client which has logged in... ===============
    public function __construct(){
        $user = \Auth::user();
        $associatedIdOfUser = $user->asso_id;
        $associatedCompanyObjectOfUser = Company::where('id',$associatedIdOfUser)->first();
        $companyRoot = $associatedCompanyObjectOfUser->getRoot();
        $tableObject = DataTableMaster::where('company_id',$companyRoot->id)->orderBy('created_at','desc')->first();
        $this->table = $tableObject->dataTableName;
    }

}

现在,我的问题是:

  1. 雄辩真的比普通的查询构建器慢,因为雄辩会创建结果的对象,而后来没有这样做。??
  2. 如果 eloquents 与查询构建器相比并没有慢很多,即 eloquents 也可以有效地获取数千或数百万条记录,例如查询构建器 THAN
    1. 我在这里犯了什么错误,因此,我遇到了问题?它是表结构还是方式,我正在获取记录还是它是什么?请解释一下。
    2. 使用 eloquents 处理这么大的桌子是否可取?
  3. 如果 eloquents 在处理数百万条记录时确实比使用什么方法更慢且不建议使用,我们可以处理数百万个表,只有通过查询构建器来处理它们的方法?而且,为什么它们变慢了,是因为它创建了对象还是原因是别的什么?
4

1 回答 1

2

使用 Eloquent 比直接使用查询生成器慢大约 3 倍(基准测试)。ORM 必须将数据映射到对象,所以它总是会变慢,没有办法解决这个问题。

如果您打算处理数百万条记录,请忘记 ORM。它不再为你而存在。您必须进行自定义查询。

按 100 分块是不够的。我发现增加到 5000 是安全的。您可以通过监控内存使用情况来增加或减少这个数字。

请记住,sql 比 php 快,所以在 sql 中尽可能多地做。请记住只选择您需要的字段 - 它会降低内存使用量。

Order by 在大型数据集上很慢,因为它可能在文件系统中而不是在内存中进行排序。

DB::table('data')->select('DateTime', 'meter_id')->chunk(5000, function($data) {
    foreach ($data as $record) {
        echo "DateTime: " .$record->DateTime. " id: ".$record->meter_id;
    }
});

根据您的设置,回声可以大大减慢速度。

于 2016-07-24T11:00:40.580 回答