7

我遵循数据库架构 -

数据库模式

现在部门、年份和部门表已经填满了信息。

我现在需要插入学生数据。学生数据将从 xls 文件中导入（导入和解析部分已完成）。正如您在架构中看到的那样，表中的列student_data指的year_id是department_di和division_id。因此，在插入时，我需要他们的 ID 字段，因为 xls 具有各自的名称值。

所以我必须根据每个学生的列值来获取各自的 ID。因此，这引入了 3 个查询，以便在学生表中插入一条记录。像这样 -

forloop(...):
     $studentData = new Entities\StudentData();

    $year =  $this->em->getRepository("Entities\Year")->findBy(array('year_name' => $this->year[$i]));
    $department =  $this->em->getRepository("Entities\Department")->findBy(array('department_name' => $this->branch[$i]));
    $division =  $this->em->getRepository("Entities\Division")->findBy(array('division_name'=>$this->division[$i]));

    $studentData->setYear($year[0]);
    $studentData->setDepartment($department[0]);
    $studentData->setDivision($division[0]);

    //other data
    .
    .
    .
    .
    .
    $this->em->persist($studentData);

endforloop();   

$this->em->flush();
$this->em->clear();

如您所见，我必须为每个部门、年份和部门获取 ID withing 循环。假设我要导入 100 个学生列表，因此它最终会运行 300 个查询以获取这 3 个 ID 字段。

我可以在插入数据时直接从他们的名字中获取年份、部门和部门的 ID 吗？我是学说新手，我不知道该怎么做。

更新 如果问题不清楚，请告诉我。我可以用更多细节更新它或重组它。

4

2 回答 2

4

优化

您可以在不使用 Doctrine 的结果缓存的情况下优化您的流程：

首先为他们的 id 创建一张年份地图，如下所示：

$yearsMap = array();

$q = $em->createQuery('SELECT y.id, y.year_name FROM Entities\Year y');

foreach ($q->getScalarResult() as $row) {
    $yearsMap[$row['year_name']] = $row['id'];
}

还创建一个部门映射到他们的 ID，并创建一个部门到他们的 ID。这将产生 3 个（轻量级）查询。放置此代码的最佳位置是（自定义）存储库。

接下来你可以运行你的循环，但是像这样“获取”实际的实体：

$year       = $this->em->getReference('Entities\Year', $yearsMap[$this->year[$i]]);
$department = $this->em->getReference('Entities\Department', $departmentsMap[$this->branch[$i]]);
$division   = $this->em->getReference('Entities\Division', $divisionsMap[$this->division[$i]]);

我说“get”，因为getReference()实际上创建了一个代理（除非它已经被实体管理器加载，但在这种情况下它可能不是）。该代理尚未加载，因此此处不执行任何查询。

您的其余代码不需要更改。

现在，当flush()被调用时，Doctrine 将只加载每个不同的年份/部门/部门一次。这仍然可能导致一些查询，具体取决于使用了多少不同的年份/部门/部门。因此，如果所有 100 名学生都使用不同的年份/部门/部门，您最终将得到 403 个查询（3 个用于地图，300 个用于加载代理，100 个用于插入学生）。但是，如果所有 100 名学生都使用同一年/部门/部门，那么您最终将只有 106 个查询（3 个用于地图，3 个用于加载代理，100 个用于插入学生）。

优化另一种方式

另一种方法是使用您收集的名称来获取您需要的所有实体：

$q = $em->createQuery('SELECT y FROM Entities\Year y INDEX BY y.year_name WHERE y.year_name IN(:years)');
$q->setParameter('years', $yearNames);

$yearsMap = $q->getResult();

您现在只需 1 个查询即可获得所需的所有 Year 实体。您可以对部门和部门执行相同的操作。

另请注意INDEX BYDQL 语句中的：这将确保您将获得一个以year_name键为键、以实体为值的数组。您可以像这样在循环中立即使用它：

$year       = $yearsMap[$this->year[$i]];
$department = $departmentsMap[$this->branch[$i]];
$division   = $divisionsMap[$this->division[$i]];

100 个学生的最终结果将始终是 103 个查询（3 个用于地图，100 个用于插入学生）。

缓存

当您需要相对频繁地运行此循环并且它会使数据库紧张时，使用 Doctrine 的结果缓存是明智的。不过有几点需要注意：

getReference()不支持结果缓存（目前），结果缓存不会自动使用。所以我建议你把这样的东西放在存储库中：

public function findOneYearByName($name)
{
    $q = $em->createQuery('SELECT y FROM Entities\Year y WHERE y.year_name = :year');
    $q->setParameter('year', $name);
    $q->useResultCache(true);

    return $q->getSingleResult();
}

您可能想要配置结果缓存，请参阅相关文档。

另一个注意事项是，结果缓存将缓存从数据库中获取的结果，然后再进行水合。因此，即使使用结果缓存，实际实体每次都会被水合。因此，我仍然建议使用地图，但实现方式略有不同：

$yearsMap       = array();
$departmentsMap = array();
$divisionsMap   = array();

forloop (...):
    if (!isset($yearsMap[$this->year[$i]])) {
        $yearsMap[$this->year[$i]] = $this->em->getRepository('Entities\Year')->findOneYearByName($this->year[$i]);
    }

    if (!isset($departmentsMap[$this->branch[$i]])) {
        $departmentsMap[$this->branch[$i]] = $this->em->getRepository('Entities\Department')->findOneDepartmentByName($this->branch[$i]);
    }

    if (!isset($divisionsMap[$this->division[$i]])) {
        $divisionsMap[$this->division[$i]] = $this->em->getRepository('Entities\Division')->findOneDivisionByName($this->division[$i]);
    }

    $year       = $yearsMap[$this->year[$i]];
    $department = $departmentsMap[$this->branch[$i]];
    $division   = $divisionsMap[$this->division[$i]];

这将确保每个不同的年份/部门/部门只补水一次。

PS：将结果缓存用于“优化另一种方式”不会有效，因为每次运行循环时年份/部门/部门的名称可能不同。随着名称的每次更改，查询都会更改，并且无法使用缓存的结果。

DBAL

插入数据时，我可以直接从他们的名字中获取年份、部门和部门的ID吗？

您可以，但您不会使用 ORM，而只会使用 DBAL。你基本上这样做：

$connection = $em->getConnection();
$statement  = $conn->executeQuery('insert query', array('parameter1', 'etc'));
$statement->execute();

我怀疑这会更有效，因为 MySQL（或您使用的任何供应商）仍将为每个插入执行这 3 个（子）查询，它们只是不会“越过网络”。而且你没有从 ORM 获得任何帮助，比如管理关联等。

不过，您可以在此处找到有关该主题的所有内容。

于 2013-12-14T19:57:38.700 回答
3

您是否检查过它是否运行 300 个查询？因为它肯定不应该，除非所有学生都有不同的年份、部门和部门，这似乎不太可能。如果是这样的话，不管有没有 Doctrine，至少需要 300 个查询，除非有其他优化。

好消息是，Doctrine 不仅仅是一种访问对象的奇特方式——它是一个完整的数据库抽象层，提供更多的服务，例如成熟的实体缓存。以下行：

$year =  $this->em->getRepository("Entities\Year")->findBy(array('year_name' => $this->year[$i]));

对于一个给定的年份，这应该最多执行 1 个查询 - 之后，结果将完全水合地存储在实体管理器内的Doctrine 内部缓存中。这是假设您使用的是股票 MemoryCache，如果您没有指定其他任何内容，则默认启用，它仅在单个请求期间缓存。如果您安装 APC、Memcache、Memcached 甚至 FilesystemCache（选择一个！），结果可能会在多个请求中缓存。

因此，简而言之，您正在想象一个不存在的问题，或者通过一些简单的配置调用轻松缓解。除非我们讨论的是所有年份、部门和部门都是独一无二的假设情况，否则您确实会触发 300 个查询。然而，这种情况下的问题不是 Doctrine 的问题——它只是按照你的命令去做，分别检索 300 个独特的对象。在这种情况下，没有人会阻止你自己围绕 Doctrine 编写一些智能代码，例如：

// Build cache before loop
$years = [];
foreach($this->em->getRepository("Entities\Year")->findAll() as $year)
  $years[$year->getYearName()] = $year;

// Now loop much faster because everything's already indexed
forloop(...) :
  $studentData = new Entities\StudentData();
  $studentData->setYear($years[$this->year[$i]]);
endforloop;

突然之间，您有了 1 个“昂贵”的查询，而不是 100 个稍微便宜的查询。Doctrine 可以方便地使许多与 DB 相关的编码变得更容易和更有条理，它并不禁止像这样的智能的面向性能的编码。最后，你仍然是程序员，而 Doctrine 只是你腰带上的一个工具，你可以随心所欲地使用它。

于 2013-12-10T21:28:20.290 回答