34

有没有一种方法可以使用 JPA EntityManager 使用批量插入。我知道没有直接的方法可以实现这一点,但必须有某种方法来实现这种机制。

实际上,对于每个插入操作,我需要 300 毫秒,我想使用批量插入而不是单次插入来减少。

这是我当前正在为单个插入执行的代码

        @PersistenceContext(unitName = "testing")
        EntityManager eM;

        Query querys = this.eM.createNativeQuery(insertQuery);
        for (String s : someList) {
            //setting parameters
            querys.executeUpdate();
        }

提前致谢。

4

4 回答 4

22

根据事务是否包含循环,批处理通常已经在您的情况下发生。

JPA 将在其 L1 缓存中收集您的所有更新,并通常在事务提交时将所有更新批量写入数据库。这与 JDBC 中的批处理并没有什么不同,您添加的每个批处理项也暂时在内存中,直到您调用更新方法。

潜在的问题是,您没有硬性保证 JPA 确实会执行此批处理,以及是否在事务提交或达到阈值时执行此操作,但我发现在实践中几乎在所有情况下,尤其是在涉及此类的情况下简单的更新循环,它确实可以进行批处理。

一个问题是,即使 JPA 确实已经进行了批处理,您仍然可能希望控制批处理大小。其他答案链接的文章为此提供了非常有用的信息。

最后,你应该知道你的 L1 缓存在循环中不断增长,所以如果更新的数量真的很大,请定期清除它。或者,如果您的业务逻辑可以维持它,请在多个事务中进行部分更新。例如,事务 1 中的项目 0 到 100.000,事务 2 中的 100.001 到 200.000 等。

于 2012-05-15T09:06:33.510 回答
20

我知道这是一个相当古老的问题,答案已被接受。尽管如此,我想对这个非常具体的主题“JPA 批量插入”给出一个新的答案。

@PersistenceContext
private EntityManager entityManager;

@Value("${hibernate.jdbc.batch_size}")
private int batchSize;

public <T extends MyClass> Collection<T> bulkSave(Collection<T> entities) {
  final List<T> savedEntities = new ArrayList<T>(entities.size());
  int i = 0;
  for (T t : entities) {
    savedEntities.add(persistOrMerge(t));
    i++;
    if (i % batchSize == 0) {
      // Flush a batch of inserts and release memory.
      entityManager.flush();
      entityManager.clear();
    }
  }
  return savedEntities;
}

private <T extends MyClass> T persistOrMerge(T t) {
  if (t.getId() == null) {
    entityManager.persist(t);
    return t;
  } else {
    return entityManager.merge(t);
  }
}

来源: http: //frightanic.com/software-development/jpa-batch-inserts/

于 2015-06-24T07:59:22.560 回答
12

可以使用 JPA 执行批量写入,但它高度依赖于持久性提供程序、数据库和 JDBC 驱动程序的具体实现例如,本文解释了如何使用 EclipseLink JPA 2.3 和 Oracle 数据库启用批量写入(优化 #8)。在您的特定环境中寻找类似的配置参数。

于 2012-05-14T13:53:48.553 回答
3

JPA 本身没有任何批处理设置。但是,有一些依赖于实现的设置。这是 hibernate 的示例

于 2012-05-14T13:55:03.457 回答