1

我希望可用于 Java 的对象/关系映射 (ORM) 工具之一能够满足这些要求：

  • 使用 JPA 或本机 SQL 查询来获取大量行并将它们作为实体对象返回。
  • 在我对其进行更改后，允许通过行（实体）和当前实体的持久性进行迭代。

我想逐行执行复杂的批处理操作（实际上我正在将文件中的已知良好数据与数据库中的数据进行比较和协调）。如果它更简单，我会求助于使用 JDBC 并执行一些 SQL；但在这种情况下，我确实从直接从 bean 到数据库中受益。

在 SQL 中，我可以使用可更新游标来有效地实现我的目标。

作为参考，我正在嵌入式 Java H2 环境中测试所有这些。

JPA 查询

我的第一次天真的尝试是调用Query.getResultList()，它可以很好地返回实体 bean，但它们是“断开的”。如果我打电话persistenceUnitUtil.getIdentifier(myEntity)，那么它会抱怨它不是实体类型。

休眠

然后我调查了支持ScrollableResults的 Hibernate 。该界面允许我按名称获取各个列值，但不能获取实体。

EclipseLink

接下来是支持ScrollableCursor的 EclipseLink 。我对这个抱有很好的希望，将它用于：

Query query = entityManager.createQuery(jpaQuery);
query.setHint("eclipselink.cursor", true);
CursoredStream cursoredStream = (CursoredStream)query.getSingleResult();

不幸的是cursoredStream.next();，再次返回实体的“断开连接”版本。所以，我看不到写回实体的方法。

结论

我目前正在研究至少让实体的@Id 作为查询的一部分传回的方法（不幸的是，我想保持工具的灵活性，有时我将字符串作为键，有时将组合键对象）。这至少可以让我遍历行然后单独查找和持久化每个实体。

但是，我更希望有一个游标支持的迭代器，它可以为我获取一个与 JPA 连接的实体，并允许我对其进行更改并保留它。

如果这不是 ORM 工具之一的已知功能，我可能不得不放弃并求助于老式的 JDBC。

4

1 回答 1

1

伪代码 (C#)

void Execute(ISession session, string filepath)
{
    int page = 0;
    int pagesize = 5000;
    int batchindex = int.MaxValue;
    List<Entity> batch = new List<Entity>();

    TextReader file = new StreamReader(filepath)

    string line;
    while ((line = file.ReadLine) != null)
    {
        if (batchindex > batch.Count)
        {
            session.Flush();
            session.Clear();
            batch = session.CreateCriteria<Entity>()
                .AddOrder(Order.Asc(<same order as in file>))
                .SetFirstResult(page * pagesize)
                .SetMaxResults(pagesize)
                .List<Entity>();
            page++;
            batchindex = 0;
        }
        if (database has more rows than the file
        while (!LineIsForEntity(batch[batchindex], line))
        {
            batchindex++;
            // same if (batchindex > batch.Count) as above
        }

        UpdateEntity(batch[batchindex], line);
    }
    session.Flush();
    session.Clear();
}

根据数据类型和上下文，可能会有更好的代码。

更新：使用 C# 进行随机访问，这在使用 (N)Hibernate 时应该是有效的

const int pagesize = 2000;
var nextbatch = Enumerable.Repeat(0, pagesize)
    .Select(_ => file.ReadLine())
    .TakeWhile(line => line != null);

string[] batch;
while ((batch = nextbatch.ToArray()).Length > 0)
{
    // ignore results, we only want the entities in cache
    session.QueryOver<Entity>()
        .WhereRestrictionOn(e => e.Id).In(batch.Select(line => ExtractId(line)).ToList())
        .List();

    foreach(string line in batch)
    {
        Update(session.Get<Entity>(ExtractId(line)), line);
    }
    session.Flush();
    session.Clear();
}

正如评论中所说，将 session 的使用替换为 entityManager 并将 C# 构造替换为 Java。如果实体是独立的，您甚至可以将 while 与多个线程、会话并行化。

于 2012-10-19T09:48:20.577 回答