1

我使用 grails 作为穷人的 etl 工具，用于将一些相对较小的 db 对象从 1 db 迁移到下一个 db。我有一个控制器，它从一个数据库（mysql）读取数据并将其写入另一个数据库（pgsql）。它们使用相似的域对象，但由于 grails 2.1.X 中对多数据源支持的限制，它们并不完全相同。

下面你会看到我的控制器和服务代码：

class GeoETLController {

    def zipcodeService

      def migrateZipCode() {
        def zc = zipcodeService.readMysql();
        zipcodeService.writePgSql(zc);

        render{["success":true] as JSON}
    }
}

和服务：

class ZipcodeService {

    def sessionFactory
    def propertyInstanceMap = org.codehaus.groovy.grails.plugins.DomainClassGrailsPlugin.PROPERTY_INSTANCE_MAP

    def readMysql() {
        def zipcode_mysql = Zipcode.list();
        println("read, " + zipcode_mysql.size());
        return zipcode_mysql;
    }

    def writePgSql(zipcodes) {

        List<PGZipcode> zips = new ArrayList<PGZipcode>();
        println("attempting to save, " + zipcodes.size());
        def cntr = 0;
        zipcodes.each({ Zipcode zipcode ->
            cntr++;

            def props = zipcode.properties;
            PGZipcode zipcode_pg = new PGZipcode(zipcode.properties);

            if (!zipcode_pg.save(flush:false)) {
                zipcode_pg.errors.each {
                    println it
                }
            }
            zips.add(zipcode_pg)
            if (zips.size() % 100 == 0) {
                println("gorm begin" + new Date());
                // clear session here.
                this.cleanUpGorm();
                println("gorm complete" + new Date());

            }

        });
        //Save remaining
        this.cleanUpGorm();
        println("Final ." + new Date());
    }

    def cleanUpGorm() {
        def session = sessionFactory.currentSession
        session.flush()
        session.clear()
        propertyInstanceMap.get().clear()
    }
}

其中大部分取自我自己的代码，然后进行调整以尝试获得与http://naleid.com/blog/2009/10/01/batch-import-performance-with-grails-and-mysql中所见类似的性能/

因此，在查看我的代码时，每当调用 zipcode_pg.save() 时，都会创建一个插入语句并将其发送到数据库。有利于数据库一致性，不利于批量操作。

我的即时刷新的原因是什么（注意：我的数据源和 congig groovy 文件没有相关更改）？以这种速度，处理每批 100 个（每秒 14 次插入）大约需要 7 秒，当您处理 10,000 行时，这只是很长的时间......

欣赏建议。

注意：我考虑使用纯 ETL 工具，但是已经构建了如此多的域和服务逻辑，认为使用 grails 将是资源的良好重用。然而，没想到批量操作的这种质量

4

1 回答 1

1

在没有看到您的域对象的情况下，这只是一种预感，但我可能会尝试在您的 save() 调用中指定 validate:false 。Validate() 由 save() 调用，除非您告诉 Grails 不要这样做。例如，如果您对 PGZipcode 域对象中的任何字段都有唯一约束，那么 Hibernate 必须对每条新记录进行插入以利用 DBMS 的唯一功能并执行适当的验证。其他约束可能也需要 DBMS 查询，但现在只想到独特的跳转。

来自Grails 持久性：事务后写

Hibernate 尽可能缓存数据库更新，仅在知道需要刷新或以编程方式触发刷新时才实际推送更改。Hibernate 刷新缓存更新的一种常见情况是在执行查询时，因为缓存信息可能包含在查询结果中。但只要您进行非冲突的保存、更新和删除，它们就会被批处理，直到会话被刷新。

或者，您可以尝试显式设置 Hibernate 会话的刷新模式：

sessionFactory.currentSession.setFlushMode(FlushMode.MANUAL);

我的印象是默认的冲洗模式可能是自动的。

于 2012-11-26T14:25:32.590 回答