0

我正在尝试通过 Apache POI 读取并通过 JBOSS 7.1 中的 Hibernate 和 JPA 持久化（这是一个特定要求，使用 JYA 数据源）来加速我的数据库导入。但是目前导入太慢 - 对于 30,000 条记录，大约需要 3 分钟，我需要将其减少到大约 30 秒。我正在寻求帮助来设置批量插入，我在 presend 作品中没有尝试过..

我的 persistence.xml 如下：

<?xml version="1.0" encoding="UTF-8"?>
<persistence version="2.0"
   xmlns="http://java.sun.com/xml/ns/persistence" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
   xsi:schemaLocation="
        http://java.sun.com/xml/ns/persistence
        http://java.sun.com/xml/ns/persistence/persistence_2_0.xsd">
   <persistence-unit name="primary" transaction-type="JTA">
      <jta-data-source>java:jboss/datasources/MySqlDS</jta-data-source>
      <properties>      
         <!-- Properties for Hibernate -->
         <property name="hibernate.hbm2ddl.auto" value="update" />
             <property name="hibernate.default_catalog" value="myDatabase"/>
            <property name="hibernate.dialect" value="org.hibernate.dialect.MySQLDialect" />
            <property name="hibernate.show_sql" value="false" />
            <property name="hibernate.format_sql" value="false" />      
             <property name="hibernate.dialect" value="org.hibernate.dialect.MySQL5InnoDBDialect"/>
             <property name="hibernate.order_updates" value="true"/>
             <property name="hibernate.order_inserts" value="true"/>
             <property name="hibernate.jdbc.batch_versioned_data" value="true"/>
             <property name="hibernate.jdbc.fetch_size" value="500"/>
             <property name="hibernate.jdbc.batch_size" value="500"/>
             <property name="hibernate.default_batch_fetch_size" value="16"/>
             <property name="hibernate.connection.release_mode" value="auto"/>
             <property name="hibernate.cache.region.jbc2.cachefactory" value="java:CacheManager"/>
             <property name="hibernate.cache.use_second_level_cache" value="true"/>
             <property name="hibernate.cache.use_query_cache" value="false"/>
             <property name="hibernate.cache.use_minimal_puts" value="true"/>
             <property name="hibernate.cache.region.jbc2.cfg.entity" value="mvcc-entity"/>
             <property name="hibernate.cache.region_prefix" value="services"/>
             <property name="hibernate.connection.driver_class" value="com.mysql"/>
             <property name="hibernate.connection.url" value="jdbc:mysql://localhost:3306/myDatabase"/>
             <property name="hibernate.connection.username" value="root"/>
      </properties>
   </persistence-unit>
</persistence>

我有一个 EJB Timer 类，它在 JBOSS 中启动时部署，它会查找新的 excel 文件，如果找到将它们导入数据库 - 这一切都很好 - 它只是慢... //Listener Class excelReader.loadDatabase(child.getPath ());

// This all works ok            
                }

            }
        }

    }

*这是通过 JPA 实际保存文件的类 *

@Stateless
@LocalBean
public class ExcelReader implements TableDao {

@PersistenceContext
private EntityManager em;

private HSSFRow row = null;
private HSSFWorkbook wb;
private BaseDataTable baseDataTable;

public void loadDatabase(String path) 
{
    try 
    {
        FileInputStream latestExcelFile = new FileInputStream(path);
        wb = new HSSFWorkbook(latestExcelFile);
    } catch (Exception ex) {}   

    importTheTable();

}

public ExcelReader() {}

public void importTheTable(){

    HSSFSheet baseDataTableSheet = wb.getSheetAt(0);

    for (int i = 1; i <= baseDataTableSheet.getLastRowNum(); i++) 
    {
        row = baseDataTableSheet.getRow(i);
        baseDataTable = new BaseDataTable();            
        try 
        {               
            baseDataTable.setDateTime(row.getCell(0).getDateCellValue());
            baseDataTable.setEventId((int) row.getCell(1).getNumericCellValue());
            baseDataTable.setCauseClass(parseCauseClass(row.getCell(2).toString()));
            baseDataTable.setUeType((int) row.getCell(3).getNumericCellValue());
            baseDataTable.setMarket((int) row.getCell(4).getNumericCellValue());
            baseDataTable.setOperator((int) row.getCell(5).getNumericCellValue());
            baseDataTable.setCellId((int) row.getCell(6).getNumericCellValue());
            baseDataTable.setDuration((int) row.getCell(7).getNumericCellValue());
            baseDataTable.setCauseCode((int) row.getCell(8).getNumericCellValue());
            baseDataTable.setNeVersion(row.getCell(9).toString());
            baseDataTable.setImsi(row.getCell(10).getNumericCellValue());
            baseDataTable.setHier3Id((row.getCell(11).toString()));
            baseDataTable.setHier32Id((row.getCell(12).toString()));
            baseDataTable.setHier321Id((row.getCell(13).toString()));


            addBaseTableEntry(baseDataTable);

        } catch (Exception ex) { System.out.println("Error in excel file"); }


        if(i%1000 == 0)
        {
            em.flush();
            em.clear();
        }
    }

}

** 这就是 EntityManager 的创建方式 **

@Stateful
@RequestScoped
public class Resources {

    @PersistenceContext(type = PersistenceContextType.EXTENDED)
    private EntityManager em;

    @Produces
    public EntityManager getEm() {
        return em;
    }
}

这一切都很好，但它太慢了 - 我在网上无休止地搜索并应用 UserTransaction 来尝试加快导入但无济于事，任何正确方向的帮助将不胜感激，

干杯

4

1 回答 1

1

我没有看到任何与事务相关的注释，并且看起来每个插入（addBaseTableEntry 方法对吗？）都在自己的事务中（这会很慢）。

尝试添加

@TransactionAttribute(TransactionAttributeType.REQUIRES_NEW)

到您的 loadDatabase 方法。

编辑：将 id 生成策略更改为 GenerationType.SEQUENCE 或 TABLE（任何适合您的）。使用 IDENTITY 生成策略的原因 id 每次插入都会返回新生成的 id，这使得批量插入是不可能的。有关详细信息，请参阅http://docs.jboss.org/hibernate/core/3.6/reference/en-US/html/batch.html。

于 2013-04-16T15:34:15.173 回答