2

我正在从存储在我机器上的文本文件中填充一个表。到此结束时将有大约一百万条记录，但填充速度太慢，实际上需要 12 个小时才能达到 140000 条记录。使用 while 循环，我提取每条记录所需的信息，然后调用此函数：

 public void populateDB(int pid, String id, String title, String yearPublished, String author, String summary) {

    Papers p = new Papers();
    p.setPid(pid);
    p.setPaperId(id);
    p.setTitle(title);
    p.setYearPublished(yearPublished);
    p.setAuthor(author);
    p.setSummary(summary);
    em.persist(p);
    em.flush();
    System.out.println("Populated paper " + id);

}

但是随着迭代次数的增加，这会显着减慢。我认为这与 cpu 使用率有关，似乎限制在 50%。但我不知道如何增加这个。最大和最小线程池设置为 10。如何阻止它变慢？

玻璃鱼 3.1.2.2 在此处输入图像描述

4

2 回答 2

0

一些可能有助于提高性能的技巧：

1. 如果可能，将执行多个方法调用的以下七行压缩为一行？

Papers p = new Papers();
p.setPid(pid);
p.setPaperId(id);
p.setTitle(title);
p.setYearPublished(yearPublished);
p.setAuthor(author);
p.setSummary(summary);

用。。。来代替

Papers p = new Papers(pid, id, title, yearPublished, author, summary); // Saves a lot of cycles.

2. 考虑在每个请求上取消 em.flush() 和控制台输出。如果需要，您可能希望在 if() 中以特定计数执行它，比如说 100。

if(count/100 == 0) { // Reducing the number of expensive IOs
em.flush()
System.out.println("Populated paper " + id);
}
于 2013-08-16T03:16:48.437 回答
0

在你的循环中刷新并不好，而且你在哪里提交也很重要。另一个要考虑的因素是您在表上有哪些索引。进行导入时是否可以删除它们？也许还可以查看一些批量插入，如

http://viralpatel.net/blogs/batch-insert-in-java-jdbc/

于 2013-08-16T02:06:24.560 回答