1

问题是：在我的公司，我们有一个大型数据库，我们想在其中执行一些自动化操作。为了测试我们获得了大约 6 个 10MB 大小的 csv 文件的数据的小样本。我们想使用 H2 来测试我们的程序在其中的结果。H2 似乎与我们以前的 cvs 配合得很好，尽管它们最多有 1000 个条目。当涉及到我们的任何 10MB 文件时，命令

insert into myschema.mytable (select * from csvread('mycsvfile.csv'));

报告失败，因为其中一个注册表被认为是重复的并且违反了我们的主键约束。

Unique index or primary key violation: "PRIMARY_KEY_6 ON MYSCHEMA.MYTABLE(DATETIME, LARGENUMBER, KIND)"; SQL statement:
insert into myschema.mytable (select * from csvread('src/test/resources/h2/data/mycsvfile.csv')) [23001-148] 23001/23001

将 mycsvfile.csv 分成更小的部分，我可以看到在插入大约 10000 行后问题开始出现（尽管数量取决于我使用的数据）。但是，如果我将文件分成几部分然后单独运行命令，我可以插入超过 10000 行。但即使我设法手动插入所有数据，我也需要一种自动化方法来填充数据库。

由于运行该命令不会给我导致问题的行，我猜测问题可能是 csvread 例程中的一些缓存。

然后我创建了一个小型java程序，可以手动将数据插入H2数据库。无论我是否批处理命令，关闭并打开 1000 行的连接，h2 都报告说我试图在数据库中复制一个条目。

org.h2.jdbc.JdbcSQLException: Unique index or primary key violation: "PRIMARY_KEY_6 ON MYSCHEMA.MYTABLE(DATETIME, LARGENUMBER, KIND)"; SQL statement:
INSERT INTO myschema.mytable VALUES ( '1997-10-06 01:00:00.0',25485116,1.600,0,18 )  [23001-148]

使用 emacs 对该注册表进行正常搜索，我可以发现注册表没有重复，因为 datetime 列在整个数据集中是唯一的。

由于该公司出售该信息，因此我无法提供该数据供您测试。但这是我的表定义的样子。

create table myschema.mytable (
   datetime timestamp,
   largenumber numeric(8,0) references myschema.largenumber(largecode),
   value numeric(8,3) not null,
   flag numeric(1,0) references myschema.flag(flagcode),
   kind smallint references myschema.kind(kindcode),
   primary key (datetime, largenumber, kind)
);

这就是我们的 csv 的样子：

datetime,largenumber,value,flag,kind
1997-06-11 16:45:00.0,25485116,0.710,0,18
1997-06-11 17:00:00.0,25485116,0.000,0,18
1997-06-11 17:15:00.0,25485116,0.000,0,18
1997-06-11 17:30:00.0,25485116,0.000,0,18

还有填充我们测试数据库的java代码（原谅我丑陋的代码，我绝望了:)

private static void insertFile(MyFile file) throws SQLException {
    int updateCount = 0;
    ResultSet rs = Csv.getInstance().read(file.toString(), null, null);
    ResultSetMetaData meta = rs.getMetaData();
    Connection conn = DriverManager.getConnection(
            "jdbc:h2:tcp://localhost/mytestdatabase", "sa", "pass");
    rs.next();
    while (rs.next()) {
        Statement stmt = conn.createStatement();
        StringBuilder sb = new StringBuilder();
        for (int i = 0; i < meta.getColumnCount(); i++) {
            if (i == 0)
                sb.append("'" + rs.getString(i + 1) + "'");
            else
                sb.append(rs.getString(i + 1));
            sb.append(',');
        }
        updateCount++;
        if (sb.length() > 0)
            sb.deleteCharAt(sb.length() - 1);

        stmt.execute(String.format(
                "INSERT INTO myschema.mydatabase VALUES ( %s ) ",
                sb.toString()));
        if (updateCount == 1000) {
            conn.close();
            conn = DriverManager.getConnection(
                    "jdbc:h2:tcp://localhost/mytestdatabase", "sa", "pass");
            updateCount = 0;
        }
    }
    if (!conn.isClosed()) {
        conn.close();
    }
    rs.close();
}

如果需要，我很乐意提供更多信息。

编辑

@Randy我总是在运行命令之前检查数据库是否干净，并且在我的java程序中，我有一个例程可以从无法插入的文件中删除所有数据。

 select * from myschema.mytable where largenumber  = 25485116;
 DATETIME   LARGENUMBER     VALUE   FLAG    KIND  
 (no rows, 8 ms)
4

1 回答 1

0

我唯一能想到的是表上有一个触发器将时间戳设置为“现在”。虽然这并不能解释为什么你用几行就成功了，但它可以解释为什么主键被违反了。

于 2011-02-03T20:17:31.170 回答