22

我正在尝试使用 Liquibase 将大量记录（当前位于 Excel 文件中）添加到我的数据库中（以便我知道如何为将来的数据库更改做这件事）

我的想法是使用 Java 读取 excel 文件，然后从我的 Spring 初始化类中填充 ChangeLogParameters，如下所示：

SpringLiquibase liqui = new SpringLiquibase();
liqui.setBeanName("liquibaseBean");
liqui.setDataSource(dataSource());
liqui.setChangeLog("classpath:changelog.xml");

HashMap<String, String> values = new HashMap<String, String>();
values.put("line1col1", ExcelValue1);
values.put("line1col2", ExcelValue2);
values.put("line1col3", ExcelValue3);
values.put("line2col1", ExcelValue4);
values.put("line2col2", ExcelValue5);
values.put("line2col3", ExcelValue6);
...
liqui.setChangeLogParameters(values);

这种方法的问题是我的 changelog.xml 会很奇怪（而且没有生产力）

<changeSet author="gcardoso" id="2012082707">
    <insert tableName="t_user">
        <column name="login" value="${ExcelValue1}"/>
        <column name="name" value="${ExcelValue2}}"/>
        <column name="password" value="${ExcelValue3}"/>
    </insert>
    <insert tableName="t_user">
        <column name="login" value="${ExcelValue4}"/>
        <column name="name" value="${ExcelValue5}}"/>
        <column name="password" value="${ExcelValue6}"/>
    </insert>
    ...
</changeSet>

有什么办法可以让我做这样的事情：

HashMap<String, ArrayList<String>> values = new HashMap<String, ArrayList<String>>();
values.put("col1", Column1);
values.put("col2", Column2);
values.put("col3", Column3);
liqui.setChangeLogParameters(values);

<changeSet author="gcardoso" id="2012082707">
    <insert tableName="t_user">
        <column name="login" value="${Column1}"/>
        <column name="name" value="${Column2}}"/>
        <column name="password" value="${Column3}"/>
    </insert>
</changeSet>

或者还有其他方法吗？

编辑： 我目前的选择是将 Excel 转换为 CSV 文件并使用导入数据

<changeSet author="gcardoso" id="InitialImport2" runOnChange="true">

    <loadData tableName="T_ENTITY" file="com/exictos/dbUpdate/entity.csv">
        <column header="SHORTNAME" name="SHORTNAME" />
        <column header="DESCRIPTION" name="DESCRIPTION" />
    </loadData>


    <loadData tableName="T_CLIENT" file="com/exictos/dbUpdate/client.csv">
        <column header="fdbhdf" name="ENTITYID" defaultValueComputed="(SELECT ID FROM T_ENTITY WHERE SHORTNAME = ENTITY_REFERENCE"/>
        <column header="DESCRIPTION" name="DESCRIPTION" />
    </loadData>


</changeSet>

使用这些 CSV 文件：

实体.csv

SHORTNAME,DESCRIPTION
nome1,descricao1
nome2,descricao2

客户端.csv

DESCRIPTION,ENTITY_REFERENCE
descricaoCliente1,nome1
descricaoCliente2,nome2

但我得到这个错误：

liquibase.exception.DatabaseException: Error executing SQL INSERT INTO `T_CLIENT` (`DESCRIPTION`, `ENTITY_REFERENCE`) VALUES ('descricaoCliente1', 'nome1'): Unknown column 'ENTITY_REFERENCE' in 'field list'

如果我将 client.csv 的标头更改为DESCRIPTION,ENTITYID，我会收到以下错误：

liquibase.exception.DatabaseException: Error executing SQL INSERT INTO `T_CLIENT` (`DESCRIPTION`, `ENTITYID`) VALUES ('descricaoCliente1', 'nome1'): Incorrect integer value: 'nome1' for column 'entityid' at row 1

在任何这些情况下，看起来 defaultValueComputed 的工作方式与以下示例中的 valueComputed 不同

<changeSet author="gcardoso" id="InitialImport1">

    <insert tableName="T_ENTITY">
        <column name="SHORTNAME">nome1</column>
        <column name="DESCRIPTION">descricao1</column>
    </insert>

    <insert tableName="T_CLIENT">
        <column name="ENTITYID" valueComputed="(SELECT ID FROM T_ENTITY WHERE SHORTNAME = 'nome1')"/>
        <column name="DESCRIPTION">descricaoCliente</column>
    </insert>

</changeSet>

这是预期的行为吗？LiquiBase 的错误？或者只是我做错了什么（最有可能）？

或者有没有其他方法可以导入大量数据？但总是使用 LiquiBase 和/或 Spring。

EDIT2：我的问题是我无法使用正确的外键将数据插入到第二个表中

4

2 回答 2

11

我会说 Liquibase 不是您想要实现的目标的理想工具。Liquibase 非常适合管理数据库结构，而不是数据库的数据。

如果您仍想使用 Liquibase 来管理数据，您有几个选择（请参阅此处）-

  1. 将您的插入语句记录为 SQL，并从 changelog.xml 中引用它们，如下所示：

    <sqlFile path="/path/to/file.sql"/>

  2. 使用您从 changelog.xml 中引用的自定义重构类，如下所示：

    <customChange class="com.example.YourJavaClass" csvFile="/path/to/file.csv"/>

    YourJavaClass 将从 CSV 文件中读取记录，并将它们应用到数据库，实现此方法：

    void execute(Database database) throws CustomChangeException;

请记住，一旦您通过 Liquibase 加载了这些数据，就不应修改文件中的数据，因为这些更改不会被重新应用。如果要对其进行更改，则必须在后续更改集中进行。因此，一段时间后，您可能会得到很多不同的 CSV 文件/liquibase 变更集，它们都在相同/相似的数据上运行（这取决于您将如何使用这些数据——一旦插入它会改变吗？）。

我建议查看使用DBUnit来管理您的参考数据。它是一个主要用于单元测试的工具，但它非常成熟，适合在生产中使用。您可以将信息存储在 CSV 或 XML 中。我建议使用 Spring 'InitializingBean' 从类路径加载数据集并执行 DBUnit 'refresh' 操作，这将来自文档：

此操作从字面上将数据集内容刷新到数据库中。这意味着更新现有行的数据并插入不存在的行。任何存在于数据库中但不在数据集中的行不受影响。

这样，您可以将参考数据保存在一个地方，并随着时间的推移添加到其中，以便只有一个信息来源，并且不会跨多个 Liquibase 变更集拆分。将您的 DBUnit 数据集保存在版本控制中将提供可追溯性，并且作为奖励，DBUnit 数据集可以跨数据库移植，并且可以管理诸如插入顺序之类的事情，以防止您违反外键。

于 2012-08-31T07:42:01.450 回答
2

这取决于您的目标数据库。如果您使用的是Sybase或MSSQL服务器，那么您可以使用随您安装的客户端+驱动程序一起提供的BCP 工具。这是将大量数据移入/移出这些数据库的最快方式。

谷歌搜索我也发现了这些链接......

Oracle 有SQL*LOADER工具

MySQL 有LOAD DATA INFILE命令

我希望每个数据库供应商都提供一些描述的工具来批量加载数据。

于 2012-08-30T16:47:58.423 回答