-1

我正在尝试进行下一个实施。

由于大小原因，我必须将输出文件拆分为例如 10k 行块。

所以，我需要在文件“out1.csv”中转储 10k，在文件“out2.csv”中转储下一个 10k，依此类推。

使用一个输出文件，模式批处理：带有读取器-处理器-写入器的块是简单而直接的。

输出流是在块内的 batch:streams XML 部分中打开的，所以我避免了“Writer must be open before it can be write to”异常。

我想做一个避免这种严格和预设的解决方案的实现：

<batch:chunk reader="reader"  writer="compositeWriter" commit-interval="10000" processor-transactional="false">
    <batch:streams>
        <batch:stream ref="writer1" />
        <batch:stream ref="writer2" />
        <batch:stream ref="writer3" />
        .
        .
        .<batch:stream ref="writer20" />
    </batch:streams>
</batch:chunk>

<bean id="writer1" class="org.springframework.batch.item.file.FlatFileItemWriter" scope="step">
        <property name="resource" value="out1.csv" />
        ...
</bean>

<bean id="writer2" class="org.springframework.batch.item.file.FlatFileItemWriter" scope="step">
        <property name="resource" value="out2.csv" />
        ...
</bean>

...
<!-- writer 20 -->

假设20个作家就足够了。我正在寻找一种解决方案来动态（可能以编程方式）创建输出编写器，打开它们并避免上述异常。

4

1 回答 1

1

由于大小原因，我必须将输出文件拆分为例如 10k 行块。所以，我需要在文件“out1.csv”中转储 10k，在文件“out2.csv”中转储下一个 10k，依此类推。

您似乎正在使用 a CompositeItemWriter，但这不是要走的路。您需要使用的是MultiResourceItemWriter，它允许您按项目数拆分输出。在您的情况下，您需要配置 aMultiResourceItemWriter并将其设置itemCountLimitPerResource为 10.000。您还可以提供 aResourceSuffixCreator来自定义输出文件名，例如out1.csv,out2.csv等。

于 2021-05-18T07:12:43.343 回答