1

我有一个 Spring Batch 进程，它在数据库中获取一组行并从这些行创建许多平面文件，每个文件 10 行。为此，我创建了一个 Spring Batch 流程，类似于：

<batch:job id="springTest" job-repository="jobRepository" restartable="true">
    <batch:step id="test">
        <batch:tasklet>
            <batch:chunk reader="itemReader" writer="multipleItemWriter" commit-interval="2" />
        </batch:tasklet>
    </batch:step>
</batch:job>

<bean id="itemReader" class="org.springframework.batch.item.file.FlatFileItemReader">
    <property name="resource" value="file:/temp/temp-input.txt" />
    <property name="lineMapper">
        <bean class="org.springframework.batch.item.file.mapping.PassThroughLineMapper" />
    </property>
</bean>

<bean id="multipleItemWriter" class="org.springframework.batch.item.file.MultiResourceItemWriter">
    <property name="resource" value="file:/temp/temp-out" />
    <property name="itemCountLimitPerResource" value="2" />
    <property name="delegate">
        <bean id="itemWriter" class="org.springframework.batch.item.file.FlatFileItemWriter">
            <property name="lineAggregator">
              <bean class="org.springframework.batch.item.file.transform.PassThroughLineAggregator" />
            </property>
            <property name="encoding" value="utf-8" />
            <property name="headerCallback" ref="headerFooter" />
            <property name="footerCallback" ref="headerFooter" />
        </bean>
   </property>
</bean>

<bean id="headerFooter" class="uk.co.farwell.spring.HeaderFooterCallback" />

上面的示例从平面文件中读取并输出到平面文件（以显示问题）。请注意块中的 commit-interval=2，以及 MultiResourceItemWriter 中的 itemCountLimitPerResource=2。

HeaderFooterCallback 执行以下操作：

public void writeHeader(Writer writer) throws IOException {
    writer.write("file header\n");
}

public void writeFooter(Writer writer) throws IOException {
    writer.write("file footer\n");
}

我需要能够准确指定文件中出现的行数。

对于以下输入文件：

foo1
foo2
foo3

我希望输出有两个文件，

出.1：

file header
foo1
foo2
file footer

出.2：

file header
foo3
file footer

当我以 commit-interval=2 运行时，出现异常：

2009-11-26 15:32:46,734 ERROR .support.TransactionSynchronizationUtils - TransactionSynchronization.afterCompletion threw exception
org.springframework.batch.support.transaction.FlushFailedException: Could not write to output buffer
    at org.springframework.batch.support.transaction.TransactionAwareBufferedWriter$1.afterCompletion(TransactionAwareBufferedWriter.java:71)
    at org.springframework.transaction.support.TransactionSynchronizationUtils.invokeAfterCompletion(TransactionSynchronizationUtils.java:157)
    at org.springframework.transaction.support.AbstractPlatformTransactionManager.invokeAfterCompletion(AbstractPlatformTransactionManager.java:974)
    .
    .
    .
Caused by: java.io.IOException: Stream closed
    at sun.nio.cs.StreamEncoder.ensureOpen(Unknown Source)
    at sun.nio.cs.StreamEncoder.write(Unknown Source)
    at sun.nio.cs.StreamEncoder.write(Unknown Source)
    at java.io.Writer.write(Unknown Source)
    at org.springframework.batch.support.transaction.TransactionAwareBufferedWriter$1.afterCompletion(TransactionAwareBufferedWriter.java:67).

我认为这是一个错误。奇怪的是，文件如下：

出.1：

file header
foo1
foo2

出.2：

file footer

如果我在输入文件中有两行，一切正常，但多于两行不起作用。如果我将提交间隔更改为 200，那么我会在一个文件中得到三行，这不是想要的行为。

如果有人能告诉我我做错了什么，或者如果不是如何解决这个问题，我将非常感激。

4

2 回答 2

3

事实上，这是一个错误。请参阅http://jira.springframework.org/browse/BATCH-1452。

根据Dave Syer的说法，解决方法是：

IOException 很讨厌。部分解决方法是使用 FlatFileItemWriter 中的新事务属性，将其设置为 false (BATCH-1449)。但是随后您将失去可重新启动性（因此，如果这不是问题，您就可以开始了）。我会尝试为 2.1 正确修复它。

另一种解决方法是在单独的步骤中对文件进行后期处理（而不是使用页眉/页脚回调）。

计数问题（每个文件超过 2 个项目）确实是独立的 - 多资源编写器从未设计为保证每个文件的项目的精确数量，只有在超出限制时才会溢出。如果需要，您可以打开 JIRA 进行增强，一种解决方法是在您的示例中使用 commit-interval="2" （或更一般地说，是所需文件大小的一个因素）。

于 2009-11-27T08:40:31.540 回答
1

考虑一下，您正在尝试从 db 读取数据并将其写入文件。在这种情况下，当您将数据写入文件时，您需要在“HeaderFooterCallback”文件中使用一个对象。你怎么做到这一点 ？

于 2011-09-22T14:43:24.773 回答