1

我需要限定 14 条记录。chunkSize 是 10 页大小是 2。它的作用域只有 10 条记录。

我用不同的方式检查过。chunkSize = 5 pageSize = 10 范围仍然只有 10 条记录，而不是全部 14 条。

只有当 chunksize =11 和 pageSize =10 或 chunkSize = 10 和 pageSize = 20 时它才能正常工作

 build.gradle

  partition:
    defaultPartitionSize: 5
    partitionScopeChunkSize: 10
  jobs:
    jpaPagingSize: 2
  ===================ReaderClass============================ 
  public class PagingItemReader extends 
  JpaPagingItemReader<ScopeParams> {

     public PagingItemReader (
                              EntityManager entityManager,
                              EntityManagerFactory entityManagerFactory,
                              @Value("${spring.jobs.jpaPagingSize}") int jpaPagingSize)
        Map<String, Object> parameterValues = new HashMap<>();
        this.setQueryProvider(
                 ScopeParamsQueryProvider.buildForContinuousMatchScoping(
                      entityManager, 
                      IndustryCodes.valueFromCode(industryCd)));
        this.setEntityManagerFactory(entityManagerFactory);
        this.setPageSize(jpaPagingSize);
        this.setSaveState(true);
        this.setParameterValues(parameterValues);

  }
}

 ==============WriterClass==========
 public class JpaItemWriter<T> extends JpaItemWriter<T> {
   private JpaRepository<T, ? extends Serializable> repository;

   public JpaItemWriter(JpaRepository<T, ?> repository) {
    this.repository = repository;
    }

  @Override
  @Transactional
  public void write(List<? extends T> items) {
    persistEntities(items);
  }

  private void persistEntities(List<? extends T> list) {
    list.stream()
            .peek(item -> log.info("Writing={}", item))
            .forEach(repository::save);
  }

}

 ===================Step Configuration========
public Step WorkStep(StepBuilderFactory stepBuilderFactory,
              PagingItemReader ItemReader,
              ItemProcessor ItemProcessor,
              JpaItemWriter<Scope> itemWriter) {
    return stepBuilderFactory.get(WORK_MATCH)
            .<Scope, ExecutionScope>chunk(10)
            .reader(ItemReader)
            .processor(ItemProcessor)
            .writer(itemWriter)
            .build();
}

处理器代码，

public class MatchItemProcessor implements ItemProcessor<Scope,ExecutionScope> { 

public ExecutionScope process(Scope financialTransaction) throws Exception { 
return batchExecutionScope; 
} 
} 

private ExecutionScope prepareData(Scope transaction) { ExecutionScope executionScope = new ExecutionScope(); executionScope .setIndustryTypeCode(financialTransaction.getIndustryTypeCode()); return executionScope ; }

我正在使用发生读取的相同字段更新处理器中的其他对象。所以我正在阅读器类中阅读“范围”实体。在处理器类中创建 execitionScope 对象并根据范围更新值并在 DB 中持久化 execitionScope。

两个实体都指向不同的表。ScopeParam点击fin_t 表并ExecutionScope点击exec_scope表。

请给我建议。

4

1 回答 1

0

问题已解决。我得到了这个链接的帮助。 Spring批处理jpaPagingItemReader为什么有些行没有被读取？

  • 实际问题

    JPAPagingItemReader 使用偏移量和限制，如果您的范围查询输出作为写入器/分块的一部分被修改，那么下一页将已经有一个修改过的数据集，并且偏移量将继续跳过未处理的数据。由于我们的范围查询忽略了已经作为任何活动批次的一部分范围内的事务，所以一旦第一个分页集被丢弃，它们就属于遗漏。

  • 解决方案修改了我的范围查询并忽略当前正在运行的作业。

于 2018-10-26T13:26:39.327 回答