一步后 spring 批流/分流

我正在构建一个包含以下过程的 spring 批处理解决方案:

步骤1:将列表拆分为多个列表步骤2:处理每个子列表步骤3:合并子列表

生成的子列表可以并行处理,并且根据spring-batch文档支持 . 遗憾的是,我只能找到以并行步骤开始的弹出批处理示例作业,而不是按顺序开始的示例 .

以下作业无法编译 . Spring给了我一个错误:'无法解决step2'

<batch:job id="webServiceJob2">
    <batch:step id="step1" next="step2"></batch:step>
    <batch:split id="step2" next="step3"></batch:split>
    <batch:step id="step3"></batch:step>
</batch:job>

那么,如何将作业配置为首先运行单个步骤,而不是并行运行多个步骤,然后运行最后一个步骤?

回答(3)

2 years ago

我偶然发现了这个问题,询问分裂是如何工作的,也许这个答案到了一点(一年),但是我在这里......

那里的问题是“拆分”本身并不是一个步骤,但你正在命名(并引用)它:

<batch:job id="webServiceJob2">
    <batch:step id="step1" next="step2"></batch:step>
    <batch:split id="step2" next="step3"></batch:split> <!-- This is not a step -->
    <batch:step id="step3"></batch:step>
</batch:job>

正确的语法是:

<batch:job id="webServiceJob2">
    <batch:step id="step1" next="step2"></batch:step>
    <batch:split id="split_step2" next="step3">
        <flow> 
             <step id="step2_A_1" ... next="step2_A_2"/>
             <step id="step2_A_2" ... />
        </flow>
        <flow> 
             <step id="step2_B_1" ... />
        </flow>
    </batch:split>
    <batch:step id="step3"></batch:step>
</batch:job>

但这不是你想要实现的,因为通过 split 声明,你必须在编译时设置将要执行的并行步骤的确切数量,并且split的目的是在每个流中使用不同的步骤而不是多次调用相同的步骤一 .

您应该查看有关Scaling and Parallel processes的文档, partition step 似乎是您的要求的合适人选 .

2 years ago

并行步骤将指示每个子列表的不同步骤,我认为这不是您想要的 .
单个Multi-threaded Step似乎更合适 .
如文档所述,首先定义一个 TaskExecutor bean,它将在一个单独的线程中处理每个块 . 由于TaskExecutors使用起来相当简单,您也可以自己调用TaskExecutor . 在这种情况下,您的步骤可以是多线程的,而Spring Batch无需了解它 .

2 years ago

当然,你可以在工作中分开!以下是Spring Batch In Action(2012)中的示例 .

<batch:job id="importProductsJob">
  <batch:step id="decompress" next="readWrite">
    <batch:tasklet ref="decompressTasklet"/>
  </batch:step>
  <batch:split id="readWrite" next="moveProcessedFiles">
    <batch:flow>
      <batch:step id="readWriteBookProduct"/>
    </batch:flow>
    <batch:flow>
      <batch:step id="readWriteMobileProduct"/>
    </batch:flow>
  </batch:split>
  <batch:step id="moveProcessedFiles">
    <batch:tasklet ref="moveProcessedFilesTasklet" />
  </batch:step>
</batch:job>