首页 文章

Spring批量框架

提问于
浏览
0

我无法确定Spring Batch框架是否适用于以下要求 . 我需要专家对此提出意见 .

以下是我的要求:

读取多个Oracle表(至少10个表,包括事务和主表),根据业务规则进行复杂计算,在事务表中插入/更新/删除记录 .

我确定了以下两种设计:

设计#1:

ItemReader: 从密钥事务表中选择符合条件的记录 .

ItemProcessor: 使用ItemReader检索到的记录中的可用密钥从DB获取其他详细信息 . (这将需要多次DB事务)执行验证和计算,并将要写入DB的详细信息作为列表中的对象添加 .

ItemWriter: 使用CustomItemWriter(插入/更新/删除操作)编写对象中可用的详细信息

通过这种设计,我们可以实现 parallel processing 但增加 DB transactions 的数量 .

设计#2:

Step # 1

ItemReader: 使用Composite Item Reader(ItemReaders组)读取所有必需的表 .

ItemWriter: 将结果集保存为执行上下文中的对象列表(每个表一个列表)

Step # 2

ItemReader: 检索执行上下文中可用的对象列表,并根据业务处理将它们分组到一个对象列表中,以便处理器可以处理它们 .

IremProcessor: 处理ItemReader返回的对象块 . 进行验证和计算,并将要写入DB的详细信息作为列表中的对象添加 .

ItemWriter: 使用CustomItemWriter(插入/更新/删除操作)编写对象中可用的详细信息

通过这种设计,我们可以减少 DB Transactions 的数量,但是我们正在延迟处理,直到检索到所有表记录并将其存储在执行上下文中,即我们没有使用SpringBatch提供的 parallel processing .

请使用SpringBatch建议上述是否可行,或者我们需要使用传统的Java程序 .

2 回答

  • 0

    好消息是您的问题描述与 spring 批的一个非常常见的用例相匹配 . 坏消息是,问题描述过于通用,无法在已提供的评论之外对特定设计进行有意义的输入 .

    Spring-batch将类似于JCL和ISPF的工具从大型机世界带入java上下文 .

    Spring批处理提供了一个框架,用于组织和管理流程的边界 . 对于许多ETL和bigdata操作来说,它是很自然的,但它不是编写这些进程的唯一方法 .

    如果您的流程可以分解为谨慎的步骤,那么 Spring 季批次是您的不错选择 .

    Itemreader应该(logicall)是一个迭代器,返回一个表示一个逻辑工作单元(luw)的开始的单个对象 . luw对象由chunker捕获并组装成您配置的大小的集合,然后传递给处理器 . 然后处理器的结果传递给编写器 . 在以RDBMS为中心的进程的上下文中,提交发生在writer的操作结束时 .

    无论你需要什么(普通的旧java),每一步中发生的事情都是100% . 框架的要点是让您摆脱复杂性并使您能够解决问题 .

  • 0

    根据我的理解,Spring批处理与数据库批处理操作无关(或者至少“批处理”这个词在这两个上下文中有不同的含义..)Spring批处理用于创建具有多个步骤的进程,并为您提供机会如果其中一个流程步骤失败,则重新启动流程(不重复之前完成的流程步骤 . )

相关问题