用于实时数据处理的spring批量远程分块

我们必须在6-7小时内处理大约200万条记录,并且所有这些记录都不能立即获得 . 它实时出现在1000或2000批次中 . 我正在考虑使用Spring批量远程分块,因为在我们的案例中,瓶颈正在处理那些单独的记录 . 阅读它们非常快,我们也不必一起阅读所有200万 .

我们的目标是尽快处理这些1000或2000条记录,以便其他系统可以在等待它们时使用它 .

我的问题是

  • 使用spring integration jdbc poller来读取那些带有多个slave的远程分块的1000条记录并启动spring批处理作业是一个好主意吗?

  • 是否有关于远程分块的示例项目?

回答(0)