首页 文章

使用OSB代理处理大数据

提问于
浏览
1

我创建了一个OSB代理服务(消息服务),它使用MFL文件加载数据 .

数据格式为:

1/1/2007;00:11:00;2.500;0.000;242.880;10.200;0.000;0.000;0.000;
1/1/2007;00:12:00;2.494;0.000;242.570;10.200;0.000;0.000;0.000;

所有数据记录是:2075259

文件(.txt或.data)的总大小为:130MB .

哪个是处理所有这些数据以便插入OSB代理并将所有数据转换为简单的xml文件的最佳方法?

我已经测试了一小部分记录(5000),它按预期工作,但我应该如何在代理中插入所有这些数据?

MFL转换是一个有效的想法,或者我应该创建一个FileAdapter代理,它将从dbtable接收数据?

请您的建议

先感谢您 .

1 回答

  • 2

    ESB以KB的顺序处理消息是有效的,而不是MB,尽管这是非常主观的,并且很大程度上取决于并发请求的数量,每秒的事务数,硬件的大小等等 . 正如Trent在评论中指出的那样,您可以实现claim check pattern并将文件转换委托给外部实用程序,例如perl或类似工具 .

相关问题