我有一个用例 . 我想整合/转换来自不同/不同来源的数据而不存储它 . 数据源是数据库(oracle,db2等),Webservice(Rest / Soap),Flat文件(CSV,XML,JSON),MQ转储,大型机系统 . 我想从这些来源提取数据并进行某种智能转换和集成,并为我们的客户提供 . 它看起来像典型的ETL场景,但我的情况不同 . 我不允许存储绝望源提供的数据,这意味着,例如,我从oracle,soap和rest中提取数据,并在运行中完成所有智能转换和集成 .
我浏览了谷歌和技术的东西,但无法得到令人信服的解决方案我的问题 .
如果你们能帮助我对这个问题给出一些有 Value 的见解,并给出建议和可能的方法 .
注意:这些来源的数据大小有时可能非常大 .
提前致谢
2 回答
Talend Open Studio也是一个很好的解决方案,我正在使用它,并且很容易制作ETL工作流程 .
https://www.talend.com/products/data-integration/data-integration-manuals-release-notes/
你可以看到很多帮助视频:https://www.youtube.com/results?search_query=talend+studio
看看htto://teiid.org
这正是它的作用,它是开源的 .