我有一个用例。我想集成/转换来自不同/不同来源的数据而不存储它。数据源是数据库(oracle、db2 等)、Web 服务(Rest/Soap)、平面文件(CSV、XML、JSON)、MQ 转储、大型机系统。我想从这些来源中提取数据并进行某种智能转换和集成,并将其提供给我们的客户。它看起来像典型的 ETL 场景,但我的情况不同。我不允许存储绝望来源提供的数据,这意味着,例如,我从 oracle、soap 和 rest 中提取数据,并即时进行所有智能转换和集成。
我浏览了谷歌和技术资料,但无法为我的问题找到令人信服的解决方案。
如果你们能帮助我就这个问题提供一些有价值的见解,并提出建议和可能的方法。
注意:来自这些来源的数据量有时可能非常巨大。
提前致谢