问题标签 [data-integration]

是否有（免费）工具或框架允许在多个数据后端定义视图（最好用于 java 和基于对象）？

例如我有 2 个数据库：一个数据库提供表或类（无关紧要）PersonX(name, address)，另一个提供 PersonY(name, dateOfBirth)

现在我想创建一个视图，将它们连接成Person(name, address, dateOfBirth)类似（伪代码）：

但我不仅想要视图，我还希望能够对视图进行更新，这应该将更改委托回源。这里的“Couple”关键字应该意味着，字段 Persion.name 的更新应该委托给两个底层源。

因此，从我对数据集成的了解来看，这都是关于创建某种视图的，所以我的问题与此相关，但我在该主题上没有太多经验。

对此的任何帮助表示赞赏 - thx :)

我需要根据 WHERE 子句的相关数据位于链接开放数据云中的条件查询本地 Hibernate 托管数据存储中的持久对象。

有没有办法将休眠会话读取为 RDF？如果是这样，我至少可以使用组合数据集来决定从 Hibernate 中检索哪些对象。

正如我所熟悉的那样，该解决方案最好将 Hibernate Session 暴露在 Jena 内部。此外，我需要支持 RDFS 推理和 SPARQL 进行检索。

我们以平面文件的形式接收大量数据：分隔或只是固定长度的记录。有时很难找出文件实际包含的内容。

是否有任何成熟的做法可以将文件的架构嵌入到文件的开头或结尾以使文件不言自明？

只是为了得到一个想法，想象一下这样的事情：

我们将在开始时解析 xml 并将其用于读取记录。

我的四个人的开发团队已经面临这个问题一段时间了：

有时我们需要处理同一组数据。因此，当我们在本地计算机上开发时，开发数据库是远程连接的。

但是，有时我们需要在数据库上运行会踩到其他开发人员数据的操作，即我们打破关联。为此，本地数据库会很好。

是否有解决此困境的最佳实践？有没有类似“SCM for data”工具的东西？

以一种奇怪的方式，在 git 存储库中保留一个 SQL 插入/删除/更新查询的文本文件会很有用，但我认为这可能会很快变得非常慢。

你们如何处理这个问题？

精简版：

我们有多个团队，每个团队都在开发多个应用程序。他们需要分享一些数据。我们应该将这些应用程序组合成一个更大的应用程序以简化数据集成，还是应该将它们分开并利用一些数据交换/缓存机制？

更长的版本：

我们有许多团队，每个团队都在处理一组应用程序。其中许多应用程序需要共享数据。一种选择是使用异步消息传递来拥有一个记录系统 - 所有写入都在其中发生 - 并将该数据广播到需要它的任何其他系统。这些系统会将他们需要的数据位存储在只读缓存中（在他们的数据库中）。

这种布局的好处是一个系统可以在不影响其他系统的情况下崩溃。它还使各个团队更容易处理各自的应用程序。它使发布计划更容易，更小的代码库导航等。

另一种选择是确定这些应用程序共享太多数据，并且消息/缓存的开销太高。在这种情况下，您可以决定将这三个应用程序合并为一个更大的应用程序。然后，您将完全消除数据集成问题，因为您将集成移动到应用程序的单个模块的服务/事务层。换句话说，MyGiantApp 仍然可以拆分（罐子、应用程序上下文等）成各种模块，这些模块通过另一个模块的事务服务 API 相互通信。在我们的例子中，我们几乎像使用服务总线一样使用 Spring，使用方法调用而不是 Web 服务或异步消息传递。

虽然第二个选项简化了数据集成，但它使开发复杂化。现在 X 团队必须在相同的代码库上工作。这可以通过使用分支、持续集成和单独的库/上下文等来缓解，但归根结底，它仍然是我们都在构建的一个可悲的工件。此外，现在一个团队的错误可以更容易地传播到整个应用程序；一个应用程序炸毁堆可能会全部关闭。

您将如何决定何时使用解决方案 #1 以及何时使用解决方案 #2？

首先让我们定义数据集成：“组合来自不同来源的数据并为用户提供统一的视图”我将数据源解释为包含表、文件等的数据库。我的问题：当在功能层面上需要额外的交互时，你怎么称呼它？

示例：以一个 web 服务为例，您首先需要提供您的国家代码，然后返回天气结果。在这种情况下，我需要一个天气报告属性。

我有一个数据库，它在同一个表中有非常相似的行。这些行是相似的，因为它们具有几乎相等的列值。我需要将这些相应的行整合到一行中。

例如，应该集成这两个用户（u1 和 u2）：

我正在考虑使用一些编辑距离和词干技术。其他算法和技术建议？有什么有用的库可以使用（最好是 Python 或 Java）？

我正在尝试创建一个用于在 MSSQL 和 MYSQL 之间进行集成的 SSIS 包。我之前没有使用 Bids 或 SSIS 并遵循此处的说明的经验。

我将 OLE DB 源、查找、条件拆分、OLE DB 目标和 OLE DB 命令组件添加到数据流，并将连接管理器和列映射配置到条件拆分组件。

从这里开始，我面临两个问题 -

1) 配置 OLE DB 目标后，它会在组件上显示错误符号could not convert between unicode and non unicode string datatypes. 为了解决这个问题，我尝试在条件拆分和目标之间插入一个数据转换组件，并为有问题的列配置它。但这似乎没有帮助

2) 配置 OLE DB 命令时，列映射选项卡中的右侧列显示零列。我已经添加了带有问号的 Sql 命令，所以如果我没记错的话，我想它应该显示名为“Param_0”、“Param_1”等的列。我什至尝试从输入和输出属性选项卡手动添加它们，但随后显示警告，external columns for OLE DB command are out of sync with data source

我在这里想念什么？

谢谢

背景：

我应该先说我不想让别人为我做我的工作。我觉得我正处于一个十字路口，有多种方法可以实现我的目标，但我不确定哪些是“标准的”和/或我是否缺乏相对有限的知识。

我的系统已经发展了六个月，自 1 月 11 日以来，数据库模式一直非常稳定。（我从来不确定我是否犯了一个重大错误，为每个月创建一个与每月会计周期相对应的数据库，但我只是不知道如何做其他事情）

现在：

我的老板要求我创建包含所有月度数据库记录的年初至今报告。

我开始做的事情：

我将元数据模式放在一起，并用足够的信息填充它，我可以编写应用程序来执行 ETL 操作。

这是它的样子：

问题：

我不知道这是否是一种合理/正常的处理方式。我有足够的时间来做一件事，但我无法自己弄清楚要走哪条路。

问题：鉴于我需要提取行项目数据并在多个数据库上进行聚合，正如我所解释的，是否有其他方法可以定义驱动自定义 ETL 解决方案的元数据表？（出于我的目的，一个 C# 应用程序和一个 SSIS 项目是 eqiv，但我很想知道是否可以在这里使用 Analysis Services 或 Reporting Services）

两家公司合并后，企业集成的最佳工具是什么： - Camel 还是 XAware？- 或者两者都满足不同的需求？

似乎与更专注于数据集成的 XAware 和拥有更广泛的集成视图（包括工作流、路由等）的 Camel 存在一些重叠。

你的评论？

在这种情况下，每种产品的优势和劣势是什么？