问题标签 [master-data-management]

我正在开发一个 API 来查询数据库服务器（在我的例子中是 Oracle）以检索大量数据。（这实际上是 JDBC 之上的一层。）

我创建的 API 试图尽可能限制将每个查询信息加载到内存中。我的意思是，我更喜欢迭代结果集并逐一处理返回的行，而不是将每一行加载到内存中并稍后处理它们。

但我想知道这是否是最佳做法，因为它有一些问题：

• 结果集在整个处理过程中保持不变，如果处理时间与检索数据一样长，则意味着我的结果集将打开两倍
• 在我的处理循环中执行另一个查询意味着在我已经使用一个结果集时打开另一个结果集，同时开始打开太多结果集可能不是一个好主意。

另一方面，它有一些优点：

• 对于结果集，我的内存中的数据永远不会超过一行，因为我的查询往往会返回大约 100k 行，这可能是值得的。
• 由于我的框架很大程度上基于函数式编程概念，因此我从不依赖多个行同时在内存中。
• 在数据库引擎仍在返回其他行的同时开始对返回的第一行进行处理可以极大地提高性能。

作为对甘道夫的回应，我添加了更多信息：

• 我总是需要处理整个结果集
• 我没有对行进行任何聚合

我正在与主数据管理应用程序集成并检索数据，以便验证它们或使用许多不同的格式（到 ERP、到 Web 平台等）导出它们

MDM（主数据管理）在过去几年一直是一个流行词。大多数信息/数据架构师开始了解如何设计和实现 MDM 并将其用作 SOA 推动者。

与 MDM 一起出现的另一个概念称为信息即服务 (IaaS)。根据定义，IaaS 是企业数据存储库和通用 SOA 服务层之间的中间层。

我的问题是关于 IaaS 的实施。一开始，我认为 DB Stored Procedures 足以建立 IaaS 层。但由于您的数据来自多个不同的数据库平台（Oracle、SQL Server 等）和地理位置，因此无法使用存储过程来形成一致的 IaaS 层。

我做了一些研究，让我想到了几个想法。我想从已经在他们的环境中建立 IaaS 的优秀数据专业人士那里获得更多关于 IaaS 实施的见解、技巧和窍门。

我们有一个现有的 C++（STL、boost、Qt4）服务器应用程序，它通过 xml 命令通过 tcp 套接字与客户端进行通信。该接口是专有的，但与 SOAP 相差不远，但有一个例外。我们有大量的主数据和（计算的）项目数据，这些数据在服务器启动时初始化和计算（稍后更新）。在每个服务请求上构建和计算这些数据非常昂贵。

现在我们想将一些（将来所有）命令移植到 Web 服务。我们发现/评估了以下 C++ 框架：

• 职员
• gSOAP
• WSO2
• 流氓波九头蛇

现在我的问题;-)

1. 如何构建可以访问永久内存项目数据的 Web 服务的标准方法，这些数据在服务器启动时初始化（不是 Web 服务请求）？网络上有资源吗？
2. 上面可以用 gSOAP 自己的 HTTP Get 插件解决吗？
3. 我是否忘记了可推荐的C++/Web 服务框架？

提前感谢拉斯

我们安装了 Oracle Hyperion Master Data Management（又名数据关系管理）及其 Web 服务 API，它本质上是部署在 WebLogic 上的 EAR 文件。内置的服务器端安全策略已附加到此 Web 服务。我们有一个 .NET 客户端，它需要与这个 Web 服务端点通信，但我们不确定如何设置 Oracle 定义的客户端安全策略。

使用的版本 - DRM：11.1.2.1；网络逻辑：10.3.4

我正在寻找关于我们如何实现这一目标的指针（如果可能，还有示例代码）。

谢谢。

谁能告诉我如何使用 C# 作为代码隐藏来合并 MDS 实体中的两个成员。

简单地说：“事务性”和“非事务性”有什么区别？

就我而言，我在阅读以下“MDM”定义时提出了这个问题：

“在计算中，主数据管理”（MDM）包括一组流程和工具，它们一致地定义和管理组织的非事务性数据实体（可能包括参考数据）。

我正在尝试运行 IBM MDM Server BatchProcessor ；在执行 rubBatch.sh 脚本时，我收到以下错误：

我已经开始了一个分析项目。用例是了解客户购买模式和数据源，如 Web 日志、关系数据库（包含产品主数据、客户主数据）。关系数据库团队，hadoop 团队是完全不同的。在架构讨论期间，讨论了主数据（产品、客户、）将是一次性加载，增量更新将是从 oracle 到 hdfs 的每日 sqoop，并且使用 Hive 需要生成当前视图（包含所有最新产品变化）。从产品详细信息开始。

1. Oracle 端的产品主控大约为 10G。
2. 每日增量从 5 MB 到 100 MB 不等。

根据我的理解，从长远来看，创建这样的小文件会对名称节点造成负担。

当有人遇到这样的解决方案时，你是如何处理它的？

我使用 MDS 2008 / API 以编程方式插入/更新模型、实体、属性和成员。

我想获取或设置一个模型或一个实体的描述。

如果事实在 Master Data Manager 上，我们可以在一个模型或实体的元数据上看到这一点：

在这里，我们可以看到模型的描述，但我们无法获取或设置它。

有谁知道如何使用 MDS API 做到这一点？

这是一个理论上的问题，由于我最近收到了一个请求，我提出了这个问题。我拥有一个主操作数据存储的支持，它维护一组数据表（带有主数据）以及一组查找表（其中包含参考代码列表及其描述）。最近，下游应用程序推动在表示层中将两种结构（数据和查找值）逻辑地结合起来，以便他们更容易发现整体数据中是否有更新。虽然请求是可以理解的，但我的第一个想法是它应该在接口级别而不是在源头上实现。在 ODS 级别逻辑组合两个表 (last_update_date) 几乎类似于数据的反规范化，并且似乎与保持查找和数据分离的想法相反。就是说，除了它“似乎”不正确的事实之外，我想不出为什么不应该在 ODS 级别完成它的任何原因......有没有人对为什么这种方法应该或不应该有任何想法被跟踪？

为简单起见，我在这里列出一个示例。

下游请求是将数据表示为

或者