问题标签 [ibm-infosphere]

我有一份 181 列的工作，在漏斗之前在变压器上编译时出现此错误。

致命错误：添加的字段具有重复的标识符（）：APT_TRinput0Rec99（ALR_DATIBAS3.FilterFieldError）

变压器有 181 个约束，没有什么特别的，我可以尝试解决什么？

IBM Infosphere CDC 是一款出色的产品，可以从不同的源和目标复制数据。它稳定且用户友好。而我们的客户希望以类似的方式使用其他开源产品对 IBM Infosphere CDC 进行基准测试。你在 CDC 有什么经验吗？如果是，请告诉我是否有类似的开源产品可以应用于小型公司？

非常感谢，

我正在尝试使用 Datastage 将 S3 中以 .gz 格式存储的数据加载到 PostgreSQL 服务器。我在目标（数据库）端使用 ODBC 连接器。我能够将未压缩的数据从 S3 加载到 PostgreSQL，但到目前为止压缩数据没有运气。我已经尝试过，Expand Stage但它没有帮助，或者我没有做正确的事情。如果没有“扩展”，数据即将到来，但它正在尝试读取压缩数据，但这样做会失败并引发错误：

如果有人遇到过这种情况，请分享您的宝贵意见。

我正在尝试使用： DB2--IBM CDC --Kafka构建一个 CDC 管道 ，并且我正在尝试找出设置它的正确方法。我尝试了以下事情 -

1.在 linux on prem 上搭建一个 3 节点的 kafka 集群

setup-iidr-11.4.0.1-5085-linux-x86.bin2.在 linux on prem using- file上安装 IIDR CDC 软件。CDC 实例已启动并正在运行。

各种在线文档建议安装“IIDR 管理控制台”来配置源数据存储和 CDC 服务器配置以及 Kafka 订阅配置来构建管道。

目前我没有安装管理控制台。关于这个的几个问题 -

1. IBM CDC 管理控制台是否有替代方法来设置 kafka-CDC 管道？

2.如何获取IIDR管理控制台？如果我们将它安装在本地 Windows dekstop 上并尝试连接到远程 linux 服务器上的 CDC/Kafka，它会工作吗？

3.任何其他方法来设置数据摄取 IIDR CDC 到 Kafka ？

我对 CDC/IIDR 还很陌生，请帮忙！

对于企业范围的数据流平台实施，我们正在使用融合的 kafka 和 ibm iidr cdc。

为什么 IIDR 管理控制台在配置 kafka 订阅时只有两个选项来使用 zookeeper 和 rest 代理？

从安全角度来看，完全不建议暴露 zookeeper。我们如何才能为他们提供代理端点以连接到 kafka ？或者我们如何实现 IIDR 融合 kafka 连接器？ https://www.confluent.io/connector/ibm-data-replication/

如何在 IIDR CDC 和 Kafka 中实现 SSL？任何文件链接？

谢谢！

我们正在尝试将 db2-IIDR (IBM CDC) 的数据发布到 AWS 上的 Kafka。由于以下错误，订阅失败 -

在 aws 上将流从 IIDR 发布到 Kafka 是否需要执行任何先决条件？

更多细节——

-Kafka 集群在 AWS 上运行

-IIDR CDC 引擎 --> 内部部署（源和目标）

- 本地 IP 已被列入白名单，我可以 ping/telnet 端口从本地到 aws，反之亦然。

谢谢！

我们正在尝试测量 Infosphere CDC-Confluent kafka 设置中消息写入的延迟。我们有虚拟表，将执行虚拟事务。

数据流- MF DB2 表 --> IIDR --> Kafka 主题

（对于 Kafka，生产者是 iidr）

在没有任何企业监控工具的情况下找出示例事务的写入延迟的正确方法是什么？我们是否可以检查写入日志并考虑每个事务时间戳并与 cdc 事务日志进行比较以找出写入延迟？

PS-我已将 jconsole 配置为收集 kafka 指标。但是我们如何才能找到特定 CDC 流对 kafka 主题的写入延迟？

谢谢！

我有一个如下所示的输入文件，并尝试将多个客户记录转换为各自的季度，并记录每个客户。一旦季度（如 2019 年第二季度）从数据中得出，现在最新的应该转到 TimeFrame4，旧的应该转到 3、2、1 订单。

到目前为止，能够使用转换器导出四分之一，但在那之后我被困在如何识别它们并将它们分配给相应的存储桶（TimeFrame1 TimeFrame2 TimeFrame3 TimeFrame4）。关于如何在 DataStage（11.3 并行作业）中有效实现这一点（输入有 50M 记录）的任何想法。

输入：

我需要如下所需的输出：

作为我们的治理计划和监管要求的一部分，我们需要生成一个沿袭（可追踪性）报告，概述进入我们仓库的数据流，以及使用其数据的报告或服务。我们知道，当 DataStage 将数据写入 Warehouse 时，Information Governance Catalog 可以自动生成这样的报告。当我们使用 SQL 脚本或其他工具向仓库读取或写入信息时，Information Governance Catalog 可以做同样的事情吗？我可以查看包含这些不同信息的完整沿袭报告吗？

IGC 内部有哪些步骤来记录或定义信息的使用以支持数据沿袭和监管报告？

这是我们想做的事情（在 Information Server 中以 MUMPS 格式存储数据），但似乎我们无法以这种格式存储数据。有没有人有指导或解决方法？