问题标签 [oracle-cdc]

我每天（一天一次）从源表将数据插入目标表。我只想将新记录插入目标表以避免重复。如果一个字段中的数据发生变化，我想在目标表中保留旧记录，它应该在目标表中插入新记录并过期旧记录。我也想保留旧记录。我认为这个问题与CDC有关。我只使用 Teradata，没有使用其他第三方工具。你能帮我用 SQL 解决这个问题吗？

我使用 logminer 从归档日志中获取更改数据，但得到无效的 rowid 'AAAAAAAAAAAAAAAAAA'。这怎么可能发生。它只是一个插入操作。

• 复制目录 begin sys.dbms_logmnr_d.build(options => dbms_logmnr_d.STORE_IN_REDO_LOGS); end; /

• 添加日志文件 begin sys.dbms_logmnr.add_logfile(LogFileName => '/arch/archlog/SZO1ABS9/ARC0000286133_0846017616.0001', Options => sys.dbms_logmnr.NEW); end; /

• 启动 logmnr begin sys.dbms_logmnr.start_logmnr(Options => sys.dbms_logmnr.DICT_FROM_REDO_LOGS + sys.dbms_logmnr.COMMITTED_DATA_ONLY); end; /

• 获取结果 select scn,start_scn,commit_scn,timestamp,operation,row_id,sql_redo,sql_undo from v$logmnr_contents where row_id = 'AAAAAAAAAAAAAAAAAA' and scn = '7590067871061';

我们正在尝试使用 CDC 将 Talend 连接到我们的 Oracle 12c 数据库。tOracleCDC 组件使用 Oracle XStream 来完成实际的变更数据捕获工作。问题是，当在 Oracle 中创建 CDC 端点时，会创建一个“出站服务器”，它侦听多个表甚至多个完整模式的更改。

在 Talend 中，配置 tOracleCDC 组件时，必填字段之一是“使用 CDC 的表”，在生成的 Java 代码中，它用于使用类似的东西过滤传入的更改记录"TableName".equalsIgnoringCase(... )

这意味着对于给定的 XStream 连接，我们只能获取单个表的更改（并且每个连接都需要数据库中唯一的出站服务器对象）。

我们一定遗漏了一些东西，我们如何在 Talend 中为多个表提取更改？

谢谢！

我构建的管道是从 ORACLE 读取并写入 Directory 以评估 Streamsets CDC 支持的灵活性。

假设我使用CDC直接从MS SQLS中对数据进行DMS处理到 S3。

如果源数据库中有行删除或更新，当这些事件发生时，DMS 会在 S3 中创建新对象吗？还是会删除/覆盖前一个？

换句话说，如果我想将DB的更改历史序列化到 S3，那么带有 CDC 到 S3 的 DMS 会完全做到这一点吗？还是只是（持续地）镜像 S3 中源数据库中的当前值？

我们的目标数据库是 DB2，源数据库是 ORACLE，我们在 CDC 管理控制台中发现了 ddl 更改，我需要将实例修复到正确的运行状态。

我正在尝试使用以 kafka 作为代理的 spring 云数据流从 oracle DB 进行更改数据捕获。我为此使用轮询机制。我定期使用基本选择查询轮询数据库以捕获任何更新的数据。为了更好的防故障系统，我将上次轮询时间保存在 oracle DB 中，并使用它来获取上次轮询后更新的数据。

我在应用程序属性中的查询如下：

这对我来说非常有用。我可以通过这种方法从数据库中获取 CDC。

我现在正在查看的问题如下：

仅仅为了维护轮询时间而创建一个表是一种负担。我正在寻找在 kafka 主题中维护最后一次投票时间，并在我进行下一次投票时从 kafka 主题中检索该时间。

我已经修改了jdbcMessageSource如下方法来尝试：

但是 Spring Data Flow 只实例化 pollingFlow()（请参见上面的代码）bean 一次。因此，首先运行的查询将保持不变。我想用每次轮询的新轮询时间来更新查询。

Integrationflow有没有一种方法可以让我在每次进行民意调查时编写一个自定义来更新这个查询？

我已经尝试过IntegrationFlowContext，但没有成功。

提前致谢 ！！！

通过 oracle cdc 客户端连接时出现以下错误，并且我的原始数据库是只读数据库，但错误是可写操作所需的数据库。请帮忙

我最近开始使用 Kafka，我尝试创建一个 Kafka 连接以连接到 oracle，但我做不到。我找到的信息是关于融合的，但这在 Windows 中不起作用......我如何配置一个或用 java 创建它？

我用于我的测试独立连接： cmd .\windows\connect-standalone.bat .\config\connect-standalone.properties .\config\connect-bbdd.properties ->

错误：

...以及来自“任何类加载器（org.reflections.Reflections）”的其他错误