问题标签 [oracle-cdc]

我按照以下步骤操作：

但在这些步骤结束时，我只在 debezium 终端中看到错误日志消息。如何查看所有日志消息？

我正在尝试部署 debezium CDC 连接器以从 Oracle DB 捕获数据。我们已经准备好 Oracle DB 和 Xstream 连接器。

我收到以下异常：

我已验证该/usr/lib文件夹有该ocijdbc11.dll文件。我也尝试将文件复制到/lib，但我遇到了同样的错误。

如果我们使用Oracle在线重定义，并且由于临时表（非分区）变为原始表而导致源表的对象id因操作而改变，那么将分区表转换为非分区表并不难桌子。

我在 Oracle 重新定义中意识到了以下事实：

• 为了保留源表的对象id，我们应该使用重定义的交换分区，其目的表与源表相同。

不知道有没有什么办法可以在使用Oracle在线重定义将分区表转换为非分区表时保留对象id。原因是有时不允许在 CDC(GoldenGate/SharePlex) 环境中更改对象 ID。

我正在创建一个从 Oracle 通过 Kafka 到 Azure 的流，我想知道 Debezium 是否对此有任何好处。它似乎符合要求，但是当我查看通过 Kafka 发送的数据时，我担心效率。这些数据包似乎并不精简，但相当大。

有没有人有过从本地到 Azure 的线路上大约 4000 个突变/秒的设置经验？线路大约500Mbit，但与他人共享...

我倾向于使用我自己的简单格式将数据包传输到 Azure，然后在那里将它们转换为 Debezium，以便在管道的其余部分中摄取。

谢谢，米洛

我正在使用 oracle 11g express edition，在尝试创建更改集时出现以下错误。

我知道 CDC 在更高版本的 oracle 中被取消支持，但我认为它在这里受到支持。

谁能帮忙/

提前致谢！

我想使用来自多个数据源的 CDC 数据，例如 cassandra、mysql、Oracle ...等。我浏览了一些文档以将 cdc 数据流式传输到 kafka 并将数据存储到主题中。我在想我不能编写 spark 程序来直接从源中使用数据，而是首先将数据推送到 kafka 主题中，然后 spark 程序连接到 kafka 主题以进一步使用消息。这是我的几个问题，我试图找出答案：

1. 在两者之间使用kafka而不是直接使用spark更改的记录有什么重要性？
2. 在中间使用kafka不会给系统增加一些延迟？

我在 oracle 中有一个帐户表，在此表中有余额列，我如何捕获此列的更改并在中间将新值发布到一个端点 ws 非常感谢

我正在使用 confluent 和 kafka-connect-oracle ( https://github.com/erdemcer/kafka-connect-oracle ) 来跟踪 Oracle 数据库 11g XE 中的更改，我可以通过使用模式注册表 api 来查看模式内容，例如“curl -X GET http://localhost:8081/schemas/ids/44" ：

{"subject":"TEST.KAFKAUSER.TEST-value","version":1,"id":44,"schema":"{"type":"record","name":"row","命名空间":"test.kafkauser.test","fields":[{"name":"SCN","type":"long"},{"name":"SEG_OWNER","type":"string" },{"name":"TABLE_NAME","type":"string"},{"name":"TIMESTAMP","type":{"type":"long","connect.version":1, "connect.name":"org.apache.kafka.connect.data.Timestamp","logicalType":"timestamp-millis"}},{"name":"SQL_REDO","type":"string"}, {“姓名”：”操作","type":"string"},{"name":"data","type":["null",{"type":"record","name":"value","namespace" :"","fields":[{"name":"ID","type":["null","double"],"default":null},{"name":"NAME","type ":["null","string"],"default":null}],"connect.name":"value"}],"default":null},{"name":"before","type ":["null","value"],"default":null}],"connect.name":"test.kafkauser.test.row"}","deleted":false}["null",{"type":"record","name":"value","namespace":"","fields":[{"name":"ID","type":["null ","double"],"default":null},{"name":"NAME","type":["null","string"],"default":null}],"connect.name" :"value"}],"default":null},{"name":"before","type":["null","value"],"default":null}],"connect.name" :"test.kafkauser.test.row"}","已删除":false}["null",{"type":"record","name":"value","namespace":"","fields":[{"name":"ID","type":["null ","double"],"default":null},{"name":"NAME","type":["null","string"],"default":null}],"connect.name" :"value"}],"default":null},{"name":"before","type":["null","value"],"default":null}],"connect.name" :"test.kafkauser.test.row"}","已删除":false}null","double"],"default":null},{"name":"NAME","type":["null","string"],"default":null}],"connect.name ":"value"}],"default":null},{"name":"before","type":["null","value"],"default":null}],"connect.name ":"test.kafkauser.test.row"}","deleted":false}null","double"],"default":null},{"name":"NAME","type":["null","string"],"default":null}],"connect.name ":"value"}],"default":null},{"name":"before","type":["null","value"],"default":null}],"connect.name ":"test.kafkauser.test.row"}","deleted":false}kafkauser.test.row"}","已删除":false}kafkauser.test.row"}","已删除":false}

然而，这个模式不能被 python 中的 confluent 模式注册表解析：

我收到以下错误：

回溯（最后一次调用）：文件“”，第 1 行，在文件“build/bdist.linux-x86_64/egg/confluent/schemaregistry/client/CachedSchemaRegistryClient.py”中，第 140 行，在 get_by_id confluent.schemaregistry.client 中。 ClientError：从注册表收到错误的架构。

kafka-connect-oracle 是否将无效模式发送到模式注册表？如何将此模式转换为正确的格式？

谢谢。

由于 MySQL 和 Debezium 具有这种特殊的 CDC JSON 数据格式。

每个数据库都有不同的 CDC JSON 数据格式吗？如果我们更改连接器，例如，而不是 debezium 任何其他连接器。这种 JSON 数据格式会改变吗？或者只是列和表值会改变？

提前致谢

我有一个用例，我需要捕获 Postgres DB 中的数据更改并将消息推送到 SQS。使用 debezium 和 Kafka 可以轻松实现这种使用，但是有没有其他方法可以使用 AWS 服务（最好是 SQS）做同样的事情？就像将 Postgres 中的数据更改推送到 SQS？