问题标签 [debezium]

有几种方法可以将 Postgresql 数据库连接到 MongoDB（例如，使用外部数据包装器、ToroDB、Kafka-Debezium）。我想知道的是，这些选项有多成熟，它们可以在生产环境中相对安全地使用吗？是否有任何已知的限制或问题（例如数据丢失、数据库在某些情况下崩溃……）。您如何将遇到此类事情的风险降至最低？

任何建议都非常适用:-)

感谢和亲切的问候

使用以下属性

加载喜欢

创建的主题

但是当数据库发生任何变化时，没有创建主题。我尝试使用 mongo + debezium。工作正常。但不是 MySQL。

I have some database table with bg_ and cp_ prefix like "bg_table1", "bg_table2" and "cp_table1".There are also some other tables without any prefix such as my_table1, user_action and so forth.

I have two debezium postgreSQL connectors and trying to configure table.whitelist property by following Debezium - http://debezium.io/docs/connectors/postgresql/#connector-properties. My requirements are as follows:

• in the first connector I want to load the tables whose names start with bg_ or cp_
• in the second connector I want to load the rest of the tables - does not start with bg_ or cp_

I am using something like below in the connector configuration but does not work:

First Connector Config:

Second Connector Config:

It would be great if someone could help me figure it out. Thanks in advance!

我们有一个 kubernetes 集群，其中 Debezium 作为来自 Postgresql 的源任务运行并写入 kafka。Debezium、postgres 和 kafka 都在不同的 pod 中运行。当 postgres pod 被删除并且 kubernetes 重新创建 pod 时，debezium pod 无法重新连接。来自 debezium pod 的日志：

Debezium 会继续尝试定期刷新未完成的消息，但会出现以下异常：

有没有办法让 debezium 在可用时重新建立与 postgres 的连接？还是我缺少一些配置？

• Debezium 版本 0.8
• Kubernetes 版本 1.10.3
• postgres 9.6 版

属于该数据库系统的文件将归用户“postgres”所有。该用户还必须拥有服务器进程。数据库集群将使用语言环境“en_US.utf8”进行初始化。因此，默认数据库编码已设置为“UTF8”。默认文本搜索配置将设置为“英语”。数据页校验和被禁用。initdb：无法更改目录“/var/lib/postgresql/data”的权限：不允许操作修复现有目录/var/lib/postgresql/data 的权限...在此处输入图像描述

我有我在 mongo db 中加载的示例 Json 文件，以使用 debezium 连接器发送到 Kafka 连接。我的问题是，尽管原始 json 输入文件中有有效数据，但如何将 RowKey 和 id 键列值转换为 0（ Zeros ）？以下是产生此错误的步骤。

第 1 步：创建示例 json 文件

在customerprofile集合中将此数据加载到mongodb中

第2步：创建mongodb debezium连接器配置并在kafka connect中激活连接器

第三步：检查主题队列

正如您在下面的输出 debezium 中看到的那样，由带有 objectid 的 id 列转换

****我的问题是因为我们使用 JsonConvetor 作为密钥转换器，我的 id 列如何用序列号密钥更新？****

第 4 步：从主题队列创建一个流

第 5 步：这是流从 CUSTOMER_REPART 接收零（0）的地方

第 6 步：请检查此打印命令的输出，它在 ROWKEY 和 id 键列值中显示零。他们是从哪里来的？我需要做些什么来确保 ROWKEY 和 id 键列显示原始 json 文件值中的正确值，这些值最初加载到 mongodb 中？

"Male","COMMENTS":"反向客户端-服务器联盟","ID":0,"LAST_NAME":"Suche","EMAIL":"csuche5@cbsnews.c {"ROWTIME":1533154567104,"ROWKEY" :"0","CLUB_STATUS":"platinum","GENDER":"Male","COMMENTS":"分阶段统一软件","ID":0,"LAST_NAME":"Suttling","EMAIL":" msuttling7@百度。{"ROWTIME":1533154567104,"ROWKEY":"0","CLUB_STATUS":"gold","GENDER":"Female","COMMENTS":"注重质量的全球软件","ID":0," LAST_NAME":"Stepney","EMAIL":"estepney8@we 阶段统一软件","ID":0,"LAST_NAME":"Suttling","EMAIL":"msuttling7@baidu. {"ROWTIME":1533154567104,"ROWKEY":"0","CLUB_STATUS":"gold","GENDER":"Female","COMMENTS":"注重质量的全球软件","ID":0," LAST_NAME":"Stepney","EMAIL":"estepney8@we 阶段统一软件","ID":0,"LAST_NAME":"Suttling","EMAIL":"msuttling7@baidu. {"ROWTIME":1533154567104,"ROWKEY":"0","CLUB_STATUS":"gold","GENDER":"Female","COMMENTS":"注重质量的全球软件","ID":0," LAST_NAME":"Stepney","EMAIL":"estepney8@we

尝试将 Debezium 任务提交给 Confluent 会引发以下异常。尝试手动创建主题然后提交任务，仍然得到相同的异常

Debezium 版本 - 0.7.5 kafka - 0.10.0 confluent - 2.11

当我用这个堆栈设置我的 Swarm 时：Kafka(multi-broker)、zookeeper、debezium。Kafka 和 zookeeper 正在工作，可以创建主题、消费者和生产者，但 debezium 显示错误：org.apache.kafka.connect.errors.ConnectException：无法连接和描述 Kafka 集群。检查工作人员的代理连接和安全属性。我没有修改任何东西，只是默认配置为 docker-stack 下面：

当我检查 docker services log debezium 时，它显示错误

谁能告诉我如何解决这个错误，我是这个堆栈的新手，所以在几天的研究中，我无法弄清楚。太感谢了 ！

我的问题与变更数据捕获和实时更新有关。我有一个 mysql 数据库，它有近 250 个表，其更改数据是使用 debezium 捕获的，并根据各自的主题发送到 kafka。

这些表是高度规范化的，我对通过连接一些表创建的非规范化视图感兴趣。现在我需要知道表中是否有变化，我可以将其视为近乎实时的非规范化主题的变化。

我怎么能这样做。日志压缩是如何工作的？为了获得非规范化的主题视图，我是否需要记录所有主题？

我在这里还有什么其他可能性？

当有人通过 IDEA 修改表时，由于 NullPointerException，debezium 连接器任务失败。

这是kafka连接日志：

这是mysql的二进制日志：

似乎 debezium 无法解析ALTER TABLE fund_account ALTER COLUMN is_use_pay SET DEFAULT 0？