问题标签 [debezium]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

730 问题
Newest
Active
Bountied
318
Unanswered
0 投票
1 回答
1754 浏览

sql-server - 无法将 Debezium 0.9.2 连接到 SQL Server 2008 R2

当我在启用 CDC 功能后尝试将 Debezium 连接到我的 SQL Server 数据库时，我收到以下错误消息：

这是我的连接器配置：

我在这里找到了解决方法：

https://github.com/Microsoft/mssql-jdbc/issues/879#issuecomment-438825486

但是可以将它应用在 debezium 连接器上吗？Debezium 是否与 Sql Server 2008 R2 兼容，因为在文档中它是这样写的：

有关信息，我使用了 Debezium Docker Images 0.9.2： - debezium/zookeeper - debezium/kafka - debezium/connect

在此先感谢您的帮助。

塞巴斯蒂安

0 投票
1 回答
446 浏览

apache-kafka - 从 Avro Debezium 数据创建基于 Avro 的 KSQL 流会生成奇怪的模式

我正在使用生成如下模式的 Avro 值转换（这只是一个子集，因为它很大）

当我运行以下命令以创建一个流时

然后我描述了那个流，模式是一种非常奇怪的格式。我想使用 KSQL 来过滤掉特定信息并适当地分散这些事件。但是我无法从 Kafka Topic => KSQL Stream => Kafka Topic => Sink 出发。如果然后我从该流中创建一个新主题，并尝试将其消化到我得到的接收器中

然后是关于 PK 丢失的错误。我试图删除展开转换只是为了看看它会如何出现并收到错误。

0 投票
1 回答
167 浏览

mysql - Debezium 上的参数 database.history 的确切含义是什么？

我们正在开发一个项目，使用 Debezium 将数据从读取 binlog 的数据库流式传输到消息代理。更深入地研究它，并试图更好地理解该工具，出现了两个与配置参数相关的问题：

  • 参数的确切含义是什么database.history？
  • MemoryDatabaseHistory可能的值和之间有什么区别FileDatabaseHistory？

谢谢！

0 投票
2 回答
1085 浏览

apache-kafka - Debezium MySQL错误：连接密码为空

我的 Debezium 连接器具有以下 docker-compose.yml 配置：

当我想创建连接器时，我收到以下错误：

Debezium 连接器显示此错误：

如您所见，我已经设置了该字段的值database.password，但是我收到了数据库密码错误。

0 投票
1 回答
765 浏览

mysql - 如何配置 Debezium Mysql 连接器以生成原始键而不是 struct 或 json 对象？

我正在使用 Debezium 来检测 MySql 源表中的更改。如何生成 Kafka 消息，使得键是数字 ( Long) 值而不是 Json 对象？

我得到了什么：

我想要的是：

我的 FOO 表如下所示：

请注意，我没有使用 avro，并且我尝试了以下几种组合（带和不带密钥转换器），但未能获得Long密钥。

我不确定 ValueToKey 或 ExtractField 是否适用于（MySQL）源，但我低于 NPE。

0 投票
1 回答
2336 浏览

java - 执行目标 wildfly swarm 插件时出现问题，API 不兼容，java.lang.AbstractMethodError

我正在尝试在github 存储库debezium-swarm-demo中构建应用程序debezium-examples

构建没有完成并给了我Execution default of goal org.wildfly.swarm:wildfly-swarm-plugin:2018.5.0:package failed: An API incompatibility was encountered while executing org.wildfly.swarm:wildfly-swarm-plugin:2018.5.0:package: java.lang.AbstractMethodError: null

maven 使用 -e 参数生成的输出如下：

0 投票
1 回答
468 浏览

apache-kafka-connect - 是否可以重命名消息触发运行 debezium mysql 连接器的字段？

我已经配置了一个 debezium mysql 连接器，我需要在有效负载中包含附加字段作为表名。我需要做哪些配置更改才能实现这一目标？

0 投票
1 回答
1967 浏览

docker - NodeJS：KafkaJSProtocolError：组成员支持的协议与现有成员的协议不兼容

我正在尝试使用 MongoDB debezium 连接器从 Kafka 捕获数据，但是当我尝试使用 KafkaJS 读取数据时出现错误：

我正在使用 docker 图像来捕获数据。

以下是步骤，我正在关注：

  1. 启动 Zookeeper

    /li>

  2. 启动卡夫卡

    /li>

  3. 我已经在复制模式下运行了 MongoDB

  4. 启动 debezium Kafka 连接

    /li>

  5. 然后发布 MongoDB 连接器配置

    /li>

  6. 有了这个，如果我运行一个观察者 docker 容器，我可以在控制台中以 Json 格式数据

    /li>

但我想在应用程序中捕获这些数据，以便我可以对其进行操作、处理并推送到 ElasticSearch。为此我正在使用

但是当我运行消费者代码时，我得到了错误。这是代码示例

0 投票
1 回答
532 浏览

apache-kafka - How to let debezium start reading binlog from the last row

I'm trying to let Debezium start reading the binlog from the bottom of the file directly. Could someone help in this matter please ?

0 投票
1 回答
912 浏览

mysql - 使用 Debezium 通过 SSL 连接到 Cloud SQL 时出错

目标：使用 debezium 捕获来自 Cloud SQL 的更改。Cloud SQL 的实例根据此处的说明启用了 SSL

场景：我有 debezium connect、kafka 和 zookpeer 在我的本地机器上作为 docker 容器运行。我已经针对没有 SSL 的 Cloud SQL 实例测试了设置。事情正在奏效。启用 SSL 后，将 pem 文件 ( server-ca.pem, client-cert.pem, client-key.pem) 转换为密钥库和信任库，将它们作为文件安装在 debezium connect docker 容器中，我在 Debezium 容器日志中出现错误（在将 POST 请求发送到端点之后）：

我的初步分析：我一直在浏览TRACE日志和源代码。根据日志，它能够成功测试连接

此日志是在第 101 行之后生成的

这里我们对数据库执行一个查询，只有成功执行才会让控制流到日志。根据我的说法，这意味着 debezium connect 能够连接到数据库，但在其他地方失败。根据堆栈跟踪，debezium第二次连接失败，这里

我发送的有效载荷如下：

需要哪些步骤才能使上述设置正常工作


12345678910