问题标签 [change-data-capture]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
233 浏览

python - 从 C++ exe 获取输出并在 Python 中实时处理

我有一个 C++ 可执行文件,用于眼动仪,printf 的凝视坐标到终端。我需要能够将这些输入 Python 以进行数据分析等。如果有一种方法可以让我实时执行此操作,那就太好了,这样我就可以在 python 中操作传入的数据。我发现最有用的是:http: //fluxtrap.blogspot.co.uk/2011/09/dead-simple-real-time-plotting-with-cc.html。但是,这似乎适用于 UNIX,而我在 Windows 上。所以我的问题是,是否有类似的技术可以让我运行我的 c++ 程序并在 Python 中使用它的数据?

0 投票
1 回答
599 浏览

postgresql - Talend 中的 PostgreSQL Chage 数据捕获

我需要捕获 PostgreSQL 更改,如果它是基于日志的,我会更喜欢。

tpostgresqlCDC 是如何工作的?它是基于日志/触发器的吗?

这个组件在 Talend open studio for data integration 套装上可用吗?我知道它在大数据版本上可用,但我似乎可以在 Talend open studio 中找到它进行数据集成?

0 投票
0 回答
285 浏览

java - 为 CDC 嵌入 SymmetricDs(变更数据捕获)

是否可以为 CDC 操作嵌入 Symmetric Ds?如果是,我该怎么做?如果没有,是否有其他可以嵌入 CDC 的开源工具?除了 kafka 和 Debezium 吗?

0 投票
1 回答
433 浏览

database - 用于 OSGI 的开源变更数据捕获工具

我正在为 Apache Karaf 上的数据库变更捕获寻找开源 osgi 工具。我一直在寻找,我找到了 Debezium,但 osgi 还没有准备好任何其他建议吗?

0 投票
1 回答
31 浏览

sql-server - SQL Server 2008 数据库辅助

我们有一个较旧的供应商提供的应用程序,专门用于 2019 年的平台升级,但目前正在运行 SQL Server 2008 (SP4)。大约有 1.2TB 的数据。我们的内部 IT 部门已经到了要为一些报告创建可读的辅助报告的地步,但主要是临时报告。使用量约为 1500 个活动会话,峰值约为 25,000 个 Be/S。

现在进入实际问题。我预见的选项是事务复制、镜像和带有只读备用服务器的日志传送。其中一位开发人员还将 Service Broker 与 CDC 放在了一起…… CDC 和 SB 是否存在地雷或曲线球?

0 投票
3 回答
5046 浏览

cassandra - 如何使用 cassandra cdc(变更数据捕获)

我想知道如何在 cassandra 中使用 CDC。我发现这已经从 3.8 版本开始实施( https://issues.apache.org/jira/browse/CASSANDRA-8844)。有没有使用示例?

0 投票
1 回答
57 浏览

java - 如何获取一个 OSGI 主题的消费者数量?

我正在使用 Osgi (Karaf) EventAdmin 使用 post 事件将数据从更改数据捕获线程广播到我的 OSGI 容器中的某些包,并且一旦没有主题或频道的消费者,我想停止线程。我从一个简单的例子开始,这就是我广播事件的方式:

这是事件处理程序

有没有办法检查频道或队列上是否有消费者?

0 投票
1 回答
276 浏览

sql-server - 从 Change Data Capture 数据中生成插入、更新和删除语句

我正在使用变更数据捕获来捕获来自软件应用程序的数据变化。我正在尝试从捕获的数据中生成 SQL 语句(插入、更新、删除)。

有没有合适的方法来完成这件事?

0 投票
1 回答
1461 浏览

apache-kafka - How to capture data in mysql with debezium change data capture and consume with jdbc sink in kafka connect?

I have problem of capturing data in mysql with debezium change data capture and consuming it to another mysql using kafka connect jdbc sink.

Because the schema and payload that debezium produces to kafka topic is not compatible with the schema that kafka connect jdbc sink expects.

I get exception when jdbc sink wants to consume data and create records in another mysql.

How should I solve this problem ?

0 投票
1 回答
534 浏览

java - 如何通过 JDBC 增量查询 SQL Server CDC

我正在尝试增量读取 SQL Server CDC 更改。在我的第一个间隔中,我查询

现在我知道 __$start_lsn 是二进制(10)中的 LSN(日志序列号)。虽然我不明白如何将它作为 Java 类型读取,以便我可以将它包含在我的下一个查询中,以及我应该如何创建我的下一个查询,我想将 min_lsn 指定为我处理的最后一个 LSN。