问题标签 [oracle-golden-gate]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
804 浏览

apache-kafka - Goldengate:表的定义文件的元数据格式与跟踪格式不匹配

开始复制时出现以下错误...

0 投票
0 回答
261 浏览

hadoop - 如何验证来自 HDFS 和 Hive 表的文件数据?

我当前的项目中有需求,我正在从 Oracle 源数据库中检索数据,并通过 Oracle Goldengate 数据复制以 CSV 文件的形式加载到 HDFS 目标目录。每次作业执行,我都需要验证来自 HDFS 和 Hive 表的数据是否准确且一致。最好的方法是什么?请告诉我。

0 投票
1 回答
713 浏览

database-replication - 针对 HANA 目标的 Oracle Golden Gate

我们有 Oracle 作为源,HANA 和 Hadoop 作为数据仓库。我们希望将 Oracle 数据实时复制到 HANA 和 Hadoop。

Golden Gate 与 Hadoop 组件和 Oracle 具有出色的集成。

是否可以使用 Golden Gate 将 Oracle 复制到 HANA。是否有更好的工具可用于这种情况。

0 投票
2 回答
1278 浏览

oracle12c - GoldenGate Replicat 未将所有列放入 After

我设置了 GoldenGate for Oracle(123015) 的 Replicat 进程以从 Oracle 12c 数据库中获取更改。

我能够获得对跟踪文件的所有 INSERT/UPDATE/DELETE 更改。但是,在 UPDATE 操作期间,跟踪文件中记录的 After 部分仅包含已修改的列。

根据文档,如果

  1. FORCE LOGGING 和 SUPPLEMENTAL LOG DATA ALL COLUMNS 在数据库上启用,
  2. GoldenGate 中的 EXTRACT 参数文件包括参数 LOGALLSUPCOLS 和 UPDATERECORDFORMAT FULL,

记录的 AFTER 部分应包含所有列,但它不包含 :(

0 投票
1 回答
135 浏览

apache-kafka - Goldengate 将 oracle 10g 实时复制到 kafka

我们有一个旧系统运行在oracle 10g上,现在我们需要分析它的数据,我们准备将数据实时复制到kafka,我通过goldengate学习了,但我不知道如何实现它。

ps: oracle 10g无法升级,不知道goldengate的版本限制

0 投票
1 回答
113 浏览

shell - 如何避免在ggsci中删除重复时出现提示

我正在寻找自动化停止、删除和添加新复制文件的 Goldengate 过程。这将在一个触发 linux 中的 shell 脚本的 gui 中完成。在删除复制品时,它提示我以下问题。

GGSCI (cbl06436dat01) 1> 您确定要删除所有组吗?无效响应。必须是 Y 或 N。

我想避免提示并直接删除复制,所以我不手动输入 y 或 n

/bin/bash

...

./ggsci < ${GG_PATH}/delete_replicat.txt 删除副本 * 退出 EOF

...

我希望强制避免提示(如 unix 中的 -f)并删除复制并继续使用脚本

0 投票
1 回答
633 浏览

apache-kafka - OracleGoldengate BigData for Kafka 不生成 UPDATE 消息

我正在尝试使用 OGG BD (v12.3.2.1.1) 将所有更改从 Oracle DB (11.2.0.4) 传播到 Kafka 主题。

我得到了所有的基本设置,并且我正在监视的模式/表的 INSERT 和 DELETE 被捕获并在配置的主题上生成 Kafka 消息(每个表 1 个主题)。到目前为止一切都符合预期。

但是数据库上的 UPDATE 操作不起作用。他们没有产生任何错误,只是主题上没有出现相应的消息。我已经使用 logdump 实用程序验证了 UPDATE 实际上已传播到跟踪文件中,但 kafkahandler 没有接收到它。

有什么想法可能是错的吗?配置如下

OGG PRM 文件

Kafkahandler 参数文件

REPLICAT 的跟踪文件的日志转储(这是一个 UPDATE ... SET comment = 'foo122' WHERE id=...)

编辑:错误信息

当我说它没有产生错误消息时我错了,我只是没有看到它。在丢弃文件(.dsc)中,我得到

0 投票
1 回答
522 浏览

apache-kafka - 如何在 OGG 中为 Hdfs 配置 kafka 连接处理程序

我正在做一个关于使用 Kafka 将数据从 Oracle db 移动到 Hadoop 文件系统的 POC(这是新的)。我已经在 oracle db 上配置了我的提取,它将在我的源表中完成的更改发布到我的 kafka 处理程序使用者,我可以看到关于我的主题的数据。现在我想在 kafka 连接处理程序上做同样的事情,我想要我 hdfs 中文件的架构和数据。我知道我可以配置 kafka 处理程序来读取我的提取跟踪文件。但是我应该把我的目标 hdfs 的细节放在哪里,以便 kafka 可以将数据转储到 hdfs 中?

0 投票
1 回答
223 浏览

oracle-golden-gate - 如何使用 kafka 处理程序构建 Oracle GoldenGate 微服务架构

我想使用 OGG 微服务架构并将数据提取到 Kafka 中。我在谷歌上找到的都是关于 ogg 经典的,而不是微服务。

我是ogg的新手,所以如果有一些详细的文章会非常棒。

谢谢。

0 投票
1 回答
238 浏览

oracle-golden-gate - 使用 Oracle GoldenGate 微服务架构获取实时更新的数据并发送到 rest api

我想使用 OGG 微服务架构,获取实时更新的数据,并将更新发送到 rest api。其余API由我们自己开发。REST api 将接受带有 POST 和身份验证令牌的 json 数据。我可以检查那个 api 中的数据来做一些进一步的工作。

我发现 OGG 微服务架构 dist 服务器可以使用 wss、ws、ogg 等将数据发送到接收器。我想知道有没有办法将更新数据发送到我的 rest api。

谢谢。