2

我们正在尝试做一个 POC，我们尝试将数据从 volt db 表导出到 kafka 下面是我遵循的步骤：-

Step1:- 准备deployment.xml以启用导出到kafka

<?xml version="1.0"?>
<deployment>
<cluster hostcount="1" kfactor="0" schema="ddl" />
<httpd enabled="true">
    <jsonapi enabled="true" />
</httpd>
<export enabled="true" target="kafka">
<configuration>
<property name="metadata.broker.list">localhost:9092</property>
 <property name="batch.mode">false</property>
 </configuration>
 </export>
 </deployment>

Step2:- 然后Strted voltdb服务器

 ./voltdb create -d deployment-noschema.xml --zookeeper=2289

Step3:- 创建一个仅导出表并在其中插入一些数据

create table test(x int);
export table test;

insert into test values(1);
insert into test values(2);

在此之后，我尝试验证是否在 kafka 中创建了任何主题，但没有。

./kafka-topics.sh --list  --zookeeper=localhost:2289

我还可以看到 exportoverflow 目录中所有数据的记录。谁能告诉我这里缺少什么。

4

2 回答 2

1

一些问题和可能的答案。

  1. 你用的是企业版吗？
  2. 您可以从 sqlcmd 调用 @Quiesce 并查看您的数据是否推送到 kafka。
  3. 您使用的是哪个版本？
  4. VoltDB 嵌入了一个 zookeeper 你是使用独立的 zookeeper 还是 VoltDB 的？我们不使用嵌入式测试，因为它与支持的 kafka 不完全相同。

让我们知道或通过电子邮件支持 voltdb.com 期待。

于 2015-02-03T14:41:21.157 回答
1

普拉巴特，

在您的特定情况下，您观察到的行为的一个可能解释是您在没有将自动创建主题选项设置为 true 的情况下启动了 Kafka。导出过程需要 Kafka 启用此功能才能动态创建主题。如果不是，您将不得不手动创建主题，然后从 VoltDB 导出。

附带说明一下，虽然您可以使用以 VoltDB 开头的 zookeeper 来启动 Kafka，但这不是推荐的方法，因为当您关闭 VoltDB 服务器时，您的 Kafka 就没有 zookeeper。最好的方法是使用 Kafka 自己的 zookeeper 来管理您的 Kafka 实例。

让我知道这是否有帮助 - 谢谢。

于 2015-02-18T21:51:20.823 回答