问题标签 [confluent-platform]

Kafka 本身是完全免费和开源的。

Confluent 是 Kafka 的创造者的营利性公司。Confluent 平台是 Kafka 加上各种附加功能，例如模式注册表和数据库连接器。我认为 Confluent 通过销售支持合同和服务来赚钱。

Confluent 平台是免费和/或开源的吗？我是否有义务购买许可或付费支持？

我在使用官方 Confluent Kafka Python API 的基本用法时遇到错误：

我订阅：

使用回调：

产生控制台输出：

有人可以解释一下吗？为什么我会在未知分区上收到回调通知？类似的代码使用 Java API 可以完美运行。

我正在尝试通过 HDP 为 Kafka Streams 安装 Confluent，这可能是不可能的，你们能否建议我该怎么做

需要明确的是，我并不是想将 Kafka 用作事件溯源的数据存储，而只是为了复制事件。

Kafka的Confluent Schema Registry似乎非常有趣，因为它可以验证生产者发送到主题的消息的模式。但是，据我了解，它将每个主题都视为一个容器文件——每个主题一个模式。

此限制不适用于事件源流，其中对于像File您这样的单个聚合将具有多个消息模式：FileCreated、FileMoved、FileCopied、FileDeleted。将这些中的每一个放在一个单独的主题上会很复杂并且容易出错。

是否存在像 Schema Registry 这样支持同一主题的多个模式的工具？

更新

为了澄清，上面的每条消息都有不同的模式。例如：

FileCreated：

FileMoved：

FileDeleted：

我们正在寻找使用 kafka-connect-jdbc 将数据从我们的旧数据库（在 mysql 上）导入到 kafka。我已经能够设置基本示例并使其正常工作。

问题之一是应该是时间戳的列之一对于我们得到异常的所有行都具有无效值：

java.sql.SQLException：值 '0000-00-00' 不能表示为 java.sql.Timestamp

我可以轻松地排除该列，并通过编写排除该列的选择查询，使用 kafka-connect-jdbc 中的自定义查询选项导入数据。只是想了解偏移管理等方面的含义。根据文档，问题之一是这会将我限制为每个连接器的单个主题。还有什么需要注意的吗？

我有一台装有 Java 1.6 的服务器。在那里我需要使用 ConfluentKafkaAvroDeserializer来反序列化 avro 消息。

问题是：

如果我使用 Confluent-1.0（与 Java >=1.6 兼容），那么我无法反序列化，因为 kafka-avro-serializer-1.0.jar 没有KafkaAvroDeserializer方法。它只是有AbstractKafkaAvroDeserializer我无法根据模式注册表 URL 和 byte[] 消息反序列化的地方。

如果我使用 Confluent-2.0 或更高版本，它拥有一切，但它只与 java>=1.7 兼容。

在这种情况下我该怎么办？

为了比较：

http://docs.confluent.io/1.0.1/installation.html

http://docs.confluent.io/2.0.0/installation.html

我正在使用 Confluent 的 Hadoop 分发版，并尝试将消息从 Kafka（在另一台机器上）汇集到 HDFS。HDFS 端的“所有者”是“hadoop”。

该错误很常见，我尝试设置 HADOOP_USER_NAME=hadoop 但我仍然得到与用户引用“root”相同的错误。kafka-connect-hdfs 有额外的 auth 参数，但它们似乎都是针对 Kerberos 的，这里不涉及。

引起：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException)：权限被拒绝：user=root，access=WRITE，inode="/topics":hadoop:supergroup:drwxr-xr- X

嘿，我想将 Confluent 模式注册表与 Avro 序列化程序一起使用：文档现在基本上说：不要对多个不同的主题使用相同的模式

谁能向我解释为什么？我重新搜索了源代码，它基本上将模式存储在 kafka 主题中，如下所示（主题名、魔术字节、版本->键）（模式->值）

因此，我没有看到多次使用模式的问题期望冗余？

我们目前正在尝试从 schema-registry 1.0.1 升级到 2.0.1。我们看到这在升级之前使用以下版本工作：kafka_2.10 版本 0.9.0.2.4.0.0、kafka-avro-serializer 版本 2.0.1、avro 版本 1.7.7

升级后，之前成功的相同请求现在失败并出现 HTTP 404 错误：

我们使用 CURL 检查并能够使用示例发布架构：

然后我们认为 Avro schema: "string" 可能是问题所在，因此创建了一个 ThingKey schema 但仍然出现类似错误：

我们使用以下代码发布消息：

非常感谢任何想法或建议。

谢谢，罗斯

更新：已修复 - 问题是由于请求路径中的附加斜线导致失败，因为版本 2.0.1 中的验证更严格。详情请见：https ://github.com/confluentinc/schema-registry/issues/388

我正在从控制台生产者向 Ec2 实例上的 kafka 0.9 代理发送一条简单的问候消息，并发送到它在 VPC 中的内部 IP 地址。

我得到的错误是 Batch Expired (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)

两台机器都在专用网络上。服务器可以通过 ping、ssh 等方式访问。

我在生产者机器上安装了相同版本的 Confluent （confluent-2.0.1）

代理服务器 kafka1.acme.local 上的控制台生产者工作，按预期接收消息。只有来自其他机器的生产者因 Batch Expired 错误而失败。

消息从未收到到代理服务器 kafka1.acme.local 上的主题日志

我安装了 kafkacat，它看起来像这样（代理主机为 0.0.0.0）

kafka1.acme.local（非生产服务器）上的 kafka server.properties 文件中的设置

谢谢！