0

问题陈述：我试图找出复制器从本地到 AWS数据复制的端到端延迟。我们在复制器的消费者组中发现，我们可以选择显示端到端延迟，但它没有在控制中心显示任何数据，如下面的屏幕截图所示。我尝试了一些如下所述的事情，但它不起作用。

我们需要知道的是：

  • 为此要配置哪些指标？
  • 我们如何配置这些指标？
  • 我是否正在探索如下所述的正确事情？
  • 有没有人有任何经验或面临类似的问题

我们测试的消费者组显示了在目标集群中运行的整体消息。 在此处输入图像描述

它没有在以下屏幕中显示任何数据。我试着弄清楚为什么？ 在此处输入图像描述

在 Replicator 连接器中，我添加了以下属性以启用拦截器： 在此处输入图像描述 什么 confluent 说：“要在控制中心监控生产和消费，请在您的 Apache Kafka® 应用程序中安装 Confluent 监控拦截器，并配置您的应用程序以在产生的 Kafka 消息上使用拦截器和消耗，然后发送到控制中心。”</p>

我们在 Replicator 中安装了它，如下所述：

{ 
 "name":"replicator",
    "config":{
      ....
     "src.consumer.interceptor.classes": "io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor",
      ....
    }
  }
}

然后我检查了已经配置的 Confluent Metrics Reporter 代理。 在此处输入图像描述

谢谢 ：）

4

1 回答 1

0

以下是对我有用的配置。

仅供参考.....控制中心/复制器（连接工作人员）正在我的源集群上运行。

消费者属性

zookeeper.connect=src-node1:2181,src-node2:2181,src-node3:2181
bootstrap.servers=src-node1:9092,src-node2,src-node3:9092
interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor

生产者属性

zookeeper.connect=dst-node1:2181,dst-node2:2181,dst-node3:2181
bootstrap.servers=dst-node1:9092,dst-node2:9092,dst-node3:9092
interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringProducerInterceptor

复制器.properties

#Replication configuration
name=replicator-onprem-to-aws
topic.rename.format=${topic}.replica
replication.factor=1
config.storage.replication.factor=1
offset.storage.replication.factor=1
status.storage.replication.factor=1
confluent.topic.replication.factor=1

如果您查看上面的配置，它是运行复制器的基本配置。我在这里没有使用任何花哨的东西。

然后您可以运行以下命令：

[root@src-node1 ~]$ /app/confluent-5.3.1/bin/replicator  --cluster.id 1 --consumer.config config/consumer.properties --producer.config config/producer.properties --replication.config config/replicator.properties --whitelist 'test-topic' > replicator.log 2>&1 &
于 2019-11-21T10:17:35.570 回答