0

我有两个正在运行的电报守护程序。

守护进程 1：输入 = kafka 主题：sample_topic，输出 = InfluxDb：DB = telegraf，MEASUREMENT = KI1
守护进程 2：输入 = kafka 主题：sample_topic2，输出 = InfluxDb：DB = telegraf，MEASUREMENT = KI2

这两个守护进程读取不同的 kafka 主题并写入 InfluxDB 数据库“telegraf”中的两个不同测量值

我观察到的是测量 KI1 和 KI2 不是同时创建的。仅创建一个测量值。当我杀死已经创建了度量的守护进程时，另一个度量会由另一个守护进程在数据库中创建。

InfluxDb 是否允许同时写入不同的测量值？

我什至通过写入两个不同的 InfluxDb 数据库 telegraf 和 telegraf2 来尝试相同的操作。我观察到了同样的行为。

另外，是否有可能只使用一个守护程序来完成所有这些工作？在哪里我有多个输入插件来读取不同的 kafka 主题和不同的输出插件来编写需要的地方。

守护进程 1：

[tags]
    topic = "sample_topic"


# OUTPUTS
[outputs]
[outputs.influxdb]
    # The full HTTP endpoint URL for your InfluxDB instance
    url = "http://localhost:8086" # EDIT THIS LINE
    # The target database for metrics. This database must already exist
    database = "telegraf" # required.
    skip_database_creation = true
    database_tag = "KI1"

#INPUTS
# Read metrics from Kafka topic(s)
[[inputs.kafka_consumer_legacy]]

    name_override = "KI1"
    ## topic(s) to consume
    topics = ["sample_topic"]
    ## an array of Zookeeper connection strings
    zookeeper_peers = ["localhost:2181"]
    ## Zookeeper Chroot
    zookeeper_chroot = ""
    ## the name of the consumer group
    consumer_group = "sample"
    ## Offset (must be either "oldest" or "newest")
    offset = "oldest"
    ## Data format to consume.
    ## Each data format has its own unique set of configuration options, read
    ## more about them here:
    ## https://github.com/influxdata/telegraf/blob/master/docs/DATA_FORMATS_INPUT.md
    data_format = "value"
    data_type = "string"
    ## Maximum length of a message to consume, in bytes (default 0/unlimited);
    ## larger messages are dropped
    max_message_len = 65536

守护进程 2：

[tags]
    topic = "sample_topic2"

# OUTPUTS
[outputs]
[outputs.influxdb]
    # The full HTTP endpoint URL for your InfluxDB instance
    url = "http://localhost:8086" # EDIT THIS LINE
    # The target database for metrics. This database must already exist
    database = "telegraf" # required.
    skip_database_creation = true
    database_tag = "KI2"


#INPUTS
# Read metrics from Kafka topic(s)
[[inputs.kafka_consumer_legacy]]

    name_override = "KI2"
    ## topic(s) to consume
    topics = ["sample_topic2"]
    ## an array of Zookeeper connection strings
    zookeeper_peers = ["localhost:2181"]
    ## Zookeeper Chroot
    zookeeper_chroot = ""
    ## the name of the consumer group
    consumer_group = "sample"
    ## Offset (must be either "oldest" or "newest")
    offset = "oldest"
    ## Data format to consume.
    ## Each data format has its own unique set of configuration options, read
    ## more about them here:
    ## https://github.com/influxdata/telegraf/blob/master/docs/DATA_FORMATS_INPUT.md
    data_format = "value"
    data_type = "string"
    ## Maximum length of a message to consume, in bytes (default 0/unlimited);
    ## larger messages are dropped
    max_message_len = 65536
4

2 回答 2

0

您应该尝试在每个 Telegraf 实例中使用不同的消费者组

实例 1

[[inputs.kafka_consumer]]
...
consumer_group = "sample-1"
...

实例 2

[[inputs.kafka_consumer]]
...
consumer_group = "sample-2"
...

因此，在对两个实例使用相同的 consumer_group 的情况下，这意味着两个实例都在同一个组中。每组只允许一个实例消费数据。如果一个实例关闭，同一组中的另一个实例将负责使用来自 Kafka 主题的数据。

回答会很晚，但它应该是相同问题的解决方案。

于 2022-02-08T08:06:54.053 回答
0

我观察到的是测量 KI1 和 KI2 不是同时创建的。仅创建一个测量值。当我杀死已经创建了度量的守护进程时，另一个度量会由另一个守护进程在数据库中创建。

不知道你是怎么验证的。但这种异常的机会很少。

InfluxDb 是否允许同时写入不同的测量值？

是的。

于 2019-06-18T03:30:23.133 回答