我正在尝试将遥测信息从 .NET Core 应用程序捕获到 Kafka,然后最终捕获到 Splunk(通过 Kafka Connect 或通过 Logstash 或 Fluentd 等开源转发器)。最初,我只是查看跟踪数据,但也会在某个阶段查看日志和指标。
我热衷于测试 Open Telemetry Collector 方法,因为这是我感兴趣的东西。
我正在使用 docker 和 docker-compose,因此我可以在本地测试所有内容 - 请参阅此处了解 docker-compose 文件。
我目前面临的主要问题是让 Open Telemetry Collector 代理在 docker 中运行。我尝试导出到 Splunk 和 Kafka,但我都收到了错误:
尝试使用splunk_hec 导出器将跟踪信息直接导出到 Splunk 时,如下所示:
exporters:
splunk_hec:
token: "${SPLUNK_HEC_TOKEN}"
endpoint: "${SPLUNK_HEC_URL}"
source: "otel"
sourcetype: "otel"
insecure_skip_verify: true
service:
pipelines:
traces:
receivers: [otlp]
exporters: [splunk_hec]
我收到以下错误:
酒店 | 错误:无法加载配置:未知出口商为 splunk_hec 键入“splunk_hec”
酒店 | 2021/03/04 05:47:13 应用程序运行完成但出现错误:无法加载配置:未知出口商为 splunk_hec 键入“splunk_hec”
尝试使用kafka 导出器将跟踪信息导出到 Kafka 时,如下所示:
exporters:
kafka:
brokers:
- "${KAFKA_URL}"
protocol_version: 2.0.0
service:
pipelines:
traces:
receivers: [otlp]
exporters: [kafka]
我收到以下错误 - 请注意,我正在为 Kafka 使用landoop/fast-data-dev映像(因为我发现的前几个教程中使用了该映像)而且我对 Kafka 还是很陌生:
酒店 | 错误:无法设置管道:无法构建 builtExporters:创建 kafka 导出器时出错:kafka:客户端已用完可与之交谈的代理(您的集群是否可达?)
酒店 | 2021/03/04 05:32:08 应用程序运行完成但出现错误:无法设置管道:无法构建 builtExporters:创建 kafka 导出器时出错:kafka:客户端已用完可与之交谈的代理(您的集群是否可达?)
我的otel-agent-config.yaml
(这是一个 WIP)在这里。
有谁知道这些问题是什么以及如何解决它们...