azure-data-explorer - 如何使用 kafka-kusto-sink 和调试

Question

将数据摄取到 kakfka 集群，该集群可以使用 kafka-sink-azure-kusto 将数据发送到 adx kusto db。

iam 成功地将数据摄取到 kafka 集群，并且它没有将数据传输到 kusto db。如何调试这个？我可以验证的任何日志。

我试图检查经纪人日志那里没有错误

参考：https ://github.com/Azure/kafka-sink-azure-kusto/blob/master/README.md

Answer 1

您能否提供有关您如何运行 Kafka 以及如何设置连接器的更多信息？

调试步骤是：

1. 代理日志应该提到连接器已正确拾取，您在日志中看到该行吗？

2. 查看连接器日志应该会显示更多关于幕后实际发生的事情的信息。也许你会在那里看到一些错误。/var/log/connect-distributed.log

3. 尝试通过任何其他方法摄取数据？像其中一个SDK

4. 尝试按照delpoy中详述的步骤运行设置

更新：有关连接器设置的更多信息可以在这个 SO 问题中找到：Kafka 连接集群设置或启动连接工作人员

此外，confluent 有一些有用的文档：https ://docs.confluent.io/current/connect/userguide.html