我们有一个 SQL 工作区,其中运行着一个集群,它针对一系列数据集提供大量自助服务报告。我们希望能够分析和报告我们的自助服务用户正在执行的查询,以便我们可以更好地了解谁在使用数据平台,以及使用什么/如何使用表。理想情况下,这将使用 databricks SQL 工作区来执行此报告,而不是使用其他工具。
所有这些信息都可以在查询历史的 UI 中找到,但这不是我们可以轻松分析或创建图表的形式
我们知道有一个 API 可以从 UI 中提取查询历史记录,但是查询 API 以获取有关我们集群的数据似乎很复杂,以便我们可以摄取到我们的集群中以便我们可以查询它
将查询历史信息信息放入配置单元表以便我们查询、分析和绘制图表的最佳方法是什么?
目前我看到了 Query History API 的文档,但是关于如何使用它的例子并不多