我正在使用Spark-Atlas-Connector记录 spark-thrift 产生的数据沿袭。
但是spark-process只有逻辑计划,火花计划,没有SQL语句。逻辑计划很难理解数据沿袭,所以我想在 spark-process 中添加 SQL 语句。
请帮我从 SparkListenerEvent 或 QueryExecution 或其他解决方案中获取 SQL 语句。
我正在使用Spark-Atlas-Connector记录 spark-thrift 产生的数据沿袭。
但是spark-process只有逻辑计划,火花计划,没有SQL语句。逻辑计划很难理解数据沿袭,所以我想在 spark-process 中添加 SQL 语句。
请帮我从 SparkListenerEvent 或 QueryExecution 或其他解决方案中获取 SQL 语句。