问题标签 [databricks-sql-analytics]

是否可以直接从 Databricks SQL Analytics 工作区查询查询历史记录（日志）并开发一些关于查询指标的报告？

我的客户将databricks用于数据工程工作负载，并且有兴趣使用databricks sqlanalytics来满足他们的BI需求。

我想知道是否可以从django 应用程序连接到databricks sqlanalytics 服务（因为大多数报告都是由django驱动的），如果可以的话，任何相同的链接都会非常有帮助。

我之前只使用过databricks connect，这对我来说是相当新的，所以任何帮助都将不胜感激。

解决方案：

下载 databricks 网站上提供的 simba spark odbc 驱动程序。根据需要设置配置参数。链接到参数设置指南。

Databricks 文档展示了如何从 UI 中的 JDBC/ODBC 选项卡获取集群的主机名、端口、HTTP 路径和 JDBC URL 参数。见图片：

有没有办法以编程方式获取相同的信息？我的意思是使用 Databricks API 或 Databricks CLI。我对HTTP path包含Workspace Id的内容特别感兴趣。

我正在尝试做有关 databricks sql 分析的本教程（https://docs.microsoft.com/en-us/azure/databricks/sql/get-started/admin-quickstart）但是当我创建我的 databricks 工作区时我没有侧边栏底部的图标，用于访问 SQL 分析（在需求部分）。有人可以告诉我如何访问 Databricks SQl 分析吗？这是我所拥有的照片：

我想在databricks的sql表中创建一个新列，我怀疑使用“创建或替换临时视图”是否比alter table更有效，但是alter table不起作用，有没有人知道其他使用sql的解决方案？我知道这在 pyspark 中也是可能的，但我有很多条件，使用这种语言有点困惑，我考虑过 UDF，但我知道它效率不高。如果有人知道一个有效的，请贡献！我会很感激。

我可以做什么

我需要一个不需要替换 sql databricks 中的所有表的解决方案。谢谢

我有一个表格，其中包含以下格式的文本列：

我正在尝试将其转换为，date(yyyy-MM-dd)但是当我使用 cast 时得到空值，to_date. 有什么办法可以得到上述yyyy-mm-dd格式的数据吗？

我想找到每周和每月更改其值的 id 数量

每周都会将一个新数据集输入数据库，每周都会添加相同的 id 及其值，某些 id 的某些周值会发生变化。

我想找到过去 2 年中我拥有的所有数据的每月和每周的 id 变化量。

所有这些都在数据块中完成

我附上了一个示例数据集，其中为 3 个 id 输入了两个月的数据，并且 2 个 id 更改了它们的值。所需的输出显示我需要的是第二个月显示 2 个更改，第一个显示 0 个更改。

数据集

需要的输出

我有一张像

我想传递带有下拉值 a,b,c,all 的参数，如果用户选择 a，则输出是第一行，或者如果用户选择全部，则输出也是所有三行。请建议。

我想对结果进行聚合

或者创建一个新表，结果如下

但是，如果我尝试使用 SHOW TABLES 做任何其他事情，我会遇到多个不同的错误。

是否有另一种方法可以对 SHOW TABLES 的结果做任何事情，或者用另一种方法创建一个包含数据库中所有列名的表？我以前曾与 Teradata 合作过，这很容易。

编辑：我只能访问 Databricks SQL Analytics。所以只能写纯SQL。