问题标签 [warehouse]

有一个 spark 组件从转换后的数据中创建一个 sql 表。它成功地将数据保存到 <database_name>.db 文件夹下的 spark-warehouse 中。该组件还尝试从现有表中读取，以免盲目覆盖。阅读时，spark 无法找到除默认数据库以外的任何数据库。

火花版本：2.4

saveInitialTable 函数执行成功后。在第二次运行中，重复数据删除功能仍然无法拾取 <database_name>

我没有在任何地方明确使用 hive，只是触发 DataFrames 和 SQL API。

当我在与 spark-warehouse 相同的目录中运行 repl 时，它也会提供默认数据库。

我需要访问存储系统中的特定存储（这基本上是storageSystem= {storage1, storage2, storage3}Anylogic 中这样的列表。

我试过这个，但它不起作用：

提前致谢 ：）

如果我为表启用更改跟踪元数据，是否会产生额外费用？

ALTER TABLE … CHANGE_TRACKING = TRUE;

有了这个启用，DML 操作会变慢吗？

数据仓库中的数据可用于查询外部 API，然后写回仓库中的表的标准方法是什么？

使用普通的数据库 + 后端服务器，它可以直接与 DB 对话，从中读取，查询 API，然后写回行以更新列。但是对于数据仓库，普通的后端服务器将无法直接访问它。

那么人们用于仓库的常用技术是什么？按需运行的 Lambda 函数？像 Airflow 这样的调度程序？

主题状态问题：我正在使用 Windows 10 并安装了 Python 3.1，并试图从 GIT HUB 存储库下载 Mathplotlib。Pypi 网站声明它已停止支持

请帮忙