问题标签 [databricks-repos]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
1069 浏览

jupyter-notebook - 从 Repo Databricks 中的另一个笔记本运行一个笔记本

我有一个笔记本,其功能位于我试图在另一个笔记本中运行的 repo 文件夹中。

通常我可以这样运行它:%run /Users/name/project/file_name

所以我将这两个文件(function_notebook、processed_notebook)克隆到 Databricks 中的一个 Repo 中。

当我尝试复制刚刚克隆它的路径时,只会出现此选项:Copy File Path relative to Root

但是在 Workspace 用户文件夹中,选项是Copy File Path

显然我不太了解相对路径和工作空间路径之间的区别。

如何运行已在 repo 中克隆的笔记本?

等级制度:

RepoName(有 2 个文件夹):

  1. 文件夹 1Notebook1

  2. 文件夹 2Notebook2

Notebook1想跑步Notebook2

0 投票
1 回答
80 浏览

git - Databricks GitHub 和 Bitbucket 集成,凭证冲突

我正在将我的文件从 Bitbucket 迁移到 Github,但是每次我需要从 bitbucket 克隆某些内容并将其发送到 GitHub 时,我都需要创建一个新令牌来集成这些工具。

似乎,在 Databricks 上,当您保存 Github 凭证时,它会覆盖 Bitbucket 凭证,反之亦然。

我想说的是,有没有办法让 GitHub 和 Bitbucket 有两个有效的凭证而不与它们冲突?

0 投票
3 回答
264 浏览

azure-data-factory - 从数据工厂调用特定分支中的 Databricks 笔记本?

我正在使用新的 Databricks 存储库功能,并且在笔记本活动的数据工厂 UI 中,您可以浏览 Databricks 工作区并选择存储库 > 用户名 > 项目 > 文件夹 > 笔记本。

是否可以在数据工厂的特定分支中调用 Databricks 笔记本?

0 投票
1 回答
115 浏览

databricks - 如何访问 Databricks Repos 元数据?

有没有办法在 Repo 的笔记本中访问诸如 Repo url 和 Branch name 之类的数据?也许在 dbutils 中有些东西。

0 投票
1 回答
404 浏览

databricks - 使用 CLI 和/或 API 在 databricks 笔记本上执行 git pull

使用 Databricks 存储库,您可以将 git 存储库添加到 Databricks 并执行 git 操作,例如git pull. 这是通过单击左上角的分支名称,然后单击“拉”按钮来完成的。

我想在不点击浏览器中的内容的情况下执行此操作。

  • 在给定的 repo 上触发 git pull 的 Databricks CLI 语法是什么?
  • 什么是 Databricks API 端点,用于在给定的 repo 上触发 git pull?

我会假设两者都是可能的(这个答案暗示如此),但只提供一个就足以回答我的问题。


有人可能想知道如果拉动不是微不足道的,例如,我期望会发生什么。分支已经发散,或者“您的未分级更改将被拉动……”。在这种情况下,简单地出错就足够了。我打算确保它永远不会通过其他机制发生。

0 投票
2 回答
242 浏览

python - 新的数据块功能:导入不起作用

我已将我的 databricks 笔记本上传到存储库,并使用新的 databrick 公共可用功能(存储库集成和 python 导入)将 %run 语句替换为导入:https ://databricks.com/blog/2021/10/07/databricks-repos -is-now-generally-available.html

但它似乎不起作用

我已经在管理面板中激活了 repo 集成选项,但我收到此错误

ModuleNotFoundError:没有名为“请愿书”的模块

为简单起见,我将所有 python 文件移动到同一目录。我在处理笔记本中收到错误

[回购结构1

0 投票
2 回答
101 浏览

python - 迭代databricks Repos中的文件

我想遍历文件夹中的一些文件,该文件夹的路径在 databricks Repos 中。如何做到这一点?我似乎无法访问 Repos 中的文件

我添加了一张图片,显示了我想要访问的文件夹(dbrks 和 sql 文件夹)

谢谢 :)

存储库文件夹层次结构的图像

0 投票
2 回答
183 浏览

azure - 无法将 Databricks 存储库推送到 GitHub 存储库

我想创建一个与我的 Github 存储库链接的 Azure Databricks 存储库。

这就是我所做的:

  1. 使用 Readme.md 创建新的 GitHub 存储库
  2. 创建身份验证令牌并将其添加到 Databricks
  3. 在 databricks 中,为存储库启用所有文件同步
  4. 将存储库克隆到 Databricks > Repo > 我的用户名
  5. 拉(这很好用)

但是,当我现在将文件添加到我的 Databricks 存储库并尝试推送时,我收到以下消息:

当我在新创建的分支上尝试时,同样的错误。

有谁知道什么可能导致这个错误?

我的身份验证令牌具有权限repoadmin:repo_hook并且delete_repo

似乎我遵循了Azure Databricks 说明1:1,但它不起作用。

0 投票
1 回答
133 浏览

azure-pipelines - 将存储库部署到新的数据块工作区

我正在数据块工作区中开发我的代码。通过与 Repos 的集成,我使用 Azure DevOps 对我的代码进行版本控制。

我想使用 Azure Pipelines 将我的代码部署到新的测试/生产环境。要将文件复制到新环境,我使用了 databricks 命令行界面。我运行(databricks-cli配置后)

将文件从 VM 复制到新的 databricks 工作区。但是,该import_dir语句仅复制以某些扩展名结尾的文件(例如,不是.txt文件,因此我的 requirements.txt 没有被复制)并删除扩展名,将所有内容转换为笔记本。

这很成问题:我对其他 python 文件使用相对导入,但是这些文件被转换为笔记本,因此导入不再起作用。有什么办法可以避免删除扩展?以及如何复制所有文件而不是仅复制具有某些扩展名的文件?

0 投票
1 回答
41 浏览

git - 在 Databricks 中同时在两个不同的 git 分支中工作

是否有可能在 Databricks 上同时在两个不同的分支中工作?

如果我在选项卡窗口 (1) 中打开一个分支,然后在另一个选项卡 (2) 中打开另一个分支,则第一个选项卡窗口 (1) 会自动将 git 分支更改为另一个选项卡 (2)。如果您忘记在一个选项卡窗口中更改分支,我认为这非常好,但是如果您想处理两个不同的项目,这可能会很烦人。

希望有人已经找到了解决方法。