问题标签 [databricks-repos]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
jupyter-notebook - 从 Repo Databricks 中的另一个笔记本运行一个笔记本
我有一个笔记本,其功能位于我试图在另一个笔记本中运行的 repo 文件夹中。
通常我可以这样运行它:%run /Users/name/project/file_name
所以我将这两个文件(function_notebook、processed_notebook)克隆到 Databricks 中的一个 Repo 中。
当我尝试复制刚刚克隆它的路径时,只会出现此选项:Copy File Path relative to Root
但是在 Workspace 用户文件夹中,选项是Copy File Path
显然我不太了解相对路径和工作空间路径之间的区别。
如何运行已在 repo 中克隆的笔记本?
等级制度:
RepoName(有 2 个文件夹):
文件夹 1
Notebook1
文件夹 2
Notebook2
我Notebook1
想跑步Notebook2
git - Databricks GitHub 和 Bitbucket 集成,凭证冲突
我正在将我的文件从 Bitbucket 迁移到 Github,但是每次我需要从 bitbucket 克隆某些内容并将其发送到 GitHub 时,我都需要创建一个新令牌来集成这些工具。
似乎,在 Databricks 上,当您保存 Github 凭证时,它会覆盖 Bitbucket 凭证,反之亦然。
我想说的是,有没有办法让 GitHub 和 Bitbucket 有两个有效的凭证而不与它们冲突?
azure-data-factory - 从数据工厂调用特定分支中的 Databricks 笔记本?
我正在使用新的 Databricks 存储库功能,并且在笔记本活动的数据工厂 UI 中,您可以浏览 Databricks 工作区并选择存储库 > 用户名 > 项目 > 文件夹 > 笔记本。
是否可以在数据工厂的特定分支中调用 Databricks 笔记本?
databricks - 如何访问 Databricks Repos 元数据?
有没有办法在 Repo 的笔记本中访问诸如 Repo url 和 Branch name 之类的数据?也许在 dbutils 中有些东西。
databricks - 使用 CLI 和/或 API 在 databricks 笔记本上执行 git pull
使用 Databricks 存储库,您可以将 git 存储库添加到 Databricks 并执行 git 操作,例如git pull
. 这是通过单击左上角的分支名称,然后单击“拉”按钮来完成的。
我想在不点击浏览器中的内容的情况下执行此操作。
- 在给定的 repo 上触发 git pull 的 Databricks CLI 语法是什么?
- 什么是 Databricks API 端点,用于在给定的 repo 上触发 git pull?
我会假设两者都是可能的(这个答案暗示如此),但只提供一个就足以回答我的问题。
有人可能想知道如果拉动不是微不足道的,例如,我期望会发生什么。分支已经发散,或者“您的未分级更改将被拉动……”。在这种情况下,简单地出错就足够了。我打算确保它永远不会通过其他机制发生。
python - 新的数据块功能:导入不起作用
我已将我的 databricks 笔记本上传到存储库,并使用新的 databrick 公共可用功能(存储库集成和 python 导入)将 %run 语句替换为导入:https ://databricks.com/blog/2021/10/07/databricks-repos -is-now-generally-available.html
但它似乎不起作用
我已经在管理面板中激活了 repo 集成选项,但我收到此错误
ModuleNotFoundError:没有名为“请愿书”的模块
为简单起见,我将所有 python 文件移动到同一目录。我在处理笔记本中收到错误
[
python - 迭代databricks Repos中的文件
我想遍历文件夹中的一些文件,该文件夹的路径在 databricks Repos 中。如何做到这一点?我似乎无法访问 Repos 中的文件
我添加了一张图片,显示了我想要访问的文件夹(dbrks 和 sql 文件夹)
谢谢 :)
azure - 无法将 Databricks 存储库推送到 GitHub 存储库
我想创建一个与我的 Github 存储库链接的 Azure Databricks 存储库。
这就是我所做的:
- 使用 Readme.md 创建新的 GitHub 存储库
- 创建身份验证令牌并将其添加到 Databricks
- 在 databricks 中,为存储库启用所有文件同步
- 将存储库克隆到 Databricks > Repo > 我的用户名
- 拉(这很好用)
但是,当我现在将文件添加到我的 Databricks 存储库并尝试推送时,我收到以下消息:
当我在新创建的分支上尝试时,同样的错误。
有谁知道什么可能导致这个错误?
我的身份验证令牌具有权限repo
,admin:repo_hook
并且delete_repo
似乎我遵循了Azure Databricks 说明1:1,但它不起作用。
azure-pipelines - 将存储库部署到新的数据块工作区
我正在数据块工作区中开发我的代码。通过与 Repos 的集成,我使用 Azure DevOps 对我的代码进行版本控制。
我想使用 Azure Pipelines 将我的代码部署到新的测试/生产环境。要将文件复制到新环境,我使用了 databricks 命令行界面。我运行(databricks-cli
配置后)
将文件从 VM 复制到新的 databricks 工作区。但是,该import_dir
语句仅复制以某些扩展名结尾的文件(例如,不是.txt
文件,因此我的 requirements.txt 没有被复制)并删除扩展名,将所有内容转换为笔记本。
这很成问题:我对其他 python 文件使用相对导入,但是这些文件被转换为笔记本,因此导入不再起作用。有什么办法可以避免删除扩展?以及如何复制所有文件而不是仅复制具有某些扩展名的文件?
git - 在 Databricks 中同时在两个不同的 git 分支中工作
是否有可能在 Databricks 上同时在两个不同的分支中工作?
如果我在选项卡窗口 (1) 中打开一个分支,然后在另一个选项卡 (2) 中打开另一个分支,则第一个选项卡窗口 (1) 会自动将 git 分支更改为另一个选项卡 (2)。如果您忘记在一个选项卡窗口中更改分支,我认为这非常好,但是如果您想处理两个不同的项目,这可能会很烦人。
希望有人已经找到了解决方法。