问题标签 [jupyterhub]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
60 浏览

docker - 禁用对 Docker 主目录的写入权限

我正在为 JupyterHub 使用 DockerSpawner(图片:jupyter/minimal-notebook)。我以所有权限将名为“xyz”的文件夹安装为 /home/jovyan/xyz。我想在 Docker 中禁用对 /home/jovyan 的写访问,因为我不能保证将来可以访问存储在 Docker 中的数据,只能在主机文件夹中访问。

我尝试在 /home/jovyan 上设置 read_only_volumes,但随后无法挂载 /home/jovyan/xyz

请问有什么想法吗?谢谢

0 投票
2 回答
3789 浏览

jupyter - jupyterhub:找不到命令

我正在尝试在 Ubuntu 16.04 上本地运行 jupyterhub;但是,我似乎无法在终端上运行 jupyterhub 命令,并且收到命令未找到错误。我通过运行以下命令安装了 jupyterhub:

以上所有包都安装成功。我的PATH变量 in/etc/environment已设置如下:

0 投票
1 回答
1044 浏览

tensorflow - 用于限制 tensorflow gpu 内存的 Jupyterhub 配置

我正在为课堂上的学生使用 Jupyterhub(docker spawner) 构建一个 tensorflow 环境,但我遇到了这个问题。

默认情况下,TensorFlow 将几乎所有 GPU 的所有 GPU 内存(受 CUDA_VISIBLE_DEVICES 限制)映射到进程可见。这样做是为了通过减少内存碎片更有效地使用设备上相对宝贵的 GPU 内存资源。(来自https://www.tensorflow.org/tutorials/using_gpu

如果班上有人用gpu使用python程序,那么gpu内存几乎会耗尽。根据这种情况,我需要手动添加一些限制代码。喜欢:

但这不是一个很好的解决方案。每次生成新代码时,我都应该添加此代码。

如果 jupyterhub 可以添加一些配置来避免这种情况或其他很好的解决方案?请让我知道,谢谢!

0 投票
2 回答
3092 浏览

nginx - Jupyterhub 和 nginx 反向代理配置

我试图配置 jupyterhub 代理来路由内容,my-host-ip/notebook但我无法找出解决方案。

我正在使用以下 Nginx 配置:

0 投票
0 回答
258 浏览

python - 在 ipyparallel 中运行时自定义内核挂起

我正在尝试将 ipyparallel 与我安装在 conda env 中的自定义内核一起使用。我的工具是用 matplotlib 2.0.2 构建的。我在 Jupyter Hub 上运行,默认 Python3 内核指向 matplotlib 1.5.3。我可以通过这个例子从各自的引擎中看到 matplotlib 的版本:

返回

正如我所料,因为我在 Python 3 默认内核中运行。通过使用我想要的工具创建自定义内核、激活它并使用以下命令创建 kernelspec 文件,我构建了一个名为“cetb3”的自定义内核:

在cetb3环境下,可以运行python,导入matplotlib,看到版本是matplotlib 2.0.2。在同一个 cetb3 环境中,我还创建了一个测试配置文件:

在 Jupyter Hub 中,我可以将内核切换到 cetb3,导入 matplotlib 并查看它是 v2.0.2。但是,当我从 MJBtest 启动集群并尝试使用 cetb3 内核运行与上述相同的代码时,单元在“现在调用 map_sync”行之后挂起并且永远不会返回:

我认为我可能必须创建一个使用我的自定义内核的 ipython 配置文件,我尝试将我的配置文件的名称添加到 cetb3 kernelspec 文件:“--profile=MJBtest”但是当我这样做时,内核不会甚至开始。我不清楚是否必须将我的配置文件告诉我的内核,反之亦然(以及我如何做到这一点),或者是否有一些其他机制可以将我的自定义环境推送到我的 ipyparallel 引擎。

所以我在我们的超级计算机上与系统管理员合作,结果发现他们已经配置了一些定制的 ipython 配置文件,这些配置文件正在使用 ipengine 命令启动引擎集群。在 ipcluster_config.py 文件中,在 ipengine 命令之前,我可以通过将我的 conda env bin 路径添加到 PATH env 变量的开头来指定我的自定义环境,然后为我想要的 conda env 调用 source activate可用于每个引擎。

0 投票
1 回答
4257 浏览

python - 用于获取笔记本的 Jupyter notebook API

我正在运行我的 jupyter 集线器和单用户服务器。我正在使用 Jupyter 笔记本 REST API 来获取所有可用的笔记本。我正在使用http://127.0.0.1:8000/user/username/api/contents。有了这个,我可以在 mu UI 上看到所有可用的笔记本。

但是,当我尝试从我的 python 脚本中执行相同操作时,我收到 200 个响应代码,但无法提取任何内容,因为它重定向到我需要为我的用户输入用户名和密码的登录页面。我还尝试通过请求包传递这些凭据。像这样的东西

输出是:

我对 Jupyter 还很陌生。我错过了一些东西。在调用任何 API 之前,我还能如何对我的用户进行身份验证。

在 jupyerhub 文档中看到了这一点 - 请注意,API 令牌授权 JupyterHub REST API 请求。相同的令牌不授权访问由 JupyterHub 管理的笔记本服务器提供的 Jupyter Notebook REST API。使用不同的令牌来访问 Jupyter Notebook API。

所以这正是我正在寻找的。如何创建这个不同的令牌以便通过集线器访问 jupyter notebook API。

0 投票
1 回答
773 浏览

ipython - 如何为多个用户对 JupyterHub 进行压力/负载测试?

我按照以下链接在 AWS EMR 集群上设置 JupyterHub 的教程进行操作:https ://aws.amazon.com/blogs/big-data/running-jupyter-notebook-and-jupyterhub-on-amazon-emr/

我让集群启动并运行,但现在我的问题是如何进行压力/负载测试?(即模拟 100 个用户同时通过笔记本运行)。

在课堂环境中,我有大约 30 个用户 sshed 到我的集群中运行笔记本练习,但是当更多的人开始执行笔记本中的代码块时,速度大大放缓。发生的事情是一些 python 库的导入需要很长时间,一些练习停止工作或只是挂起。Cloudwatch 显示存在网络瓶颈。

基本上我要问的是我怎样才能去调试这样的东西?模拟多个用户进入 EMR 集群、打开 jupyter 笔记本并同时运行代码块的最佳方法是什么?

0 投票
1 回答
2639 浏览

nginx - 子路径中带有 nginx 反向代理的 Jupyterhub

我有一个 Ubuntu 服务器在端口上运行 nginx443以提供一些静态内容,并在端口上8000为 Python 笔记本提供 Jupyterhub 0.8(jupyterhub 通过 pip 安装并作为服务运行(不使用 Docker)。

我想使用 nginx 的反向代理使 jupyterhub 可以作为子路径访问,例如example.com/jupyterhub.

在文档和其他一些讨论(例如这个)之后,我想出了以下 nginx 配置:

另外,我在jupyterhub_conf.py

当我访问时,https://example.com/jupyterhub我收到 502 错误。看着error.log我发现的 nginx

jupyterhub 的本地人curl给出

0 投票
1 回答
578 浏览

memory - 过多的内存使用pyspark

我已经设置了一个 JupyterHub 并为它配置了一个 pyspark 内核。当我打开一个 pyspark 笔记本(在用户名 Jeroen 下)时,添加了两个进程,一个 Python 进程和一个 Java 进程。Java 进程被分配了 12g 的虚拟内存(见图)。在 1B 数字范围内运行测试脚本时,它会增长到 22g。当我们在这个服务器上与多个用户一起工作时,这是否值得担心?如果是,我怎样才能防止 Java 分配这么多内存?

在此处输入图像描述

0 投票
1 回答
5562 浏览

jupyter-notebook - Jupyter notebook:如何将笔记本的副本保存到不同的目录

是否可以将 Jupyter 笔记本的副本保存在不同的目录中?

我的场景是这样的:我使用 docker spawner 设置了 jupyterhub 来为用户创建 jupyter 容器。我希望所有这些用户都能访问共享笔记本,其中包含特定类型工作的模板。此笔记本通过只读卷挂载/shared/work. 然后,用户应该能够修改副本并将其保存到他们有权访问的父目录中。但是,“制作副本”功能似乎只想在同一目录中制作副本,这当然是只读的。有没有办法改变这个功能?

也欢迎替代解决方案!

(作为参考,这是使用r-notebook内核,但我怀疑这会有所不同)