问题标签 [kubeflow]

当我'ks apply default -c jupyter'来部署jupyterHub时，它总是响应以下错误：

[I 2019-01-09 14:28:52.866 JupyterHub app:871] 将 cookie_secret 写入 /jupyterhub_cookie_secret [I 2019-01-09 14:28:52.880 alembic.runtime.migration migration:117] Context impl SQLiteImpl。[I 2019-01-09 14:28:52.880 alembic.runtime.migration migration:122] 将假设非事务性 DDL。[I 2019-01-09 14:28:52.895 alembic.runtime.migration migration:327] 运行 stamp_revision -> 3ec6993fe20c [W 2019-01-09 14:28:53.034 JupyterHub app:955] 没有管理员用户，管理界面将不可用。[W 2019-01-09 14:28:53.034 JupyterHub app:956] 将任何管理用户添加到 c.Authenticator.admin_users配置中。[I 2019-01-09 14:28:53.034 JupyterHub app:983] 不使用白名单。将允许任何经过身份验证的用户。[I 2019-01-09 14:28:53.059 JupyterHub app:1528] Hub API 监听http://0.0.0.0:8081/hub/[W 2019-01-09 14:28:53.060 JupyterHub 代理：415] 生成 CONFIGPROXY_AUTH_TOKEN。重新启动集线器将需要重新启动代理。设置 CONFIGPROXY_AUTH_TOKEN env 或 JupyterHub.proxy_auth_token 配置以避免此消息。[W 2019-01-09 14:28:53.060 JupyterHub 代理：456] 在没有 SSL 的情况下运行 JupyterHub。

我希望在其他地方发生 SSL 终止...

[I 2019-01-09 14:28:53.061 JupyterHub proxy:458] 启动代理 @http: //0.0.0.0 :8000/ [E 2019-01-09 14:28:53.064 JupyterHub proxy:467] 找不到代理 ['configurable-http-proxy'] 代理可以安装npm install -g configurable-http-proxy[C 2019-01-09 14:28:53.065 JupyterHub app:1535] 无法启动代理 Traceback (最近一次调用最后): 文件 "/usr/ local/lib/python3.6/site-packages/jupyterhub/app.py”，第 1533 行，在 start yield self.proxy.start() 文件“/usr/local/lib/python3.6/site-packages/jupyterhub /proxy.py”，第 462 行，在 start self.proxy_process = Popen(cmd, env=env, start_new_session=True, shell=shell) 文件“/usr/local/lib/python3.6/subprocess.py”，行709，在初始化中 restore_signals，start_new_session）文件“/usr/local/lib/python3.6/subprocess.py”，第 1344 行，在 _execute_child raise child_exception_type(errno_num, err_msg, err_filename) FileNotFoundError: [Errno 2] No such file or directory: 'configurable -http-proxy': '可配置的-http-proxy'

我为自己设定了一个目标，即仅使用 Google Cloud 来解决 MNIST 皮肤癌数据集。

在 Google Kubernetes 上使用 GCS 和 Kubeflow。

我使用以下脚本将数据从 jpeg 转换为 tfrecord： https ://github.com/tensorflow/tpu/blob/master/tools/datasets/jpeg_to_tf_record.py

我已经看到了很多他们如何将 csv 文件提供给他们的模型的例子，但没有图像数据的例子。

将所有 tf​​record 复制到 Google Cloud Shell 以便我可以像这样将数据提供给我的模型是否明智？或者有没有更好的方法可用？

提前致谢。

有没有办法从可以释放主节点空间的 kubernetes 设置中清除所有缓存的 docker 图像等？我尝试安装部署，但 kubernetes 在镜像拉取时提示“设备上没有剩余空间”。

我有点惊讶，80GB 的磁盘不足以进行一次简单的部署，因为集群现在已完全清空。

有没有人知道如何清除所有未使用的 docker 镜像等？

非常感谢！

我在 Kubeflow 上有管道，管道可以在管道 UI 上运行。

我的管道应该像 crontab 一样在指定的时间执行。

如何定期执行管道？

可以通过在管道 UI 上上传来创建 Kubeflow 管道。

但是开发管道，重复一些更改并再次上传很烦人。

好像没有相关文件。

是否可以使用 cli 或 API 部署 Kubeflow 管道，而不是在 UI 上？

有任何想法吗？谢谢！

我已将 Kubeflow 安装到在 microk8s 上运行的 Ubuntu 18.04 上。为此，我按照https://www.kubeflow.org/docs/started/getting-started/上的说明进行操作。

一切似乎都运行正常：

我设置了端口转发：

然后尝试通过将 Web 浏览器指向

但是，我只是在浏览器中得到以下内容

我得到了大使服务的日志，使用

我能看到的只有

这非常令人沮丧 - 任何能够访问 Kubeflow 集群的帮助将不胜感激。

我按照这篇文章中给出的步骤在 Google Kubernetes Engine 和 Kubeflow 上使用 GPU 部署了我的 tensorflow 模型进行预测。通过以这种方式修改 YAML 文件，我将服务公开为负载均衡器，其中我将类型从 ClusterIP 更改为 LoadBalancer。

状态变为：

服务规格（kubectl describe services my-model）：

Pod 规格 ( kubectl describe pods):

我使用该命令 python predict.py --url=http://W.X.Y.Z:8000/model/my-model:predict从 serving_script 文件夹执行预测，但我收到 500 Internal server error 作为响应。这里出了什么问题？

预测代码可以在这里找到：https ://github.com/kubeflow/examples/tree/master/object_detection/serving_script

您如何通过 Google Cloud Source 存储库从私有存储库进行 pip 安装？似乎应该是可能的。

我正在尝试设置一个新的 Kubeflow 部署来使用抢占式虚拟机。参考此文档，我看到有一些 YAML 来指定可抢占节点，但我不确定将它放在由kfctl.sh. 同时，通过控制台，我看到 Preemptible nodes = disabled，但无法更改它。

如何将 Kubeflow 节点池设置为可抢占式？

目前我正在 GKE 上设置Kubeflow 管道。目标是在 ML Engine 上启动一个训练作业，然后在 GKE 上提供它。

训练作业在 Docker 容器中启动。（管道中的每一步都必须是一个容器。）

运行容器时出现以下错误：

docker 容器通过以下答案中的建议通过服务帐户获取凭据。

错误出现在我提交训练作业的 train.sh 中：

在我的 run_train.py 中，我获得了以下 Google 应用程序凭据：

Train.sh 独立工作。