问题标签 [kubeflow]

我有一个 Kubeflow 管道，它调用 Dataflow 来执行作业，但我一直遇到同样的问题：

就我目前所见，pip 不再支持下载选项，因此管道失败。但是，进一步调查我从 rsa==4.0.0 模块收到另一条消息，其中它有一个 UnicodeDecode 错误，应该已经根据其Github 问题修复 错误如下：

另外，这就是我所说的 Dataflow 管道。

我在这里想念什么？

从 Kubeflow Pipleine kfp.ParallelFor 聚合结果的好模式是什么？

我试图找出创建自己的 Kubeflow MLOps 平台的意义：

• 如果你只是 TensorFlow 的商店，你还需要 Kubeflow 吗？为什么不只是 TFX？可以使用 Airflow 进行编排。
• 如果您全部使用 scikit-learn，为什么要使用 Kubeflow，因为它不支持 GPU，无论如何分布式训练？可以使用 Airflow 进行编排。
• 如果您确信使用 Kubeflow，云提供商（Azure 和 GCP）正在提供 ML 管道概念（谷歌在后台使用 Kubeflow）作为托管服务。那么什么时候部署自己的 Kubeflow 环境才有意义呢？即使您需要在本地部署，您也可以选择使用云资源（云上的节点和数据）来训练您的模型，并且只将模型部署到本地。因此，使用 Azure 或 GCP AI Platform 作为托管服务最适合交付 ML 管道吗？

现在我有一个运行 50 个线程来处理数据的 Python 应用程序。它需要一个 xlsx 文件并将处理一个值列表，并将输出一个简单的 csv。

我对自己说，既然这是一个简单的 50 个线程的 Python 应用程序，我该如何创建一个集群来分配更多的数据处理？例如：让每个 Worker 节点处理 master 给它的子集。这听起来很简单，只需将主应用程序对生成的数据集进行切片，然后通过负载平衡将其推送给工作人员。

我如何获得结果？我想获取所有结果（在这种情况下为 out.csv）并将它们返回给主并合并它们以创建 1 master_out.csv

起初我在想一个 Docker swarm，但我知道没有人使用它们，除了一个简单的 docker 容器之外的所有东西都被卸载到了 K8。

现在，我有一个简单的文件结构：

我正在考虑创建一个 docker 映像，这样我就可以将这个应用程序移动到映像中，更新/升级，如果它还没有安装 python3，然后运行这个应用程序。

我开始深入处理，并意识到可能有一些内置的方法来处理这个问题。创建一个烧瓶应用程序来处理摄取，然后在 master 上创建一个烧瓶应用程序以在完成时接受文件等。但是 master 需要知道所有工作人员等。

• 我正在考虑创建一个集群。
• 主节点可以访问包含我需要处理的文件的卷。
• 负载平衡将每个文件（ROWS / NUM_WORKERS）的一部分推送到每个节点。
• WORKERS FINISH 后，Master 聚合生成的 csv 文件以制作主文件。
• Master_OUT.csv 将存在于文件夹中以供使用。

所以集群会打开，准备好后会运行所有东西，然后在最后去皮重。由于他们希望集群可能是分布式的，因此我不确定这将如何工作，因为处理具有 IP 地址限制。似乎这在本地集群上不起作用，因为用于引用的机器会在足够多的请求后撞到 cloudflare（或类似）墙，所以我试图想一个 UNIQUE IP 解决方案。

我对架构有一个想法，但我不确定是否应该为此创建一个 dockerfile，然后找出 kube 可以为我处理所有这些的方式。虽然我认为在 kube 配置文件中我们可以放置远程 aws 实例登录凭据，这样它就会启动所有远程服务器。

虽然我一直在用 Swarms 做一些事情，但似乎 kube 才是真正完成工作的地方，因为 swarms 似乎更适合其他事情。

我试图从 kube（或 swarm）的角度思考如何处理这个问题。

鉴于这些信息，这个概念让我想起了更少的负载平衡，因为数据聚合，更像是 Kubeflow，您可以在其中专门为 ML 创建一个 CLOUD，但不是 ML，而是任何分布式处理。

我正在尝试按照本教程使用MiniKF和Kubeflow Pipelines在本地运行一个示例机器学习管道（意思是：在 Windows 10 笔记本电脑上本地） ，但我无法访问应该出现在http://10.10 的站点。 10.10 .

我安装了：

• 虚拟机 6.1.4
• 流浪者 2.2.7

然后，在 CMD 提示符下，我运行：

但是当我访问http://10.10.10.10时，我收到“无法访问此站点。10.10.10.10 响应时间太长。” 错误。

我的 Virtualbox 设置如下所示：

我可以像这样 ssh 进入盒子：

当我键入时，minikf我得到了 MiniKF Provisioing 工具（这是您通常会在 MiniKF 登录页面中看到的嵌入工具）。

配置软件后，我看到 Pod 启动并显示消息“Kubeflow 已部署”。但是在“暴露服务”阶段之后，我看到错误弹出：

如果我点击输入，那么错误就会消失，并且“配置完成”。显示用户名和密码的屏幕。

如果我转到 VirtualBox 并单击绿色箭头，则会显示 ubuntu 登录页面，但我无法使用上一步中显示的凭据登录。

我尝试按照这些步骤在 GCP 上安装 MiniKF 。

我从 GCP Marketplace 中选择了 Arrikto 的 MiniKF 虚拟机解决方案。

在“配置和部署窗口”中，我保留了默认值（与博客文章中的相同）：

但是在我点击“部署”之后，我收到以下错误：

此外，当我增加或减少磁盘大小或切换区域时，我仍然会收到相同的错误。

目前，我使用 Codefresh 在 Kubernetes 上部署 python 脚本。我希望将 Kubeflow 整合到部署计划中，以获取所有 Kubeflow 的好东西，比如 UI 等等，但我对如何开始或从哪里开始有点无能为力。

Kubeflow 的文档主要仅涵盖使用 Google Cloud Platform 进行设置。有没有人有这方面的经验？

我在 Ubuntu 18.04 LTS VM、3 核、60 GB 存储、12 GB 内存中使用 microk8s。我按照 microk8s 网站的说明进行了安装。

这花了一些时间，但一切都开始了。我有 110 个豆荚正在运行。当 Kubeflow 完成安装时，我得到了

这没有用。当我将该 URL 放入浏览器时，我得到一个白屏。然后我尝试访问 kubernetes 仪表板并能够使用我的令牌登录，但它说它找不到任何资源。它不会在命名空间、节点或任何东西中显示任何内容。

命名空间仍然是默认的，因为我无法让它显示kubeflow。文档说 kubeflow 不适用于 kubernetes 1.18，但如果您安装旧版本的 microk8s，它不会为您提供启用 kubeflow 的选项。这也不能解释为什么仪表板不工作。我真的不知道要检查什么来解决这个问题。我尝试使用 kubeflow 大使（kubeflow 负载均衡器）的内部 IP 地址，但这似乎也不起作用。

这里有更多关于ambassador服务的细节

TFServin 和 KFServing 都将模型部署在 Kubeflow 上，让用户轻松将模型作为服务使用，无需了解 Kubernetes 的细节，隐藏底层。

• TFServing 来自 TensorFlow，它也可以在 Kubeflow 上运行或独立运行。kubeflow 上的 TFserving

• KFServing 来自 Kubeflow，可以支持 PyTorch、TensorFlow、 MXNet等多种框架。

我的问题是这两个项目之间的主要区别是什么。

如果我想在生产中启动我的模型，我应该使用哪个？哪个性能更好？

我建立了一个管道，它获取图像并返回一些人。我想制作一个 API，它使用 Kubeflow 获取图像并返回带有计数的 JSON 文件。