问题标签 [pachyderm]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
416 浏览

kubernetes - 如何将 Pachyderm 与正确的 Kubernetes 上下文联系起来?

我有不止一个 Kubernetes 上下文。当我更改上下文时,我一直在使用kill -9 终止端口转发以重做pachtctl port-forward &命令。我想知道这是否是正确的做法。

更详细地说:

我从 Kubernetes 上下文开始,我们将其称为 context_x。然后我想将上下文更改为我的本地上下文,称为 minikube。我还想查看这个 minikube 上下文的存储库,但是当我使用 时pachctl list-repo,它仍然显示 context_x 的 Pachyderm 存储库。当我这样做时pachctl port-forward,我会收到一条有关该地址已在使用中的错误消息。所以我必须 ps -a,然后在那些端口转发进程上杀死 -9,然后再次执行 pachctl port-forward 命令。

我一直在做的一个例子:

另外,pachctl port-forward进程 37245 上的 kill -9 不起作用,看来我必须在进程上 kill -9kubectl port-forward

0 投票
1 回答
221 浏览

json - Pachyderm 管道未启动作业并启动空存储库

我在 Pachyderm 中的管道有一个 JSON 配置:

我的docker文件如下:

但是,当我运行命令来创建管道时:

这些文件存在于 pfs 中:

值得注意的是,我是从日志命令(pachctl get-logs --pipeline=mopng-beneficiary-v2)中得到的:

0 投票
1 回答
150 浏览

docker - Pachyderm 管道无法拉取 docker 映像

我已成功将我的 docker 映像推送到注册表: my-username/image-name

但是,pachyderm 仍然无法提取 docker 映像(来自日志):

我应该在哪里指定图像以便厚皮动物能够拉出一张?这是我的配置文件:

0 投票
2 回答
327 浏览

python - 即使在docker中添加文件后也找不到文件

我编写了一个 docker 文件,将我的 python 脚本添加到容器中: ADD test_pclean.py /test_pclean.py

我的目录结构是:

我的 json 文件作为在 Pachyderm 中创建管道的配置文件如下:

即使我复制了官方文档的示例,我也面临一个错误: python3: can't open file '/test_pclean.py': [Errno 2] No such file or directory

我的 dockerfile 是:

0 投票
1 回答
71 浏览

node.js - 厚皮动物的 Nodejs 示例

我是厚皮动物的新手。

我有一个管道来提取、转换然后保存在数据库中。一切都已经用 nodejs 编写,docekrized。现在,我想移动并使用厚皮动物。

我尝试按照他们提供的 python 示例进行操作,但是创建这个新管道总是失败并且工作永远不会开始。

我的代码所做的就是获取/pfs/data并将其复制到/pfs/out.

这是我的管道定义

所发生的只是管道失败并且工作永远不会开始。

有没有办法调试管道失败的原因?我的 docker 镜像有什么特别的地方需要发生吗?

0 投票
1 回答
1515 浏览

machine-learning - 使用 DVC 和 Pachyderm 的优缺点是什么?

使用这两种方法的优缺点是什么?

https://github.com/iterative/dvc

https://github.com/pachyderm/pachyderm

0 投票
1 回答
41 浏览

kubernetes - Pachyderm 部署 GCP - 没有这样的图像

我正在 GKE 上部署 Pachyderm,但是当我部署管道时(遵循https://docs.pachyderm.com/latest/getting_started/beginner_tutorial/),Pod 在 ImagePullCrashLoopBack 中失败,给出此错误“没有这样的图像”。

这里,命令“kubectl get pods”的输出: 截图

如何修复部署过程?