问题标签 [prefect]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
161 浏览

python - 无法远程访问 Prefect 服务器

我使用该命令prefect server start --postgres-port=5433 --server-port=5001 --hasura-port=5002 --graphql-port=5003 --expose在我的 azure 网络中允许的端口启动完美服务器。当我做一个docker ps我得到

~/.prefect/config.toml

然后当我启动服务器时,状态如图所示并重定向到 ipaddress:8080/getting-started 页面 在此处输入图像描述

我检查了tmp_towel_1使用日志,docker logs ab7c87ddbabb因为它没有显示健康状态,我发现了一些错误

我想它是 docker network ip 什么的。没有线索。谁能建议我可能错在哪里?

0 投票
1 回答
55 浏览

kubernetes - 完善的 kubernetes 代理在启动时抛出 AuthorizationError

我尝试在 IBM Cloud Kubernetes 集群中运行 Prefect 流程。所以我正在设置 Kubernetes 代理。我这样做时看到错误:

附加 prefect_agent.yaml

我可以看到创建了角色和角色绑定:

在运行命令之前,我已将默认命名空间发送到“prefect”。我创建了“prefect”命名空间来组织所有 Prefect 相关的资源。

0 投票
1 回答
82 浏览

memory - 如果 `prefect` 任务失败,是否可以使用不同的 `dask` 参数重新运行它?

考虑一个prefect事先不知道内存需求的任务。如果任务因为worker没有足够的内存而失败,是否可以修改daskworker参数并重新运行任务?

如果有一种方法可以在每次失败后将每个工作人员的内存分配增加一些值,那就太好了。

0 投票
1 回答
108 浏览

python - 如何使用 cmd 参数组织完美流程?

嗨,我正在尝试将 prefect 应用于我的项目,该项目正在使用该库click来处理命令行参数。下面是一个演示代码片段:

省长的文档提到了这个例子:

但是,如果我需要通过 let say 来运行程序poetry run main.py -p 10,我需要提供一个固定的命令行参数并使用诗歌运行。在那种情况下,我应该如何组织或重构我的代码以适应 Prefect?

0 投票
1 回答
74 浏览

python - 来自完美任务的异常不能被 sys.excepthook 捕获

我已将异常处理程序设置为sys.excepthook

我有一个完美的流程运行如下:

方法a()b()已与@task装饰器一起添加。

a()我的问题是:如果在and之外引发错误b(),我的异常处理程序可以捕获消息并写入日志文件。a()但是当在完美任务(和)内部引发错误时b(),日志文件不会输出任何内容,这意味着异常处理程序不会捕获错误消息。我不确定prefect task异常处理程序是否有另一个钩子。你能给我一些关于如何进一步调试这个问题的建议吗?

0 投票
1 回答
69 浏览

python - 完美的任务调度

我是 Prefect 的新手,主要使用 Airflow 工作。我整理了一个工作流程,执行得很好,但任务没有按我期望的顺序执行。流在这里:

然而,当我使用flow.visualise()这个流程时,DAG 看起来真的很奇怪。

我的理解是上下文运算符with设置顺序?在每个任务中使用up_stream都没有帮助。

任何帮助表示赞赏。

0 投票
1 回答
61 浏览

python - 使用 Prefect 时清理 ~/.prefect/pg_data/

我正在使用Prefect来自动化我的流程(python 脚本)。运行后,一些数据会持久保存到 postgresql 数据库,问题,pg_data 的大小会迅速失控(~20Gb),我想知道是否有办法在运行代理时减少存储到 pg_data 的数据量或如果有办法自动清理目录。

在此先感谢您的帮助,

最好的,

基督教

0 投票
0 回答
12 浏览

windows - 如何在“create_host_config”中设置“mounts”选项以在 Docker SDK 中安装 Windows UNC 路径(或字母路径)网络驱动器?

任何和所有的帮助表示赞赏!我特别尝试在 Prefect 流程中使用 DockerRun 流程配置。DockerRun 流配置使用 python Docker SDK 的“create_host_config”。如果我挂载本地路径,则 Docker 代理绑定和读取/写入路径没有问题。但是,当我通过网络路径时,我会收到 2 个错误中的 1 个,具体取决于我的配置方式。

  1. 第一个错误说我没有使用有效字符,我必须传递绝对路径(抱怨 \ 我相信)
  2. 第二个错误抱怨当我尝试传递我的用户名/密码以访问 Windows 网络路径时传递了无效的参数。

例如:

0 投票
1 回答
33 浏览

supervisord - 主管意外用 SIGTERM 杀死了 Prefect 代理

我正在使用 rapsberry pi 4, v10(buster)。我按照这里的说明安装了主管:http: //supervisord.org/installing.html 除了我将“pip”更改为“pip3”,因为我想监控使用 python3 内核的运行的东西。我正在使用 Prefect,并且 supervisord.conf 正在运行程序command=/home/pi/.local/bin/prefect "agent local start"(我尝试了这个有和没有双引号)

查看 supervisord.log 文件,Prefect Agent 似乎确实启动了,我看到了当我从命令行启动它时通常会显示的 ASCII 艺术。但随后它显示它已被 SIGTERM 终止;未预料到,WARN 收到了指示退出请求的 SIGTERM。

我看到了这篇文章:Supervisor 由于某种原因得到了一个 SIGTERM,退出并停止了它的所有进程,但我什至没有它引用的 10Periodic 文件。

任何人都知道主管进程为什么/如何被 sigterm 杀死?

0 投票
1 回答
21 浏览

python - Prefect 本地代理故障排除

我在 EC2(不是 ECS)上的 docker 中的本地代理上运行流。Prefect Cloud 配置为提供用于监控的 UI。该流程每 5 分钟执行一次,大约一个小时左右,它运行良好。但是,流程最终落后,在完全无法执行之前,我收到“找不到心跳”错误。

有没有办法连续运行本地代理?为什么会突然停止?

对于这个问题的简单性,我深表歉意,但我是 Prefect 的新手。

干杯