问题标签 [prefect]

任务结果会自动保存在.prefect/results文件夹下，它会立即填满磁盘。我需要全局更改此目录或禁用自动保存。

我在下面设置了环境变量，但它不起作用。

我需要在循环中重复一些任务（LOOP）。我从这个答案中得到了想法，作为可能的解决方案之一。当我从 VS Code 终端或通过 Jupyter 启动代码时 - 一切正常。但是，如果我通过 web UI Prefect "Quick Run" 运行，它会给出错误：

我的代码示例：

我想通过发布请求启动流程运行。

以上是与api的基本交互。

突变查询：

此查询适用于 Graphq 界面。以“\”为前缀的参数中的引号。

我如何将查询放入字符串中。喜欢：

Python 方法

我收到以下错误： b'{"errors":[{"message":"Syntax Error: Expected :, found String \\": \\"","locations":[{"line":4,"column":44}],"extensions":{"code":"GRAPHQL_PARSE_FAILED"}}]}\n'

我对 Docker 和 Prefect 比较陌生，我正在尝试在 docker 容器中启动 Prefect Server。这是我的 Dockerfile ...

这是script.sh ...

经过长时间的构建后，docker 在我运行时似乎开始正常docker run --privileged=true --name prefect-server-container prefect-server-image，但随后出现套接字超时错误......完整的堆栈跟踪

任何帮助是极大的赞赏！

我想创建一个将动态流设置为依赖于另一个动态流的流。

下面是我想做的。

我注册了 N 个数据流。

我也注册了 M 个模型。

模型可以依赖于任何模型

我试图弄清楚如何做到这一点。

我尝试在为模型创建流程的地方设置依赖项。这导致我多次运行数据。

我希望数据只运行一次。

我想将完美代理作为后台进程运行。

还需要检查运行代理的状态（健康检查）以进行健康检查，我在命令下面使用

但此命令的输出始终为空白

请帮我 。

我在 GCP 上部署了一个 kubernetes 集群，结合了 prefect 和 dask。这些作业在正常情况下运行良好，但无法扩展 2 倍的数据。到目前为止，我已经将其范围缩小到调度程序由于高内存使用而被关闭。 Dask调度程序内存 一旦内存使用量达到2GB，作业就会失败，并出现“未检测到心跳”错误。

有一个单独的构建 python 文件可用，我们在其中设置工作内存和 cpu。有一个 dask-gateway 包，我们可以在其中获取网关选项并设置工作内存。

我无法弄清楚在哪里以及如何增加 dask-scheduler 的内存分配。

概括

我正在尝试了解 Prefect docker 代理。为此，我试图在我的本地机器上配置一个最小设置。我已经设法让 docker 代理连接到本地服务器，看起来它正在运行流程。但是，似乎在流程完成后，代理无法在服务器上更新流程的状态，因为它无法连接到服务器后端。

细节

这是我的流程：

我将后端配置为使用本地核心服务器：

然后我启动服务器：

我连接到服务器 UIlocalhost:8080并确认它正在运行。

在 UI 中，我创建了项目tutorial。

然后我注册流程：

然后，我确认流程按预期显示在 UI 中。请注意，我的机器名称parami因此是 label parami。

然后我启动一个指定标签的本地 docker 代理parami。

然后我通过 UI 运行流程。流程运行称为enigmatic-axolotl。

docker代理的日志如下：

因此，代理成功地让流enigmatic-axolotl从服务器运行，并且似乎完成了执行。我的理解是，它随后尝试连接到服务器以更新流运行的状态。但是，它没有这样做，因为它无法连接到host.docker.internal:4200.

我想知道是否host.docker.internal是一个有效的主机，所以我用选项重新启动了代理-a http://localhost:4200。代理成功连接到服务器localhost:4200（在日志中报告这样做）但是，当我再次运行流程时，我得到与以前相同的错误；也就是说，它无法连接到host.docker.internal:4200.

最后，我用-a http://0.0.0.0:4200. 再次，它成功连接到服务器。然后我重新运行流程，它再次失败。但是，这一次它试图连接到0.0.0.0:4200：

我错过了什么？我假设我需要设置一些配置才能完成这项工作。

我在一个 great_expectations 集成问题上苦苦挣扎。
我显然使用RunGreatExpectationsValidation任务：

当我在 GE (great_expectations --V3-api checkpoint run my_checkpoint) 上运行命令时，它可以工作，但是在完美任务中，我有一个例外：使用 GE V3 api：

与 GE V2 api 相同

Great_expectations=0.13.43 （也尝试使用 0.12.10 版本） prefect
=0.15.9
有人体验过这个 pb 吗？谢谢

使用 docker 作为存储时，调用如下：

似乎完美创建了一个tmp{randomNumber}文件夹并放置了 healthcheck.py 和一个 Dockerfile，它们参与了 docker 构建。

但是我不小心删除了tmp文件夹，即使我恢复了它，它仍然会抛出以下错误。发生的事情是 Prefect 期望一个tmp以新 random_number 作为后缀的文件夹。我怎样才能从中恢复？