问题标签 [prefect]

Prefect 如何处理流的多个数据库连接，或者它如何委派连接的驱动程序和运行时；甲骨文、SQL Server 和雪花？

如果我在 Kubernetes 上有一个 Prefect 服务器，Docker 会处理所有这些，还是托管许多连接到许多源的流的 prefect 服务器？

谁能知道如何使用 docker/docker-compose 部署完美的 UI 并支持 azure Web 应用服务器？

我需要在 azure Web 应用服务上部署完美的工作流程。

谢谢你的帮助。

在完美的工作流程中，我试图保留每个计划运行的数据。我需要比较每个以前和当前结果的数据。我尝试了 Localresult 和 checkpoint=true 但它不起作用。例如，

我的流程安排为每 61 秒/每分钟一次。在第一次运行时，我可能会得到空结果，但对于第二次计划运行，我应该得到以前的流结果进行比较。谁能帮我实现这一目标？谢谢！

我正在尝试flow使用存储在prefect cloud其中的秘密来运行coiled.

错误出flow有prefect client error：

这是身份验证错误吗？我需要将 a 传递prefect cloud authentication token给coiled集群吗？或添加配置以coiled使用这些选项之一

以下是我使用的代码和配置：

~/.prefect/config.toml

Flow

追溯

先感谢您。

我正在使用prefect并定义一个流程来使用 cosmos db 插入文档。

问题是query_items()调用是可迭代的，对于大型容器，没有办法将所有条目保存在内存中。

我相信我的问题可以简化为：

• given an iterator, how can I create batches to be processed (mapped) in a prefect flow?

例子：

上面的代码或类似的代码会给我一个错误：

我如何告诉 Prefect 不要重新运行 DAG 中的所有先前任务？

一些工作流工具，例如snakemake，允许工作流定义的声明风格。优点是这允许用户指定所需的目标文件并snakemake找出适当的计算顺序（如果可能）。

如果我理解正确，prefect请使用命令式风格。但是，有没有什么方法可以创建声明式的工作流程prefect？

根据 Prefect 的混合执行模型，代理“监视任何计划的流程运行并在您的基础架构上相应地执行它们”，而执行器“负责实际运行的任务 [...] 用户可以运行的任务submit及其wait结果。”

虽然从高级设计的角度来看这是有道理的，但实际上这些部分是如何组成的？例如，如果我指定 Flow Run 应该使用 Docker Agent 和 Dask Executor，那么 Agent 和 Executor 之间具体发生了哪些交互？如果我使用 Docker 代理和本地执行程序会怎样？还是本地代理和 Dask 执行器？

简而言之，每个组件（即服务器、代理和执行程序）中流程的每个步骤到底发生了什么？

我正在尝试启动 Prefect Agent，以便使用 Prefect Server 完成设置。我没有使用prefect server start开箱即用的设置，而是prefect server config生成 Docker Compose 文件，然后docker compose up启动服务器的服务。当我尝试启动代理时，出现以下错误：

我该如何解决？

在尝试使用 生成的 Docker Compose 文件设置 Prefect 0.14.15 以跨多个代理执行流时prefect server config，我惊讶地发现 Prefect 的服务器需要租户才能连接代理。我调查发现 Prefect 的文档提供了有关其create-tenant和list-tenants CLI 操作的使用语法的信息。但是，我已经通过链接页面广泛查看了 - 以及 Prefect 的其余文档和随附的教程 - 任何提及租户的内容，并且只找到以下简短提及：

经过身份验证后，基于用户的 API 密钥可用于为用户所属的任何租户生成短期 JWT 身份验证令牌。这些 API 密钥继承用户在该租户中拥有的任何权限，从而允许完整的 API 访问。

什么是 Prefect 的租户？它似乎并不特定于 Prefect 的混合执行模型。那么，在 Prefect Flow 执行之前和执行期间，它如何适应服务器、代理和客户端之间的交互？说用户“属于”或“属于”租户是什么意思？通过要求它向服务器注册代理来完成什么？