问题标签 [prefect]

在阅读了关于基于文件目标的输出缓存 的文档后，我认为这个工作流应该是输出缓存的一个示例：

我希望func_task运行一次，得到缓存，然后在下次运行流程时使用缓存的值。但是，似乎func_task每次都运行。

我哪里错了？还是我误解了文档？

我试图让文件处理程序创建的 Prefect.io 日志文件看起来与 Prefect.io 记录器打印的日志完全相同，但我只收到消息。

代替

在我看到的日志文件中

代码：

关于如何使日志文件镜像标准输出的任何建议？

我正在尝试创建一个接收 PyMySQL 连接实例作为输入的 Prefect 任务，例如：

但是，当我尝试注册结果流时，它会引发“TypeError: cannot pickle 'socket' object”。通过 Prefect 的文档，我发现了内置的 MySQL 任务（https://docs.prefect.io/api/latest/tasks/mysql.html#mysqlexecute），但每次调用时它们都会打开和关闭连接. 有没有办法将以前打开的连接传递给 Prefect Task（或实现连接管理器之类的东西）？

我想一次又一次地循环任务，直到达到某个条件，然后再继续工作流程的其余部分。

我到目前为止是这样的：

但据我了解，这不适用于多项任务。有没有办法进一步返回并一次循环执行多个任务？

我们实际上使用 Docker Swarm 来管理我们的集群。一些服务使用 swarm-cronjob 进行调度并在固定时间运行，但我们需要更大的灵活性。

所以我们决定给 Prefect 一个机会，它看起来很有希望，但我们无法找到它如何或是否有可能与暖节点一起工作。

一个案例是在集群的一个专用节点上运行一个任务，流的一部分，由一个特定的标签标识。

是否有对 docker swarm 或一些实验的原生支持？让 prefect 和 docker swarm 一起工作的最佳方式是什么？我们需要在 docker swarm 上使用 Dask 集群还是有其他方法？

在过去的几个月里，我一直在生产中使用以下代码，

所以像任何优秀的编码器一样，我将代码复制并粘贴到另一个脚本中

并得到以下错误：

AttributeError：“NoneType”对象没有属性“fetchall”

除了存储过程的名称之外，唯一的区别是它们位于不同的 Prefect 项目中。我已经在这个网站和其他网站上搜索了可能的解决方案，但没有成功。我知道它可能正盯着我的脸，但一个半小时后……你知道的。提前致谢。

我有不同的 EC2 实例运行不同的作业，我想使用 prefect 来编排和安排所有任务。

为此，我是否将它们添加为代理并在 docker 文件上配置 IP 地址？

我对 Docker 和 Prefect 还很陌生，所以任何答案都会有很大帮助！谢谢！

我一直在尝试运行参数化和连接的流。

基本上，有一个任务返回一个参数字典 ( make_poem)，以及一个基于参数 ( declaim_poem) 打印某些内容的流程。还有以下父流程：

这比跑了，结果如下：

即使这是一个成功的结果，我也无法从declaim_poem（如暗示的那样，一首诗）中得到预期的输出以在屏幕上打印出来。根据此页面，我正在使用在declaim_poem任务内部实例化的记录器，而不是流。

在提供的 Prefect Cloud 链接中，我也找不到这首诗，只有来自所有流程的所有任务的成功结果。

关于我做错了什么的任何想法？

我有一个类和一个子类，并想从框架prefect.io继承一个带有装饰器@task的方法。

代码示例：

班级

子类

但是现在方法test2不再有装饰器@task了。我不能在子类中声明@task。我是否可以覆盖该方法但保留@task？

I have been messing around with Prefect for workflow management, but got stuck with building up and braking down a spark session withing Prefect's resource manager.

I browsed Prefects docs and an example with Dusk is available:

However I couldn't work out how to do the same with a spark session.