问题标签 [prefect]

在阅读kubernetes 代理文档时，我对以下行感到困惑

"配置 flow-run 以作为 Kubernetes 作业运行。 "

这是否意味着负责提交流和与api服务器通信的进程将作为kubernetes作业运行？

另一方面，我试图解决的用例是

1. 设置后端服务器
2. 执行由 2 个任务组成的流程
3. 如果 k8s 基础设施可用，则任务应作为 kubernetes 作业执行
4. 如果 docker 只有基础设施可用，则任务应作为 docker 容器执行。

有人可以建议我，如何在 prefect.io 中解决上述情况？

我最近实现了完美的滚动条。我正在运行一个进程，在初始化滚动条以显示滚动条后添加了一个类。这不再起作用，因为在单击鼠标滚轮或悬停事件之前，滚动条没有设置高度属性。

任何遇到同样问题的人。

如何删除中定义的流prefect orion？例如，我在 Orion 的仪表板中可以看到多个流，其中一些对我不再有用。如何删除一些（但不是全部）流？

我是 Prefect 的新手，想使用 Prefect 在 Azure Kubernetes 服务上部署 Kubernetes 作业。我已经建立了一个 Linux 容器，包括 Prefect、kubectl。我可以建立到 AKS 集群的连接，并且通过使用 kubectl，我可以在 AKS 上部署 Kubernetes 作业。但是它如何与 Prefect 一起工作？在容器中，我存储了 .py 文件和一个 YAML 文件，它定义了 Kubernetes 作业。

--> kubectl apply -f deploytestcontainer.yaml --> 有效

运行附加的示例 Prefect 代码也可以工作（但作业未在 AKS 中部署）

这就是“firstk8sjob.py”的内容

非常感谢您的建议！

我在建立一个完美的管道时遇到了麻烦。假设我有一个文件，称之为streamA.py 和streamB.py。这两个文件的目的是连续 24/7 流式传输数据，并且每 500 条流式传输的记录一次将数据推送到 redis 流中。
我创建了另一个名为 redis_to_postgres.py 的文件，它异步抓取 redis 流中的所有数据并将数据推送到 postgresql 并从我最近推送的 id 的 redis 流中清理内存。这是通过异步完成的。一旦上一个管道开始，我希望每 15 分钟定时一次。

这样做最实用的方法是什么？在这种情况下，我会创建 3 个单独的管道吗？一个用于streamA，一个用于streamB，第三个用于从redis读取并推送到postgresql并最终清理数据？或者我会创建一个管道以并行方式流式传输数据，而另一个管道只是读取并推送到 postgres？谢谢

我目前正在开发 API。我想通过前端上传数据，然后在服务器上处理这些数据。我想独立开发各个步骤，并独立维护它们。这个 dag 的第一步相当复杂。有很多不同的测试机器，每一种都提供一组略有不同的原始数据。根据机器的不同，必须启动不同的任务。在这一步中，文件应该被加载和标准化。之后，数据被传递给几个任务进行分析（最好也是并行的），结果最终存储在数据库中。文件大小从几 MB 到几 GB 不等。

稍后将扩展 API，使用先前存储在数据库中的数据执行计算。计算在 CPU 时间和内存使用方面很密集。

由于我对这种复杂的结构了解不多，因此我目前检查了以下系统。

阿尔戈

它需要自己的 Kubernetes 集群来部署系统。然后，您可以在集群中的容器中部署和运行各个任务。资源分配接管 K8s。但是，设置集群对我来说相当复杂，因为系统最终要设置在云主机上，它本身不支持 Kubernetes。这必须手动设置。另一个缺点是执行速度很慢，因为一次必须推送和启动一个容器。优势极其灵活和可扩展。可能也是面向未来的，因为每个容器都可以单独维护。

芹菜和级长

您可以轻松地在 Python 中编写各个流程并定义依赖关系。在 Celery 中，您还有一个任务队列，因此您可以有效地管理许多单独的任务。使用 Prefect，可以通过容器很好地拦截不在 Python 中运行的任务。但是，没有资源管理，而且系统似乎不能很好地扩展。

与 Prefect/Celery 相比，Argo 还提供哪些其他好处？

谢谢

我有一个关于 LNK 错误的问题。我已经阅读了几篇文章，但我仍然卡住了。我已经使用 Anaconda 设置了一个虚拟环境，并从这里的 git 下载了完美的服务器文件：https ://github.com/PrefectHQ/Server

激活我的环境并安装 prefect 后，我​​运行 pip install "prefect[dev]"。最初一个错误说我需要 Microsoft Visual Studio，它提供了一个网站来下载 Visual Studio 构建工具，并且要求是 14.0 或更高版本。我对 C++ 知之甚少，但错误是未解决的外部符号 _PyUnicodeEscape。谁能帮我解决这个问题？

创建库 build\temp.win-amd64-3.10\Release\ast3/Custom_ast3.cp310-win_amd64.lib 和对象 build\temp.win-amd64-3.10\Release\ast3/Custom_ast3.cp310-win_amd64.exp ast.obj ：错误 LNK2001：无法解析的外部符号 _PyUnicode_DecodeUnicodeEscape build\lib.win-amd64-3.10\typed_ast_ast3.cp310-win_amd64.pyd：致命错误 LNK1120：1 无法解析的外部错误：命令 'C:\Program Files (x86)\Microsoft Visual Studio\2019 \BuildTools\VC\Tools\MSVC\14.29.30133\bin\HostX86\x64\link.exe' 失败，退出代码为 1120

这似乎应该很简单，但我不知道如何在单个流中同时包含状态和数据依赖项。这是我尝试的（简化）：

我得到以下图表：

这意味着 load_file1 和 load_file2 运行两次。我可以只设置一个额外的依赖项，以便在两个加载任务完成时运行电子邮件吗？

谢谢