问题标签 [amazon-swf]

我有四台服务器，它们属于同一活动类型。所有四台服务器都始终从 SWF 轮询。我启动一个工作流程，其中一个节点启动一个处理例程。此例程将花费一个小时，并占用服务器 80% 的 CPU 资源。

如何确保我开始的下一个工作流程不使用同一台服务器？等等我开始的第三和第四个工作流程？有什么逻辑可以让我的决策者做到这一点吗？

目前，我们有一个 Amazon Simple Workflow 应用程序，其中有一些任务可以在流程开始时并行发生，然后是一条通过关键区域的路径，我们只能允许一个流程继续进行。

我们将关键区域建模为子工作流，并且一次只允许一个进程在子工作流中运行（尽管我们的代码中存在竞争条件，但尚未引起我们的问题）。这是做的工作，但它有一些问题。

我们有一个方法可以不断检查子工作流是否正在运行，如果没有继续运行（上面提到的竞争条件 - 正在运行检查和开始运行不是原子操作），否则抛出异常并重试，此方法有一个指数退避，问题是： 1. 随着多个工作流进入，哪个工作流将首先进行是不确定的，如果这是一个先进先出队列会更好。2. 我们最终可能会等待很长时间才能开始下一个工作流程，所以会浪费时间，如果工作流程在最后一个工作完成后立即进行就好了。

我们可以通过减少重试间隔来解决第 2 点，但我们仍然会遇到非 FIFO 问题。

我可以想象在一台带有队列和锁的机器上很容易地建模，但是我们在 SWF 中有哪些选择？

pollForActivityTask该方法对请求保持打开轮询的最长时间为 60 秒。我目前每分钟安排一个 cron 作业来调用我的活动工作人员文件，以便我的活动工作人员机器不断轮询工作。

这是获得连续队列覆盖的正确方法吗？

我想授予一个组对整个 SWF 域的只读访问权限。该组中的用户将能够查看所有工作流实例以及每个工作流的事件/活动历史记录。他们将无法创建工作流、活动或启动工作流。

有人可以发布一个示例，说明此政策文档 JSON 的样子吗？

关于 Rails 4.2 中包含的新 ActiveJob 框架，有各种各样的文档。但是没有关于如何为它实际编写后端的文档。或者一般来说，框架对后端的期望。

我想知道 ActiveJob 是否能够使用 Amazon SWF 作为后端？从架构的角度来看，是否存在障碍？我应该考虑的事情？

我想使用 AWS SWF cron 在每天的指定时间（比如 JST 上午 10 点）执行我的工作流程。在 AWS SDK 的示例程序中，我发现可以使用 SWF cron 安排活动。但是如何使用 AWS SWF cron 来安排工作流程。我对这个 SWF cron 非常陌生。任何建议都非常感谢

活动课：

工作流类：

我有一种情况，我必须根据这种情况触发我的工作流程"It has to process all files in s3 and then start again when there are files in s3"。但是，我发现 Data Pipeline 会在每个计划的持续时间启动，而 SWF 会启动和结束作业，这也会关闭我的 EMR 集群。这两种情况都不适合这种情况。因此，对于必须根据条件启动或触发的进程，我发现两者都不合适。有没有其他选择？或者是 SWF 和数据管道之一可以执行我的任务。

出于无趣的原因，我不得不在我们还想使用 Amazon Simple Workflow (SWF) 的特定项目中使用 jRuby。我在 jRuby 部门别无选择，所以请不要说“使用 MRI”。

我遇到的第一个问题是 jRuby 不支持分叉，而 SWF 活动工作者喜欢分叉。在破解了 SWF ruby​​ 库之后，我能够弄清楚如何附加记录器并弄清楚如何防止分叉，这非常有帮助：

这阻止了分叉，但现在我在 SWF 源代码中遇到了更多与 Fibers 相关的异常，并且上下文不存在：

这是该行的 SWF 代码：

我担心这是同一个分叉问题的另一种形式，也担心我将面临漫长的 SWF 源代码和解决问题的道路，直到我最终遇到无法解决的问题。

所以，我的问题是，有没有人真正让 jRuby 和 SWF 一起工作？如果是这样，是否有我可以指出的步骤和解决方法列表？到目前为止，谷歌搜索“SWF 和 jRuby”还没有出现任何结果，我已经完成了 1 1/2 天的任务。

根据亚马逊简单工作流服务限制：

工作流执行的限制

• 最大开放工作流执行次数：每个域100,000

但是，Amazon SWF 限制增加表指出：

Amazon SWF 用户每个账户最多可以创建 100 个域。[...]在每个域中一次最多可以打开10,000 个工作流执行，这意味着可以在每个用户帐户中同时打开多达一百万个执行。

无论哪种方式，亚马逊都可以为提出请求的客户更改限制。

有没有办法从我的帐户的 API 中获取这些数字，以获得明确的答案？
我可以在界面的某个地方看到它们吗？

我可以使用该CountPendingActivityTasks方法列出特定活动队列中有多少工作流执行。是否有列出在队列中等待的那些执行的工作流执行 ID？