问题标签 [que]

有没有办法（以编程方式）将文件从 s3 存储桶传输到外部 ftp 服务器而不将其下载到 ec2 实例？

更多细节：

1. 我有一个在 EC2 上运行的 Django 服务器，它提供一个 Angular Web 应用程序。

2. 用户使用我的网络应用程序将文件上传到 S3 存储桶，一旦上传完成，网络应用程序就会发送一个包含文件对象 s3 url 的 POST 请求。

3. Django 服务器在收到 POST 请求后可能需要将文件（上传到 s3）复制到外部 ftp 服务器。目标 ftp 服务器可能因上传文件的用户而异（每个用户组可能有自己的 ftp 服务器）。

4. 我知道在收到 POST 请求后，Django 服务器可以从 s3 下载文件，然后将其上传到适当的目标 ftp 服务器。

我的问题是：我能否通过以某种方式启动从 s3 到目标 ftp 服务器的传输并在传输完成（成功或错误）时获得回调/通知来减少第 4 步中 EC2 实例的开销。

谢谢。

我有一个 GUI 正在运行，显示一些按钮。

我想做的只是在同一个py文件中安排一个函数每小时运行一次，所以，我发现了这个

无限循环内的Python定期任务

所以我刚刚添加了这一行并且它有效

但我想做的是使用这段代码，我改编自我在这个网站上看到的另一个问题。

但是如果我把它放在 GUI 循环中，GUI 就会停止出现，而只有调度程序工作。

这是我运行 main 时遇到的错误。我真的不明白为什么第 44 行有问题：channel.basicConsume(Q,true,consumer); 我的目标是尝试将收到的消息存储到我可以在其他文件中使用的变量中。

这是我的 Recv 文件代码

使用 laravel 5.5，我们需要同时使用 Redis 和 SQS 队列。Redis 用于我们的内部消息传递，SQS 用于来自第 3 方的消息。

config/queue.php有各种连接信息。第一个键是默认连接。该默认值是queue:workartisan 命令使用的默认值。

问题是我们如何使用不同的队列连接queue:work。

如果--queue=my-sqs-que提供了，默认连接设置为redis，laravel在redis下查找，显然没有找到my-sqs-que

将默认设置为 sqs 将禁用处理我们的内部消息。

我编写了这段代码，并使用 spark-submit 在集群中运行：SUCCESS

当我在 Job (QUE) 托盘中执行此操作时

我发现错误 NoSuchTableException：

Oozie Launcher 失败，主类 [org.apache.oozie.action.hadoop.SparkMain]，main() 抛出异常，空 org.apache.spark.sql.catalyst.analysis.NoSuchTableException

我认为这是因为我不必连接到 Hive MetaStore。

然后我补充说：

仍然，捕获错误...

我用：

• 克劳德拉 CDN 5.15.1
• 火花 1.6.0
• 斯卡拉 2.10.6
• QUE

代码

我已经使用 Distillery 设置了一个 Docker 环境来生成我的应用程序的发布。

我的应用程序使用 Que 添加一个工人，像这样

但是，当调用此行时，我得到：

它在没有 docker 和 distillery 的情况下在本地运行良好，但不确定为什么它会在上面失败。

我还尝试按照文档中的描述运行预编译应用程序的命令，但没有成功。

iex(my_app@127.0.0.1)1> Que.Persistence.Mnesia.setup!

这是在 C 中使用环形缓冲区实现队列的程序的一部分。我不明白第 8-9 行。这条线到底是什么if(q->rear == q->max) q->rear = 0; 意思？

如果后方索引等于最大容量......然后将零分配给后方？T_T 请帮帮我！

我想从 laravel 作业中运行 ffmpeg 进程，但一次不要太多。我似乎无法做到正确。无论我为 $process_limit 设置什么 - 它一次只运行一个，并且中间有很长的延迟。也许我使用 public $timeout 错误。也许 retryUntil()。我不知道。

}

我想更换我的 cron 调度程序。有没有办法从 Lambda 和 Cloudwatch 安排 ActiveJob？我正在使用 Qu 宝石。

我正在为我们的内部生产制定调度程序。问题的故事是这样的：我们有传入的“工作”，它们被发送到各个站点的“机器”。我们将作业列表存储在 mysql 数据库中。我想为生产协调员创建一个界面：负责将作业放到正确的机器上的人 - 这将包括传入作业的列表，以及代表该机器的作业队列的每台机器的列表。

我们需要能够执行的一些操作： - 重新排序列表而不需要大量写入 sql DB - 例如将作业放在队列顶部而不是队列末尾的机器上，剩下的que 的正确更新（一连串的重新编号是我试图避免的）。

我担心的是可扩展性，如果我们有 100000 个工作，或者我们是否大量增加机器的数量。

我们已经考虑过并且仍在争论的一些事情：创建具有以下结构的表：jobkey、machineid、status、queposition。queposition 的约束相对于 machineid 是唯一的。这对任何数量的机器都有好处，但是快速更新 que 需要在所有 db 中搜索每个机器 ID，并且重新排序不会那么干净。另一个想法是有一个 prekey 和 postkey 字段来模拟一个链表，其中 prekey 是最后一个 que 条目的表键，而 post 将指向下一个。这将解决一些问题，但解决问题可以归结为显示 que。

这些似乎都不能完全解决问题。

这似乎是一个足够普遍的问题，我确信 que 有一个很好的解决方案 - 并且修改所述列表的顺序而不会发生冲突。在 javascript、php 和 mysql 中工作。