0

我有一个用例,我需要将一些有效负载从一台服务器移动到另一台服务器。两台服务器都放置在同一个数据中心内(甚至在同一个亚马逊的可用区)。

我有服务/端点,每当通过 HTTP/HTTPS 调用时都需要触发文件传输。我需要加快传输速度,因为目前它甚至可能需要 15 秒以上。使其异步(例如,使用 Celery 之类的任务队列处理)不一定能解决我的问题(传输仍然需要快速执行 - 无关紧要,无论是在触发它的请求期间还是在它之外)。

这些文件的大小通常为 100KB-500KB,我有以下选项:

  • SSH传输,
  • 文件系统之间的其他安全传输(SSHFS?,rsync通过 SSH?),
  • 以文件为主体的 HTTP/HTTPS 请求,
  • 别的东西?

这些文件总是新的(因此不适用发送旧版本和新版本之间的差异)。它们是文本文件,因此压缩可能会加快传输速度。

有没有人想过最快的方法(在服务器之间快速安全地传输文件)?服务器是独立的实例,很可能会保持这种状态。安全也起着重要作用。但在这些限制之外,我可以在服务器或挂载目录上安装东西。

4

1 回答 1

-1

那么我想到的答案如下

  • 第一个服务器将压缩所有需要发送的新消息(gzip 或其他)
  • 压缩文件在两台服务器之间移动(SCP应该没问题,因为它只有1个文件)
  • 第二台服务器将解压缩消息文件夹中的文件

我认为首先压缩是为了增加文件大小而不是文件数量,这样你可以减少两台服务器之间的通信时间,花费一些处理时间,我认为这应该少于递归移动所有这些的时间文件。

于 2013-11-18T12:26:05.763 回答