我有一个用例,我需要将一些有效负载从一台服务器移动到另一台服务器。两台服务器都放置在同一个数据中心内(甚至在同一个亚马逊的可用区)。
我有服务/端点,每当通过 HTTP/HTTPS 调用时都需要触发文件传输。我需要加快传输速度,因为目前它甚至可能需要 15 秒以上。使其异步(例如,使用 Celery 之类的任务队列处理)不一定能解决我的问题(传输仍然需要快速执行 - 无关紧要,无论是在触发它的请求期间还是在它之外)。
这些文件的大小通常为 100KB-500KB,我有以下选项:
- SSH传输,
- 文件系统之间的其他安全传输(SSHFS?,
rsync
通过 SSH?), - 以文件为主体的 HTTP/HTTPS 请求,
- 别的东西?
这些文件总是新的(因此不适用发送旧版本和新版本之间的差异)。它们是文本文件,因此压缩可能会加快传输速度。
有没有人想过最快的方法(在服务器之间快速安全地传输文件)?服务器是独立的实例,很可能会保持这种状态。安全也起着重要作用。但在这些限制之外,我可以在服务器或挂载目录上安装东西。