data-transfer - rclone 从存储桶到文件系统的缓慢传输

Question

我使用 rclone 在 minio 存储桶和共享存储之间传输数据。我正在迁移一家商店，数据量约为 200GB 的产品图片。每张图片都有自己的文件夹/路径。所以有很多文件夹需要创建。Rclone 安装在新服务器上，存储通过 san 连接到服务器。转移运行了一个多星期，我们现在有 170GB。一切正常，但在我看来它真的很慢。从存储桶传输到经典文件系统的速度这么慢是否正常？

Answer 1

（算一下，速度只有 2.3Mbps。老实说，我不会为这个速度支付任何费用。）

也许您应该分解问题并逐部分诊断。下面是几个常见的地方来寻找慢速传输（一般来说对于任何文件传输）：

首先，网络和文件系统通常在处理大量小文件时性能不佳，因此为了隔离问题，请先将更大的文件上传到 minio（1GB+）。对于每一步，首先用大文件进行测试。

1. 源码速度够快吗？尝试将文件从 minio 复制到本地存储或 Ramdisk（/tmp 通常是 tmpfs，然后存储在 RAM 中，用于mount检查）。
2. 目的地的速度够快吗？Trydd或其他磁盘性能测试实用程序。
3. 来源的网络延迟是否高？尝试pinging 或curling API（使用时间）
4. 到目的地的网络延迟是否高？尝试iostat
5. 也许CPU是瓶颈？由于编码和解码的东西需要相当多的计算能力。top在副本运行时尝试。

再次，分别对大文件和碎片文件尝试这些步骤。碎片文件很有可能是一个问题。如果是这种情况，我会尝试在 rclone 中寻找并发选项。