condor - 如何为 isilon 存储设置用户吞吐量限制

Question

用户可以在 Condor 上运行多个进程并访问 isilon 存储。有些人可能会以牺牲其他人为代价来滥用读取吞吐量。所以假设 isilon 可以处理 10GB/S 的读取速度。如果我有 3 个用户，每个用户有 100 个进程，每个进程都试图读取 1GB/S，那么其余的用户将被严重饿死。存在什么样的解决方案？单主机限制不起作用，因为用户通过 condor 读取。

Answer 1

在 HTCondor 中有几种方法可以做到这一点，具体取决于您的工作性质和系统。

首先，您可以使用并发限制功能来全局限制所有用户运行的作业数量。每个作业都需要声明它正在使用文件服务器带宽的某个百分比。在中央管理器配置中，您可以设置限制，例如

IPSILON_LIMIT = 1000

然后，每个工作都可以通过添加到工作描述中来声明他们使用了一定数量的带宽

concurrency_limits = ipsilon:100

声明此作业将使用 100 个可用总带宽中的 100 个。

当您的文件可以从远程文件服务器一次传输到本地临时目录，在本地操作，并在工作完成后传输回来时，第二种方法可以工作。如果这适合您的使用模式，您可以查看自定义文件传输插件。然后，HTcondor 会将文件从服务器复制到本地临时目录，但这些活动传输的数量可能会受到每个 schedd 的限制。