32

我有以下问题:一些动态生成的进程倾向于占用 100% 的 CPU。我想将所有匹配某些标准(例如进程名称)的进程限制为一定数量的 CPU 百分比。

我要解决的具体问题是利用 fold@home 工作进程。我能想到的最佳解决方案是定期执行并使用 cpulimit 实用程序来限制进程的 perl 脚本(如果您对更多详细信息感兴趣,请查看此博客文章)。它有效,但它是一个黑客:/

有任何想法吗?我想把进程的处理留给操作系统:)


再次感谢您的建议,但我们仍然没有抓住重点:)

“slowDown”解决方案本质上是“cpulimit”实用程序所做的。我仍然需要注意要减慢哪些进程,一旦工作进程完成就终止“slowDown”进程,并为新的工作进程启动新进程。这正是我使用 Perl 脚本和 cron 作业所做的。

主要问题是我事先不知道要限制哪些进程。它们是动态生成的。

也许有一种方法可以将一个用户的所有进程限制在一定的 CPU 百分比?我已经设置了一个用户来执行 fold@home 作业,希望我可以使用 /etc/security/limits.conf 文件来限制他。但我能得到的最接近的是每个用户的总 CPU 时间......

如果有一些东西可以让你说:“这个用户进程的所有 CPU % 使用率的总和不能超过 50%”,那就太酷了。然后让进程根据它们的优先级争夺那 50% 的 CPU...


伙计们,感谢您的建议,但这与优先级无关-即使有足够的可用 CPU 时间,我也想限制 CPU 百分比。这些进程已经是低优先级,因此它们不会导致任何性能问题。

我只是想防止 CPU 长时间以 100% 运行...

4

15 回答 15

22

我有一个稍微类似的问题gzip

假设我们想减少一个gzip进程的 CPU:

    gzip backup.tar & sleep 2 & cpulimit --limit 10 -e gzip -z

选项:

  • 我发现sleep很有用,因为cpulimit有时不会gzip立即采用新流程
  • --limit 10gzip将CPU 使用率限制为 10%
  • -z进程完成cpulimit时自动关闭gzip

另一种选择是运行cpulimit守护程序。

于 2011-12-14T19:04:52.013 回答
13

我不记得也不认为在 unix 调度程序中有这样的东西。您需要一个控制其他进程并执行以下操作的小程序:

loop
    wait for some time tR
    send SIGSTOP to the process you want to be scheduled
    wait for some time tP
    send SIGCONT to the process.
loopEnd

比率 tR/tP 控制 CPU 负载。


这是一个概念的小证明。"busy" 是占用你的 cpu 时间并且你希望通过 "slowDown" 减慢的程序:

> cat > busy.c:
    main() { while (1) {}; }

> cc -o busy busy.c
> busy &
> top

Tasks: 192 total,   3 running, 189 sleeping,   0 stopped,   0 zombie
Cpu(s): 76.9% us,  6.6% sy,  0.0% ni, 11.9% id,  4.5% wa,  0.0% hi,  0.0% si
Mem:   6139696k total,  6114488k used,    25208k free,   115760k buffers
Swap:  9765368k total,  1606096k used,  8159272k free,  2620712k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
26539 cg        25   0  2416  292  220 R 90.0  0.0   3:25.79 busy
...

> cat > slowDown
while true; do
 kill -s SIGSTOP $1
 sleep 0.1
 kill -s SIGCONT $1
 sleep 0.1
done

> chmod +x slowDown
> slowDown 26539 &
> top
Tasks: 200 total,   4 running, 192 sleeping,   4 stopped,   0 zombie
Cpu(s): 48.5% us, 19.4% sy,  0.0% ni, 20.2% id,  9.8% wa,  0.2% hi,  2.0% si
Mem:   6139696k total,  6115376k used,    24320k free,    96676k buffers
Swap:  9765368k total,  1606096k used,  8159272k free,  2639796k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
26539 cg        16   0  2416  292  220 T 49.7  0.0   6:00.98 busy
...

好的,该脚本需要更多的工作(例如,要注意被 INTR-upted 并让受控进程继续,以防它在那一刻停止),但你明白了。我还会用 C 或类似语言编写那个小脚本,并从命令行参数计算 cpu 比率....

问候

于 2008-12-22T21:19:43.030 回答
8

我认为在 Linux 中没有限制 cpu 使用率的解决方案,但是有一种可接受的方法可以将任何进程限制为特定的 CPU 使用率:http ://ubuntuforums.org/showthread.php?t=992706

如果他们删除信息,这里又是


  1. 安装包

  2. 安装 cpulimit 包。代码:

    sudo apt-get install cpulimit

  3. 安装 gawk 包。代码:

    sudo apt-get install gawk

  4. 创建 CPULIMIT 守护进程文件

以 root 权限打开文本编辑器并将下面的守护程序脚本文本保存到新文件 /usr/bin/cpulimit_daemon.sh

代码:

#!/bin/bash
# ==============================================================
# CPU limit daemon - set PID's max. percentage CPU consumptions
# ==============================================================

# Variables
CPU_LIMIT=20        # Maximum percentage CPU consumption by each PID
DAEMON_INTERVAL=3   # Daemon check interval in seconds
BLACK_PROCESSES_LIST=   # Limit only processes defined in this variable. If variable is empty (default) all violating processes are limited.
WHITE_PROCESSES_LIST=   # Limit all processes except processes defined in this variable. If variable is empty (default) all violating processes are limited.

# Check if one of the variables BLACK_PROCESSES_LIST or WHITE_PROCESSES_LIST is defined.
if [[ -n "$BLACK_PROCESSES_LIST" &&  -n "$WHITE_PROCESSES_LIST" ]] ; then    # If both variables are defined then error is produced.
   echo "At least one or both of the variables BLACK_PROCESSES_LIST or WHITE_PROCESSES_LIST must be empty."
   exit 1
elif [[ -n "$BLACK_PROCESSES_LIST" ]] ; then                                 # If this variable is non-empty then set NEW_PIDS_COMMAND variable to bellow command
   NEW_PIDS_COMMAND="top -b -n1 -c | grep -E '$BLACK_PROCESSES_LIST' | gawk '\$9>CPU_LIMIT {print \$1}' CPU_LIMIT=$CPU_LIMIT"
elif [[ -n "$WHITE_PROCESSES_LIST" ]] ; then                                 # If this variable is non-empty then set NEW_PIDS_COMMAND variable to bellow command
   NEW_PIDS_COMMAND="top -b -n1 -c | gawk 'NR>6' | grep -E -v '$WHITE_PROCESSES_LIST' | gawk '\$9>CPU_LIMIT {print \$1}' CPU_LIMIT=$CPU_LIMIT"
else
   NEW_PIDS_COMMAND="top -b -n1 -c | gawk 'NR>6 && \$9>CPU_LIMIT {print \$1}' CPU_LIMIT=$CPU_LIMIT"
fi

# Search and limit violating PIDs
while sleep $DAEMON_INTERVAL
do
   NEW_PIDS=$(eval "$NEW_PIDS_COMMAND")                                                                    # Violating PIDs
   LIMITED_PIDS=$(ps -eo args | gawk '$1=="cpulimit" {print $3}')                                          # Already limited PIDs
   QUEUE_PIDS=$(comm -23 <(echo "$NEW_PIDS" | sort -u) <(echo "$LIMITED_PIDS" | sort -u) | grep -v '^$')   # PIDs in queue

   for i in $QUEUE_PIDS
   do
       cpulimit -p $i -l $CPU_LIMIT -z &   # Limit new violating processes
   done
done
  1. 根据您的环境需求更改变量

CPU_LIMIT 如果您想将每个进程的 CPU 消耗忽略为除 20% 之外的任何其他百分比,请在上述脚本中更改此变量。如果您有 SMP 计算机(多于 1 个 CPU 或多于 1 个内核的 CPU),请阅读下面的“如果使用 SMP 计算机”一章。

DAEMON_INTERVAL 如果您想要更多/更少的定期检查,请在上面的脚本中更改此变量。间隔以秒为单位,默认设置为 3 秒。

BLACK_PROCESS_LIST 和 WHITE_PROCESSES_LIST 变量 BLACK_PROCESSES_LIST 仅限制指定的进程。如果变量为空(默认),则所有违规进程都会受到限制。

变量 WHITE_PROCESSES_LIST 限制除此变量中定义的进程之外的所有进程。如果变量为空(默认),则所有违规进程都会受到限制。

变量 BLACK_PROCESSES_LIST 和 WHITE_PROCESSES_LIST 之一或两者必须为空 - 定义两个变量是不合逻辑的。

您可以使用分隔符“|”在这两个变量之一中指定多个进程 (不带双引号)。示例:如果您想对除 mysql、firefox 和 gedit 进程之外的所有进程进行 cpulimit 设置变量:WHITE_PROCESSES_LIST="mysql|firefox|gedit"

  1. 在引导时自动启动守护进程的过程

  2. 为root用户设置文件权限:代码:

    sudo chmod 755 /usr/bin/cpulimit_daemon.sh

  3. 以 root 权限打开文本编辑器并将下面的脚本保存到新文件 /etc/init.d/cpulimit

代码:

#!/bin/sh
#
# Script to start CPU limit daemon
#
set -e

case "$1" in
start)
if [ $(ps -eo pid,args | gawk '$3=="/usr/bin/cpulimit_daemon.sh"  {print $1}' | wc -l) -eq 0 ]; then
    nohup /usr/bin/cpulimit_daemon.sh >/dev/null 2>&1 &
    ps -eo pid,args | gawk '$3=="/usr/bin/cpulimit_daemon.sh"  {print}' | wc -l | gawk '{ if ($1 == 1) print " * cpulimit daemon started successfully"; else print " * cpulimit daemon can not be started" }'
else
    echo " * cpulimit daemon can't be started, because it is already running"
fi
;;
stop)
CPULIMIT_DAEMON=$(ps -eo pid,args | gawk '$3=="/usr/bin/cpulimit_daemon.sh"  {print $1}' | wc -l)
CPULIMIT_INSTANCE=$(ps -eo pid,args | gawk '$2=="cpulimit" {print $1}' | wc -l)
CPULIMIT_ALL=$((CPULIMIT_DAEMON + CPULIMIT_INSTANCE))
if [ $CPULIMIT_ALL -gt 0 ]; then
    if [ $CPULIMIT_DAEMON -gt 0 ]; then
        ps -eo pid,args | gawk '$3=="/usr/bin/cpulimit_daemon.sh"  {print $1}' | xargs kill -9   # kill cpulimit daemon
    fi

    if [ $CPULIMIT_INSTANCE -gt 0 ]; then
        ps -eo pid,args | gawk '$2=="cpulimit" {print $1}' | xargs kill -9                    # release cpulimited process to normal priority
    fi
    ps -eo pid,args | gawk '$3=="/usr/bin/cpulimit_daemon.sh"  {print}' | wc -l | gawk '{ if ($1 == 1) print " * cpulimit daemon can not be stopped"; else print " * cpulimit daemon stopped successfully" }'
else
    echo " * cpulimit daemon can't be stopped, because it is not running"
fi
;;
restart)
$0 stop
sleep 3
$0 start
;;
status)
ps -eo pid,args | gawk '$3=="/usr/bin/cpulimit_daemon.sh"  {print}' | wc -l | gawk '{ if ($1 == 1) print " * cpulimit daemon is running"; else print " * cpulimit daemon is not running" }'
;;
esac
exit 0
  1. 将文件的所有者更改为 root:

代码:

sudo chown root:root /etc/init.d/cpulimit
  1. 更改权限:

代码:

sudo chmod 755 /etc/init.d/cpulimit
  1. 将脚本添加到启动程序目录: 代码:

    sudo update-rc.d cpulimit 默认值

  2. 重新启动以检查脚本是否在启动时启动 cpulimit 守护进程: 代码:

    须藤重启

  3. 手动检查、停止、启动和重新启动守护进程

注意:本教程中的守护进程和服务具有相同的含义。

注意:对于使用 Ubuntu 8.10 之前的用户(如 Ubuntu 8.04 LTS)而不是服务命令,请使用“sudo /etc/init.d/cpulimit status/start/stop/restart”语法或使用命令安装 sysvconfig 包:sudo apt-get安装 sysvconfig

检查 cpulimit 服务是否正在运行 检查命令返回:如果服务正在运行,则返回“cpulimit daemon is running”,如果服务未运行,则返回“cpulimit daemon is not running”。代码:

sudo service cpulimit status

启动 cpulimit 服务 您可以手动启动 cpulimit 守护程序,它将开始忽略 CPU 消耗。代码:

sudo service cpulimit start

停止 cpulimit 服务 Stop 命令停止 cpulimit 守护进程(因此不会限制新进程),并且还设置所有现有的受限进程以完全访问 CPU,就像在 cpulimit 未运行之前一样。代码:

sudo service cpulimit stop

重新启动 cpulimit 服务 如果您更改 /usr/bin/cpulimit_daemon.sh 中的某些变量设置,例如 CPU_LIMIT、DAEMON_INTERVAL、BLACK_PROCESSES_LIST 或 WHITE_PROCESSES_LIST,那么在更改设置后您必须重新启动服务。代码:

sudo service cpulimit restart
  1. 使用或不使用 CPULIMIT 守护程序检查 CPU 消耗

没有守护进程 1. 停止 cpulimit 守护进程(sudo service cpulimit stop) 2. 在后台执行 CPU 密集型任务 3. 执行命令:top 并检查 %CPU 列 每个进程的 %CPU 结果可能超过 20%。

打开守护进程 1. 启动 cpulimit 守护进程(sudo service cpulimit start) 2. 在后台执行相同的 CPU 密集型任务 3. 执行命令:top 并检查 %CPU 列 %CPU 的结果应该是每个进程的最大 20%。注意:不要忘记一开始 %CPU 可以超过 20%,因为 daemon 必须以 3 秒的间隔捕获违规进程(默认在脚本中设置)

  1. 如果使用 SMP 计算机

我已经在英特尔双核 CPU 计算机上测试了此代码 - 其行为类似于 SMP 计算机。不要忘记 top 命令和 cpulimit 默认在 Irix 模式下运行,其中 20% 表示一个 CPU 的 20%。如果有两个 CPU(或双核),则总 %CPU 可以是 200%。在 top 命令中,可以使用命令 I 关闭 Irix 模式(在运行 top 命令时按 +i)并打开 Solaris 模式,其中 CPU 总量除以 CPU 数量,因此 %CPU 不能超过 100 % 在任意数量的 CPU 计算机上。请在顶级手册页中阅读有关顶级命令的更多信息(搜索 I 命令)。另请阅读 cpulimit 官方页面中有关 cpulimit 如何在 SMP 计算机上运行的更多信息。

但是 cpulimit 守护进程是如何在 SMP 计算机上运行的呢?始终处于 Irix 模式。因此,如果您想在 2-CPU 计算机上花费 20% 的 CPU 功率,则应将 40% 用于 cpulimit 守护程序脚本中的 CPU_LIMIT 变量。

  1. 卸载 CPULIMIT 守护进程和 CPULIMIT 程序

如果您想摆脱 cpulimit 守护进程,您可以通过删除 cpulimit 守护进程并卸载 cpulimit 程序来清理您的系统。

  1. 停止 cpulimit 守护进程代码:

    sudo service cpulimit stop # 停止 cpulimit 守护进程和所有 cpulimited 进程

  2. 从启动过程中删除守护程序代码:

    sudo update-rc.d -f cpulimit remove # 删除符号链接

  3. 删除开机程序代码:

    sudo rm /etc/init.d/cpulimit #删除cpulimit启动脚本

  4. 删除 cpulimit 守护进程代码:

    sudo rm /usr/bin/cpulimit_daemon.sh #删除cpulimit daemon脚本

  5. 卸载cpulimit程序代码:

    sudo apt-get 删除 cpulimit

  6. 卸载 gawk 程序 如果您不需要此程序用于任何其他脚本,您可以远程安装它。代码:

    sudo apt-get 删除 gawk

  7. 关于作者的说明

我刚刚为 cpulimit 编写了守护进程(上面的 bash 脚本)。我不是 cpulimit 项目的作者。如果您需要更多关于 cpulimit 程序的信息,请阅读官方 cpulimit 网页:http ://cpulimit.sourceforge.net/ 。

问候, 施虐者

于 2012-04-17T02:16:09.043 回答
4

使用 cgroups 的cpu.shares并没有做一个好的值不会做的事情。听起来您想要实际限制进程,这绝对可以完成。

您将需要使用一两个脚本,和/或编辑/etc/cgconfig.conf以定义所需的参数。

具体来说,您要编辑cpu.cfs_period_uscpu.cfs_quota_us值。然后将允许该进程在每cpu.cfs_period_us微秒内运行cpu.cfs_quota_us微秒。

例如:

如果cpu.cfs_period_us = 50000cpu.cfs_quota_us = 10000则进程将获得最大 CPU 时间的 20%,无论发生什么其他情况。

在这个屏幕截图中,我给了进程 2% 的 CPU 时间:

2% 的 CPU 时间

就过程而言,它以 100% 的速度运行。

另一方面,设置cpu.shares可以并且仍然会使用 100% 的空闲 CPU 时间。

在这个类似的例子中,我给出了进程cpu.shares = 100 (of 1024):

cpu.shares

如您所见,该进程仍在消耗所有空闲的 CPU 时间。

参考:

http://manpages.ubuntu.com/manpages/precise/man5/cgconfig.conf.5.html http://kennystechtalk.blogspot.co.uk/2015/04/throttling-cpu-usage-with-linux-cgroups .html

于 2015-04-10T04:37:14.427 回答
4

我有一个类似的问题,线程中提出的其他解决方案根本没有解决它。我的解决方案现在适用于我,但它不是最理想的,特别是对于进程由 root 拥有的情况。
我现在的解决方法是非常努力地确保我没有任何由 root 拥有的长期运行的进程(比如只以用户身份进行备份)

我刚刚为gnome安装了硬件传感器小程序,并在CPU上设置了高低温警报,然后为每个警报设置以下命令:

低的:

mv /tmp/hogs.txt /tmp/hogs.txt.$$ && cat /tmp/hogs.txt.$$ | xargs -n1 kill -CONT

高的:

touch /tmp/hogs.txt && ps -eo pcpu,pid | sort -n -r | head -1 | gawk '{ print $2 }' >> /tmp/hogs.txt && xargs -n1 kill -STOP < /tmp/hogs.txt

好消息是我的电脑不再过热和崩溃。缺点是终端进程在停止时会与终端断开连接,并且在收到 CONT 信号时不会重新连接。另一件事是,如果它是一个导致过热的交互式程序(比如某个 Web 浏览器插件!),那么它会在我正在做的事情中间冻结,同时等待 CPU 冷却。让 CPU 缩放在全局级别上解决这个问题会更好,但问题是我的 CPU 上只有两个可选设置,并且慢速设置不足以防止过热。

在这里再次重申一下,这与进程优先级、重新调整完全无关,显然与停止运行很长时间的作业无关。这与防止 CPU 利用率长时间保持在 100% 有关,因为硬件在满负荷运行时无法足够快地散热(空闲 CPU 产生的热量比满载 CPU 少)。

其他一些可能有帮助的明显可能性是:

在 BIOS 中整体降低 CPU 速度

更换散热器或重新涂抹导热凝胶,看看是否有帮助

用一些压缩空气清洁散热器

更换CPU风扇

[编辑] 注意:当我在 BIOS(华硕 p5q pro turbo)中禁用可变风扇速度时,100% CPU 不会再过热。在 CPU 满载的情况下,每个内核的最高温度为 49 摄氏度。

于 2010-09-19T04:33:14.877 回答
3

在使用 的系统中systemd,您可以使用如下命令运行具有最大 CPU 使用率的单个进程:

    sudo systemd-run --scope --uid=1000 -p CPUQuota=20% my_heavy_computation.sh

这将使用多达 20% 的单个 CPU 内核(或 CPU 线程,如果使用超线程)。

于 2020-01-11T21:36:32.730 回答
2

您可以使用 cgroups 限制 CPU 时间。操作系统将像您在问题中要求的那样处理资源管理。

这是一个带有示例的 wiki:https ://wiki.archlinux.org/index.php/Cgroups

由于进程已经作为单独的用户运行,因此限制该用户的所有进程应该是最简单的解决方案。

于 2013-09-26T08:11:15.943 回答
2

我还需要限制某些进程的 CPU 时间。cpulimit 是一个很好的工具,但我总是要手动找出 PID 并手动启动 cpulimit,所以我想要更方便的东西。

我想出了这个 bash 脚本:

#!/bin/bash

function lp
{

ps aux | grep $1 | termsql "select COL1 from tbl" > /tmp/tmpfile

while read line
do
    TEST=`ps aux | grep "cpulimit -p $line" | wc -l`
    [[ $TEST -eq "2" ]] && continue #cpulimit is already running on this process
    cpulimit -p $line -l $2
done < /tmp/tmpfile

}

while true
do
    lp gnome-terminal 5
    lp system-journal 5
    sleep 10
done

此示例将每个 gnome-terminal 实例的 cpu 时间限制为 5%,并将每个 system-journal 实例的 cpu 时间也限制为 5%。

我在此示例中使用了我创建的另一个名为 termsql 的脚本来提取 PID 。你可以在这里得到它: https://gitorious.org/termsql/termsql/source/master

于 2014-04-25T15:40:43.487 回答
0

我看到至少两个选项:

  • 在创建进程的 shell 中使用“ulimit -t”
  • 在进程创建时使用“nice”或在运行时使用“renice”
于 2008-12-22T18:29:45.353 回答
0

PS + GREP + 不错

于 2008-12-22T20:51:57.750 回答
-1

nice命令可能会有所帮助。

于 2008-12-22T18:32:02.820 回答
-1

这可以使用 setrlimit(2) 来完成(特别是通过设置 RLIMIT_CPU 参数)。

于 2008-12-22T20:53:22.240 回答
-1

在那里抛出一些睡眠调用应该会强制进程在一段时间内离开 CPU。如果您每分钟睡一次 30 秒,那么您的进程在那一分钟内的平均 CPU 使用率不应超过 50%。

于 2008-12-22T21:47:08.870 回答
-1

我真的不明白你为什么要限制 CPU 时间......你应该限制那台机器上的总负载,而负载主要由 IO 操作决定。例如:如果我创建了一个 while(1){} 循环,它将使总负载达到 1.0,但如果这个循环执行某些磁盘写入,负载会跳转到 2.0...4.0。这就是杀死您的机器的原因,而不是 CPU 使用率。可以通过 nice/renice 轻松处理 CPU 使用率。

无论如何,您可以创建一个脚本,在负载过高时为特定 PID 执行“kill -SIGSTOP PID”,并在一切恢复正常时杀死 -SIGCONT ... PID 可以通过使用来确定px aux' 命令,因为我看到它显示了 CPU 使用率,并且您应该能够使用该列对列表进行排序。我认为这整个事情都可以在 bash 中完成......

于 2009-01-26T23:44:19.887 回答
-2

您可以按比例降低 CPU 频率。这样您就不必担心各个流程。当您需要更多 cpu 时,将频率调高。

于 2008-12-22T20:48:18.927 回答