unix - 在 Unix 上计算一列输出总和的最短命令？

Question

我确信有一种快速简便的方法来计算 Unix 系统上的一列值的总和（使用类似awk或xargs可能的东西），但是编写一个 shell 脚本来逐行解析行是唯一的事情此刻心里。

例如，修改以下命令以计算和显示 SEGSZ 列 (70300) 的总数的最简单方法是什么？

ipcs -mb | head -6
IPC status from /dev/kmem as of Mon Nov 17 08:58:17 2008
T         ID     KEY        MODE        OWNER     GROUP      SEGSZ
Shared Memory:
m          0 0x411c322e --rw-rw-rw-      root      root        348
m          1 0x4e0c0002 --rw-rw-rw-      root      root      61760
m          2 0x412013f5 --rw-rw-rw-      root      root       8192

score 87 · Accepted Answer

ipcs -mb | tail +4 | awk '{ sum += $7 } END { print sum }'

或者没有尾巴：

ipcs -mb | awk 'NR > 3 { sum += $7 } END { print sum }'

将 awk 与 bc 一起使用以获得任意长的结果（归功于Jouni K.）：

ipcs -mb | awk 'NR > 3 { print $7 }' | paste -sd+ | bc

score 13 · Accepted Answer

我会尝试构造一个计算字符串并将其提供给bc，如下所示：

grep包含数字的行
消除每行数字之前（和之后）的所有字符
xargs结果（获取由空格分隔的一串数字）
将空格转换为 '+' 字符
好胃口！

看起来这比awk解决方案略长，但对于无法阅读（和理解）奇怪awk代码的每个人来说，这可能更容易掌握...... :-)

如果未安装bc ，您可以在上面的步骤 5 中使用双括号来计算结果：

echo $(( $(ipcs -mb | grep -w '^m ' | sed 's/^.*\s//' | xargs | tr ' ' +) ))或者
SUM=$(( $(ipcs -mb | grep -w '^m ' | sed 's/^.*\s//' | xargs | tr ' ' +) ))或者
(( SUM=$(ipcs -mb | grep -w '^m ' | sed 's/^.*\s//' | xargs | tr ' ' +) ))

双括号前后的间距是可选的。

score 4 · Accepted Answer

我有一个实用程序脚本，它只是将所有列相加。从单行输出中获取所需的内容通常很容易。作为奖励，可以识别一些 SI 后缀。

#!/usr/bin/awk -f
# Sum up numerical values by column (white-space separated)
#
# Usage:  $0 [file ...]
#
# stern, 1999-2005

{
    for(i = 1; i <= NF; ++i) {
        scale = 1
        if ($i ~ /[kK]$/) { scale = 1000 }
        if ($i ~ /[mM]$/) { scale = 1000*1000 }
        if ($i ~ /[gG]$/) { scale = 1000*1000*1000 }
        col[i] += scale * $i;
    }
    if (NF > maxnf) maxnf = NF;
}

END {
    for(i = 1; i <= maxnf; ++i) { printf " %.10g", col[i] }
    print "";
}

带有自定义字段分隔符的示例：

$ head /etc/passwd | addcol -F:
0 0 45 39 0 0 0

score 3 · Accepted Answer

我知道这个问题有些过时，但我在这里看不到“我的”答案，所以我还是决定发布。我会结合

尾巴（得到你需要的线条）
tr（将多个连续空格缩小为一个）
剪切（仅获取所需的列）
粘贴（用+符号连接每一行）
bc（进行实际计算）

ipcs没有在我的系统上提供输出，所以我将通过以下方式进行演示df：

# df
Filesystem     1K-blocks    Used Available Use% Mounted on
rootfs          33027952 4037420  27312812  13% /
udev               10240       0     10240   0% /dev
tmpfs             102108     108    102000   1% /run
/dev/xvda1      33027952 4037420  27312812  13% /
tmpfs               5120       0      5120   0% /run/lock
tmpfs             204200       0    204200   0% /run/shm
/dev/xvda1      33027952 4037420  27312812  13% /var/www/clients/client1/web1/log
/dev/xvda1      33027952 4037420  27312812  13% /var/www/clients/client1/web2/log
/dev/xvda1      33027952 4037420  27312812  13% /var/www/clients/client1/web3/log
/dev/xvda1      33027952 4037420  27312812  13% /var/www/clients/client1/web4/log
/dev/xvda1      33027952 4037420  27312812  13% /var/www/clients/client2/web5/log
/dev/xvda1      33027952 4037420  27312812  13% /var/www/clients/client2/web6/log
# df | tail -n +2 | tr -s ' ' | cut -d ' ' -f 2 | paste -s -d+ | bc
264545284

我知道在我的系统上做这个特殊的计算并没有什么意义，但它显示了这个概念。

该解决方案的所有部分都已在其他答案中显示，但从未在该组合中显示。

score 2 · Accepted Answer

Python 解决方案

#!/usr/bin/env python
text= file("the_file","r")
total= 0
for line in text:
    data = line.split()
    if data[0] in ('T', 'Shared', 'IPC'): continue
    print line
    segsize= int(data[6])
    total += segsize
print total

大多数 Linux 发行版都有 Python。

如果要将标准输入作为管道的一部分进行处理，请使用

import sys
total = 0
for line in sys.stdin:
   ...etc...

如果您想假设总是有 3 个标题行：

import sys
total = 0
for line in sys.stdin.readlines()[3:]:
    total += int(line.split()[6])
print total

单线：

import sys; print sum( [int(line.split()[6]) for line in sys.stdin.splitlines()[3:]] )

score 1 · Accepted Answer

您可以从运行数据开始cut- 这至少会减少列。

然后，您应该能够将其通过管道传输到grep，剥离非数字。

然后......好吧，那我不确定。可以将其通过管道传输到bc. 如果没有，它当然可以交给一个 shell 脚本来添加每个项目。

如果您曾经tr将换行符 ( \n) 更改为空格 ( )，并通过 xargs 将其传送到循环直到没有更多输入的脚本中，然后添加每个输入，您可能会得到答案。

因此，类似于以下内容：

cat <whatever> | cut -d'\t` -f7 | grep -v <appropriate-character-class> | tr '\n' ' ' | xargs script-that-adds-arguments

我的cut标志可能略有错误 - 但man你的朋友是 :)

score 1 · Accepted Answer

您可以在任何在线 awk 参考资料中查找它：

ipcs | awk '
BEGIN { sum = 0 }
/0x000000/ { sum = sum + $2 }
END {print sum}'

score 0 · Accepted Answer

感谢上面的 Python 单线！它帮助我轻松检查驱动器上的已用空间。这是一个混合的 shell / Python 单线，它执行此操作 - 以兆字节为单位计算设备 /dev/sda 上的已用空间。我花了一些时间才发现它，所以，也许有人也觉得这很有用。

df -h -B 1M | grep dev/sda | tr -s ' '| cut -d' ' -f3 |python -c "import sys; print sum([int(num) for num in sys.stdin.readlines()])"

或更多 Python / 更少外壳：

 df -h -B 1M | python -c "import sys; print sum([int(l.split()[2]) for l in sys.stdin.readlines() if '/dev/sda' in l])"

再次感谢！

score 0 · Accepted Answer

要对列中的值求和，您可以使用 GNU datamash。由于前四行不包含您想要总结的值，我们用删除它们tail +4。

ipcs -mb  | tail +4 | datamash -W sum 7

该-W选项将字段分隔符设置为（可能是多个）空格。

score 0 · Accepted Answer

如果您有特定的多列要求和，您可以使用：

input_command | awk '{s1+=$1;s2+=$2;s3+=$3;s4+=$4;s5+=$5}END{print s1,s2,s3,s4,s5}'

如果您想对第 1-5 列求和，这将起作用。

score 0 · Accepted Answer

难以想象 perl 没有被举例说明！

参见perldoc perlrun-a（这意味着 -n）。并perldoc perlvar了解 $。和朋友。

$ df |perl -aE'$.<2or$u+=$F[2]}{say"Used: $u"'
Used: 129016836

如果你真的想发疯：

$ df -h |perl -anE'$|=1;
  BEGIN{%M=(""=>1,k=>1e3,K=>2**10,M=>2**20,G=>2**30,T=>2**40);%D=reverse%M}
  print;
  if($.<2){@V=map length(),/\s*+[^a-z]\S*(?:\s+[a-z]+)*/g;next} # parse header
  ($w=($_==$#V)+length($F[$_])-$V[$_])>0 and do{$V[$_]+=$w;$_<$#V and $V[$_+1]-=$w} for 0..$#F; # optimize column widths
  $S[$_]+=($F[$_]=~/^(\d+(?:[.]\d*)?)([kKMGT])?$/aa?$1*$M{($D||=$2)&&$2}:-Inf)for 0..$#F; # scale numeric values
}{ # show results
  say join("",map+("-"x($V[$_]-1)).($S[$_]<0?"^":"+"),0..$#V);
  $V[$_]+=$V[$_-1]for 1..$#V;
  if($D){for$s(@S){@s=sort{$b<=>$a}grep{$_<$s}keys%D and$s=sprintf"%.1f%s",$s/$s[0],$D{$s[0]}}}
  say sprintf+("%s%*s"x@S),map{((!$p||($_>0 and length($S[$_])>=($w=($V[$_]-$V[$_-1])))?(($q?"\n":(($p=$q=1)&&"")),$V[$_]):("",0+$w)),$S[$_])}grep{$S[$_]!=-Inf}0..$#S;
'

unix - 在 Unix 上计算一列输出总和的最短命令？

11 回答 11

Related

Reference