3

我正在尝试加载和解析一个非常大的文本文件。虽然加载不是问题，但有些特定的行在一行上有 2908778 个字符。

这导致我的脚本出错。

在下面的脚本中，我删除了所有逻辑并直接阅读行。我还删除了所有有效行，只是将很长的行留在了一个文本文件中。运行时出现以下错误：

$ dowhiledebug.sh dump.txt
dowhiledebug.sh[6]: no space
Script Ended dump.txt

实际脚本：

 #!/bin/sh
 filename=$1
 count=1
 if [ -f ${filename} ]; then
    echo "after then"
    while read line;
            do
            echo "$count"
            count=$((count+1))
            done < $filename
 else
    echo "Could not open file $filename"
 fi
 echo "Script Ended $filename"

更新（2013-01-17）

后续问题：是否可以增加 ksh 变量接受的最大字符数？

4

2 回答 2

6

什么操作系统和 ksh 版本？你能echo ${.sh.version}得到一个值吗？如果是这样，请在上面的问题中包括。或者这可能是pdksh？

假设现代 ksh 支持(( i++ ))数学评估，这里有一个测试可以帮助您了解情况：

#100 char var
var=1234578901234456789012345678901234567890123456789012345789012344567890123456789012345678901234567890

$ while (( i++ < 10000 )) ;do  var="$var$var" ; print "i=$i\t" ${#var} ; done
i=1      200
i=2      400
i=3      800
i=4      1600
i=5      3200
i=6      6400
i=7      12800
i=8      25600
i=9      51200
i=10     102400
i=11     204800
i=12     409600
i=13     819200
i=14     1638400
i=15     3276800
i=16     6553600
i=17     13107200
i=18     26214400
i=19     52428800
i=20     104857600
i=21     209715200
i=22     419430400
-ksh: out of memory

$ print -- ${.sh.version}
Version JM 93t+ 2010-05-24

这只是可以支持的环境的整体规模。在处理命令行环境和程序名称后的“字”时，字数是有限制的，无论整体大小如何。

一些 shell 手册页会有一个 LIMITS 部分，可能会显示类似max-bytes 200MB, max-args 2048. 这些信息可能在不同的部分，肯定会有不同的标签和不同的值，或者它可能根本不存在，因此上面的代码循环，所以仔细看看，如果你找到了这个信息的来源，或者添加这个 Q 的答案，或者更新这个。

bash 4.4标准手册页似乎没有这些信息，而且一直很难找到文档ksh。检查您的man ksh并希望您能找到记录在案的限制。

IHTH

于 2013-01-17T04:23:47.923 回答
1

任何 shell 的限制是 C 命令行最大值的限制。这是一个为您提取信息的小程序/usr/include/limits.h：

cpp <<HERE | tail -1
#include <limits.h>
ARG_MAX
HERE

我的给了我 (256 * 1024) 或 262144 个字符。

如果未安装 C 编译器，则不起作用，但它可能是类似的限制。

于 2013-01-17T03:07:48.803 回答