如何使用 Red Hat Linux 上的标准工具随机化文件中的行？
我没有shuf命令，所以我正在寻找完成相同任务的类似perl或单线的东西。awk
问问题
79379 次
11 回答
222
嗯，别忘了
sort --random-sort
于 2009-05-20T11:42:22.757 回答
124
shuf是最好的方法。
sort -R非常缓慢。我只是尝试对 5GB 文件进行排序。2.5小时后我放弃了。然后shuf一分钟就整理好了。
于 2012-02-10T16:16:27.587 回答
64
你得到一个 Perl 单行代码！
perl -MList::Util -e 'print List::Util::shuffle <>'
它使用一个模块，但该模块是 Perl 代码分发的一部分。如果这还不够好，您可以考虑自己滚动。
我尝试将它与-i标志（“就地编辑”）一起使用来编辑文件。文档表明它应该可以工作，但事实并非如此。它仍然将混洗后的文件显示到标准输出，但这次它删除了原始文件。我建议你不要使用它。
考虑一个 shell 脚本：
#!/bin/sh
if [[ $# -eq 0 ]]
then
echo "Usage: $0 [file ...]"
exit 1
fi
for i in "$@"
do
perl -MList::Util -e 'print List::Util::shuffle <>' $i > $i.new
if [[ `wc -c $i` -eq `wc -c $i.new` ]]
then
mv $i.new $i
else
echo "Error for file $i!"
fi
done
未经测试，但希望有效。
于 2009-05-20T05:17:02.323 回答
24
cat yourfile.txt | while IFS= read -r f; do printf "%05d %s\n" "$RANDOM" "$f"; done | sort -n | cut -c7-
读取文件，在每一行前面加上一个随机数，根据这些随机前缀对文件进行排序，然后剪掉前缀。应该在任何半现代外壳中工作的单衬里。
编辑：纳入理查德汉森的言论。
于 2009-05-20T05:36:18.203 回答
9
python的单线：
python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile
并且只打印一条随机线：
python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile
但请参阅这篇文章了解 python 的缺点random.shuffle()。它不适用于许多（超过 2080 个）元素。
于 2013-07-11T07:29:22.973 回答
5
与吉姆的回答相关：
我的~/.bashrc包含以下内容：
unsort ()
{
LC_ALL=C sort -R "$@"
}
使用 GNU coreutils 的排序-R= --random-sort，它生成每行的随机散列并按其排序。在某些较旧（错误）版本中，随机哈希实际上不会在某些语言环境中使用，导致它返回正常的排序输出，这就是我设置LC_ALL=C.
与克里斯的回答相关：
perl -MList::Util=shuffle -e'print shuffle<>'
是稍短的单线。（-Mmodule=a,b,c是 的简写-e 'use module qw(a b c);'。）
给它一个简单的原因-i对于就地改组不起作用是因为 Perl 期望print在读取文件的同一个循环中发生，并且print shuffle <>在所有输入文件都被读取并关闭之前不会输出。
作为一个较短的解决方法，
perl -MList::Util=shuffle -i -ne'BEGIN{undef$/}print shuffle split/^/m'
将就地打乱文件。（-n意思是“将代码包装在一个while (<>) {...}循环中；BEGIN{undef$/}使 Perl 一次对文件进行操作，而不是一次对行进行操作，这split/^/m是必需的，因为$_=<>已经隐式地对整个文件而不是行进行了操作。）
于 2009-05-20T16:20:04.740 回答
3
当我用自制软件安装 coreutils
brew install coreutils
shuf变为可用n。
于 2013-04-11T02:02:48.007 回答
1
带有 DarwinPorts 的 Mac OS X：
sudo port install unsort
cat $file | unsort | ...
于 2013-07-16T12:38:51.773 回答
1
FreeBSD 有它自己的随机工具：
cat $file | random | ...
它在 /usr/games/random 中，所以如果你还没有安装游戏，那你就不走运了。
您可以考虑安装诸如 textproc/rand 或 textproc/msort 之类的端口。如果考虑到可移植性，这些很可能在 Linux 和/或 Mac OS X 上可用。
于 2013-07-16T12:52:50.160 回答
-1
在 OSX 上，从http://ftp.gnu.org/gnu/coreutils/获取最新信息，例如
./configure make sudo make install
...应该给你 /usr/local/bin/sort --random-sort
不搞乱 /usr/bin/sort
于 2011-03-28T12:35:30.627 回答
-1
或者从 MacPorts 获取：
$ sudo port install coreutils
和/或
$ /opt/local//libexec/gnubin/sort --random-sort
于 2011-10-14T17:38:31.193 回答