4

什么是删除文件中空列的最快方法。下面给出了一个示例文件。

我使用了 python 'pandas' 包，但是加载我的 2 GB 文件需要太多时间（大约 10 分钟后我没有得到答案，所以退出，因为我必须对许多文件执行此操作）。

df = read_table(inFileName, sep="\t")
df = df.dropna(axis=1,how='all') #remove columns

aaa bbb ccc ddd eee
1   a       c   
2   s       d   
3   d           
    f       d   
4   g       d   
5   h       e

我事先不知道哪些字段是空的。我正在使用 0.9.1 版本的“熊猫”

pkg_resources.get_distribution("pandas").version '0.9.1'

4

1 回答 1

2

好吧，我猜你发现你根本不想删除那些列。但这里是你如何做到这一点gawk。

awk -F "\t" 'ARGIND==1{
    for(i=1;i<=NF;i++)n[i]+=$i!=""
}ARGIND==2{
    if(!ok){for(i in n)if(!n[i])delete n[i];asorti(n);ok=1}
    for(i in n)printf("%s\t",$n[i]);printf("\n")
}' input.txt{,} > output.txt

这通过对文件进行两次传递来工作。第一个计算每列中的条目数，而第二个只打印至少有一次命中的列。对于您的示例文件（假设制表符分隔的列，并删除 aaa bbb 等标题，我得到了结果

1   a   c   
2   s   d   
3   d       
    f   d   
4   g   d   
5   h   e

但是糟糕，2 GB 的文本文件。你没有更合适的二进制格式来存储它吗？

于 2013-02-22T21:03:41.657 回答