77

例如,Python 中的文件是可迭代的——它们迭代文件中的行。我想计算行数。

一种快速的方法是这样做:

lines = len(list(open(fname)))

但是,这会将整个文件加载到内存中(一次)。这反而违背了迭代器的目的(只需要将当前行保留在内存中)。

这不起作用:

lines = len(line for line in open(fname))

因为发电机没有长度。

除了定义计数函数之外,还有什么方法可以做到这一点?

def count(i):
    c = 0
    for el in i: c += 1
    return c

为了澄清,我知道必须阅读整个文件!我只是不想一下子在记忆中

4

10 回答 10

87

没有遍历可迭代对象并计算迭代次数,没有。这就是使它成为可迭代而不是列表的原因。这甚至不是一个特定于 python 的问题。看看经典的链表数据结构。查找长度是一个 O(n) 操作,涉及迭代整个列表以查找元素的数量。

正如上面提到的 mcrute ,您可能可以将您的功能简化为:

def count_iterable(i):
    return sum(1 for e in i)

当然,如果您要定义自己的可迭代对象,您总是可以__len__自己实现并在某处保留元素计数。

于 2008-12-24T06:23:35.833 回答
24

如果您需要计算行数,您可以这样做,我不知道有什么更好的方法:

line_count = sum(1 for line in open("yourfile.txt"))
于 2008-12-24T06:03:06.747 回答
16

cardinality包提供了一个高效的count()函数和一些相关的函数来计算和检查任何迭代的大小:http://cardinality.readthedocs.org/

import cardinality

it = some_iterable(...)
print(cardinality.count(it))

在内部,它使用enumerate()andcollections.deque()将所有实际的循环和计数逻辑移动到 C 级别,从而大大提高了forPython 中的循环速度。

于 2015-02-07T18:04:18.553 回答
11

我已经使用这个重新定义一段时间了:

def len(thingy):
    try:
        return thingy.__len__()
    except AttributeError:
        return sum(1 for item in iter(thingy))
于 2008-12-24T07:49:02.383 回答
9

事实证明,这个常见问题有一个已实施的解决方案。考虑使用ilen()函数 from more_itertools

more_itertools.ilen(iterable)

在文件中打印多行的示例(我们使用该with语句来安全地处理关闭文件):

# Example
import more_itertools

with open("foo.py", "r+") as f:
    print(more_itertools.ilen(f))

# Output: 433

此示例返回的结果与之前为文件中的总计行提供的解决方案相同:

# Equivalent code
with open("foo.py", "r+") as f:
    print(sum(1 for line in f))

# Output: 433
于 2016-12-12T17:48:12.220 回答
8

绝对不是,原因很简单,可迭代对象不能保证是有限的。

考虑这个完全合法的生成器函数:

def forever():
    while True:
        yield "I will run forever"

试图计算这个函数的长度len([x for x in forever()])显然是行不通的。

正如您所指出的,迭代器/生成器的大部分目的是能够处理大型数据集,而无需将其全部加载到内存中。您无法立即获得长度这一事实应被视为一种权衡。

于 2008-12-24T06:54:08.033 回答
2

因为显然当时没有注意到重复,所以我也会在此处发布我对重复的答案的摘录:

有一种方法可以比sum(1 for i in it)当迭代可能很长时执行得更快(当迭代很短时不会显着变慢),同时保持固定的内存开销行为(与 不同len(list(it)))以避免较大输入的交换抖动和重新分配开销。

# On Python 2 only, get zip that lazily generates results instead of returning list
from future_builtins import zip

from collections import deque
from itertools import count

def ilen(it):
    # Make a stateful counting iterator
    cnt = count()
    # zip it with the input iterator, then drain until input exhausted at C level
    deque(zip(it, cnt), 0) # cnt must be second zip arg to avoid advancing too far
    # Since count 0 based, the next value is the count
    return next(cnt)

len(list(it))ilen(it)在 CPython 上用 C 代码执行循环(dequecount并且zip都是用 C 实现的);避免每个循环执行字节码通常是 CPython 性能的关键。

我不会在这里重复所有性能数字,而是用完整的性能细节向您指出我的答案

于 2018-11-08T15:26:37.873 回答
1

对于过滤,可以使用此变体:

sum(is_good(item) for item in iterable)

它可以自然地读作“count good items”,并且比:

sum(1 for item in iterable if is_good(item)))

True注意:在数字上下文中计算的事实1在文档(https://docs.python.org/3.6/library/stdtypes.html#boolean-values)中指定,所以这种强制不是黑客(而不是其他一些语言,如 C/C++)。

于 2018-06-26T06:12:42.423 回答
0

如果您考虑一下,我们将如何建议您在不读取整个文件的换行符的情况下找到文件中的行数?当然,你可以找到文件的大小,如果你能保证一行的长度是x,你就可以得到一个文件的行数。但除非你有某种约束,否则我根本看不出这是如何工作的。此外,由于迭代可以无限长......

于 2008-12-24T06:39:10.030 回答
-1

我在我的一些代码中的两个常用程序之间进行了测试,它找到了 n 个顶点上有多少个图,以查看哪种计算生成列表的元素的方法更快。Sage 有一个生成器 graphs(n),它在 n 个顶点上生成所有图。我创建了两个函数,它们以两种不同的方式获取迭代器获得的列表的长度,并使用 time.time() 函数对它们中的每一个进行计时(平均超过 100 次测试运行)。功能如下:

def test_code_list(n):
    l = graphs(n)
    return len(list(l))

def test_code_sum(n):
    S = sum(1 for _ in graphs(n))
    return S

现在我为每种方法计时

import time

t0 = time.time()
for i in range(100):
    test_code_list(5)
t1 = time.time()

avg_time = (t1-t0)/10

print 'average list method time = %s' % avg_time


t0 = time.time()
for i in range(100):
    test_code_sum(5)
t1 = time.time()

avg_time = (t1-t0)/100

print "average sum method time = %s" % avg_time

平均列表方法时间 = 0.0391882109642

平均求和方法时间 = 0.0418473792076

因此,以这种方式计算 n=5 个顶点上的图数,list 方法稍微快一些(尽管 100 次测试运行并不是一个很好的样本量)。但是,当我通过在 n=7 个顶点上尝试图形来增加正在计算的列表的长度时(即将图形(5)更改为图形(7)),结果是这样的:

平均列表方法时间 = 4.14753051996

平均求和方法时间 = 3.96504004002

在这种情况下,sum 方法稍微快一些。总而言之,这两种方法的速度大致相同,但差异可能取决于您列表的长度(也可能只是我平均只进行了 100 多次测试,这不是很高 - 会永远花费除此以外)。

于 2017-12-13T03:22:31.760 回答