0

我对每个元素都有一个非常大的列表，我必须对其进行许多操作。本质上，列表的每个元素都以各种方式附加，然后用于生成对象。然后使用这些对象生成另一个列表。

不幸的是，以幼稚的方式执行此操作会占用所有可用内存。

因此，我想做以下事情：

for a in b:
    # Do many things with a
    c.append(C(modified_a))
    b[b.index(a)] = None # < Herein lies the rub

这似乎违反了在迭代期间不应修改列表的想法。有没有更好的方法来进行这种手动垃圾收集？

4

3 回答 3

2

这应该不是问题，因为您只是为列表元素分配新值，而不是真正删除它们。

但是，您可能应该使用 enumerate，而不是使用 index 方法搜索 a。

另请参阅此处： http ://unspecified.wordpress.com/2009/02/12/thou-shalt-not-modify-a-list-during-iteration/ “首先，让我明确一点，在本文中，当我说“修改”，我的意思是从列表中插入或删除项目。仅仅更新或改变列表项目就可以了。

于 2013-02-13T20:03:02.980 回答
0

您最好的选择是生成器：

def gen(b):
   for a in b:
      # Do many things with a
      yield a

在这里正确完成，不需要额外的内存。

于 2013-02-14T06:27:07.927 回答
-1

您的代码有几个问题。

首先，分配None给列表元素不会删除它：

>>> l=[1,2,3,4,5,6,6,7,8,9]
>>> len(l)
10
>>> l[l.index(5)]=None
>>> l
[1, 2, 3, 4, None, 6, 6, 7, 8, 9]
>>> len(l)
10

其次，使用索引来查找要更改的元素根本不是有效的方法。

您可以使用枚举，但您仍然需要循环删除这些None值。

for i,a in enumerate(b):
    # Do many things with a
    b[i]=C(modified_a)
    b[i]=None 
c=[e for e in b if e is not None]

您可以使用列表推导将新的“a”值复制到 c 列表中，然后删除 b：

c=[do_many_things(a) for a in b]
del b                              # will still occupy memory if not deleted...

或者，如果您希望 b 被原地修改，您可以使用slice assignment：

b[:]=[do_many_things(a) for a in b]

切片分配以这种方式工作：

#shorted a list
>>> b=[1,2,3,4,5,6,7,8,9]
>>> b[2:7]=[None]
>>> b
[1, 2, None, 8, 9]

#expand a list
>>> c=[1,2,3]
>>> c[1:1]=[22,33,44]
>>> c
[1, 22, 33, 44, 2, 3]

# modify in place
>>> c=[1,2,3,4,5,6,7]
>>> c[0:7]=[11,12,13,14,15,16,17]
>>> c
[11, 12, 13, 14, 15, 16, 17]

您可以在列表理解中使用它，如下所示：

>>> c=list(range(int(1e6)))
>>> c[:]=[e for e in c if e<10]
>>> c
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

其中一条评论指出，切片分配并没有完全修改到位；生成一个临时列表。那是真实的。但是，让我们看看这里的总时间：

import time
import random
fmt='\t{:25}{:.5f} seconds' 
count=int(1e5)
a=[random.random() for i in range(count)]
b=[e for e in a]

t1=time.time()
for e in b:
    if e<0.5: b[b.index(e)]=None  
c=[e for e in b if e is not None]    
print(fmt.format('index, None',time.time()-t1))

b=[e for e in a]
t1=time.time()
for e in b[:]:
    if e<0.5: del b[b.index(e)]  
print(fmt.format('index, del',time.time()-t1))

b=[e for e in a]
t1=time.time()
for i,e in enumerate(b[:]):
    if e<0.5: b[i]=None
c=[e for e in b if e is not None]    
print(fmt.format('enumerate, copy',time.time()-t1))

t1=time.time()
c=[e for e in a if e<.5]
del a
print(fmt.format('c=',time.time()-t1))

b=[e for e in a]
t1=time.time()
b[:]=[e for e in b if e<0.5]
print(fmt.format('a[:]=',time.time()-t1))

在我的电脑上，打印这个：

index, None              87.30604 seconds
index, del               28.02836 seconds
enumerate, copy          0.02923 seconds
c=                       0.00862 seconds
a[:]=                    0.00824 seconds

或者，如果这没有帮助，请使用 numpy 以获得更优化的数组选项。

于 2013-02-13T20:11:28.473 回答