我的程序每隔几秒钟就会消耗一个兆。我读到python在垃圾收集中看不到游标,所以我觉得我可能在使用时做错了pydbc
,sqlalchemy
并且可能没有在某处关闭某些东西?
#Set up SQL Connection
def connect():
conn_string = 'DRIVER={FreeTDS};Server=...;Database=...;UID=...;PWD=...'
return pyodbc.connect(conn_string)
metadata = MetaData()
e = create_engine('mssql://', creator=connect)
c = e.connect()
metadata.bind = c
log_table = Table('Log', metadata, autoload=True)
...
atexit.register(cleanup)
#Core Loop
line_c = 0
inserts = []
insert_size = 2000
while True:
#line = sys.stdin.readline()
line = reader.readline()
line_c +=1
m = line_regex.match(line)
if m:
fields = m.groupdict()
...
inserts.append(fields)
if line_c >= insert_size:
c.execute(log_table.insert(), inserts)
line_c = 0
inserts = []
我是否应该将元数据块或其中的一部分移动到插入块并关闭每个插入的连接?
编辑:
问:它是否都稳定了?
A:只有当你计算 Linux 吹走进程时:-) (图表确实从内存使用中排除了缓冲区/缓存)