[使用 Python3.x] 基本思想是我必须运行第一个查询来提取一长串 ID(文本)(大约一百万个 ID),并在另一个 WHERE 语句中的 IN() 子句中使用这些 ID询问。我正在使用 python 字符串格式化来实现这一点,并且如果 ID 的数量很少 - 比如 100k - 效果很好 - 但是pyodbc.Error: ('08S01', '[08S01] [MySQL][ODBC 5.2(a) Driver][mysqld-5.5.31-MariaDB-log]MySQL server has gone away (2006) (SQLExecDirectW)')
当集合确实大约有一百万个 ID 长时给我一个错误 ()。
我试着读了一下,并认为它可能有一些由 SQLite 设置的默认(?)限制。另外我想知道我是否以正确的方式处理这个问题。
这是我的代码:
第 1 步:获取 ID
def get_device_ids(con_str, query, tb_name):
local_con = lite.connect('temp.db')
local_cur = local_con.cursor()
local_cur.execute("DROP TABLE IF EXISTS {};".format(tb_name))
local_cur.execute("CREATE TABLE {} (id TEXT PRIMARY KEY, \
lang TEXT, first_date DATETIME);".format(tb_name))
data = create_external_con(con_str, query)
device_id_set = set()
with local_con:
for row in data:
device_id_set.update([row[0]])
local_cur.execute("INSERT INTO srv(id, lang, \
first_date) VALUES (?,?,?);", (row))
lid = local_cur.lastrowid
print("Number of rows inserted into SRV: {}".format(lid))
return device_id_set
第 2 步:使用“动态”IN() 子句生成查询
def gen_queries(ids):
ids_list = str(', '.join("'" + id_ +"'" for id_ in ids))
query = """
SELECT e.id,
e.field2,
e.field3
FROM table e
WHERE e.id IN ({})
""".format(ids_list)
return query
第 3 步:在另一个 INSERT 查询中使用该查询
这就是事情出错的地方
def get_data(con_str, query, tb_name):
local_con = lite.connect('temp.db')
local_cur = local_con.cursor()
local_cur.execute("DROP TABLE IF EXISTS {};".format(tb_name))
local_cur.execute("CREATE TABLE {} (id TEXT, field1 INTEGER, \
field2 TEXT, field3 TEXT, field4 INTEGER, \
PRIMARY KEY(id, field1));".format(tb_name))
data = create_external_con(con_str, query) # <== THIS IS WHERE THAT QUERY IS INSERTED
device_id_set = set()
with local_con:
for row in data:
device_id_set.update(row[1])
local_cur.execute("INSERT INTO table2(id, field1, field2, field3, \
field4) VALUES (?,?,?,?,?);", (row))
lid = local_cur.lastrowid
print("Number of rows inserted into table2: {}".format(lid))
很感谢任何形式的帮助!
编辑
这可能是解决我的问题的正确方法,但是当我尝试使用时"SET SESSION max_allowed_packet=104857600"
出现错误:SESSION variable 'max_allowed_packet' is read-only. Use SET GLOBAL to assign the value (1621)
. 然后,当我尝试将 SESSION 更改为 GLOBAL 时,我收到拒绝访问消息。