2

我正在通过 Web 表单将 csv 文件加载到我的数据库中。

原始数据的顺序在每个 csv 文件中是一致的，但它会因文件而异，具体取决于源，所以我有一个预览表单，显示五行并允许您通过下拉列表分配一列表中的有效列名。

然后我使用 cgi 表单构建一个 INSERT 语句，并逐行解析 csv 文件以填充表。

但它的运行速度非常慢。我同时填充两个表，一个有 961402 行（7 列有值），另一个有 1835538​​ 行（1 列有值），每个已经运行了至少半小时。我只看到每秒 100 行新行。

你能看出这里有什么会减慢我的速度吗？

注意：我知道这里有一些丑陋的代码，这是我在弄清楚这种语言时编写的第一个 python cgi 脚本之一。

 for item in form:
          field = form.getvalue(item)
          field = cgi.escape(field)
          if field == 'null':
                  pass
          elif item == 'csvfile':
                  pass
          elif item == 'campaign':
                  pass
          elif item == 'numfields':
                  pass
          else:
                  colname = str(colname) + ", " + str(item)

                  colnum.append(field)
  assert(numfields > 0)
  placeholders = (numfields-1) * "%s, " + "%s"
  query = ("insert into %s (%s)" % (table, colname.lstrip(",")))
  with open(fname, 'rb') as f:
          reader = csv.reader(f)
          try:
                  record = 0
                  errors = 0
                  for row in reader:
                          try:
                                  record = record + 1
                                  data = ''
                                  for value in colnum:
                                          col = int(value)
                                          rawrow = row[col]
                                          saferow = rawrow.replace("'", "-")
                                          saferow = saferow.replace("-", "")
                                          data = str(data) + ", '" + saferow + "'"
                                  dataset = data.lstrip(',')
                                  insert = query + (" values (%s)" % dataset)
                                  cur.execute(insert)
                                  con.commit()
                                  print ".",
                          except IndexError, e:
                                  print "Row:%d file %s, %s<br>" % (reader.line_num, fname.lstrip("./files/"), e)
                                  errors = errors + 1
                          except csv.Error, e:
                                  print "Row:%s file %s, line %d: %s<br>" % (record, fname, reader.line_num, e)
                                  errors = errors + 1
                          except mdb.Error, e:
                                  print "Row:%s Error %d: %s<br>" % (record, e.args[0], e.args[1])
                                  errors = errors + 1
                          except:
                                  t,v,tb = sys.exc_info()
                                  print "Row:%s %s<br>" % (record, v)
                                  errors = errors + 1
          except csv.Error, e:
                  print "except executed<br>"
                  sys.exit('file %s, line %d: %s' % (fname, reader.line_num, e))
  print "Succesfully loaded %s into Campaign %s, <br>" % (fname.lstrip("./files/"), table)
  print record - errors, "new records.<br>"
  print errors, "errors.<br>"

编辑/更新：使用LOAD DATA LOCAL INFILE工作就像一个魅力，我在不到一分钟的时间内加载了 60 万条记录。

新代码也更干净。

    else:
            colnum.append([field, item])
sortlist =  sorted(colnum, key=itemgetter(0))
cols = ''
for colname in sortlist:
    cols = cols + "%s, " % colname[1]
cur.execute("LOAD DATA LOCAL INFILE '%s' IGNORE INTO TABLE %s FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' (%s)" % (fname, table, cols.rstrip(', ')))
con.commit()

唯一的问题是我必须做更多的工作来准备我的 csv 文件以确保数据完整性，否则，就像一个魅力。

4

2 回答 2

4

考虑到某些 SQL（如 mySQL）支持在单个插入命令或 LOAD DATA 语句（可以将 CSV 文件快速读取到服务器中）上包含一堆行，一次插入一行执行 INSERT INTO 非常慢。

另请参阅： https ://dba.stackexchange.com/questions/16809/why-is-load-data-infile-faster-than-normal-insert-statements

于 2012-05-01T18:39:20.793 回答
1

一些快速的伪代码。做这个：

for row in data_to_be_inserted:
    stmt = compose_statement("lalala")
    cursor.execute()

connection.commit()

不是

for row in data_to_be_inserted:
    stmt = compose_statement("lalala")
    cursor.execute()
    connection.commit()

Your code commit()s once per line of input. That slows it down significantly.

于 2012-05-01T18:46:46.207 回答