1

我正在尝试编写一个 python 脚本，该脚本将加载我使用 SQL 在 pyhton 中创建的表，并使用来自文本文件的数据自动填充它们。我被困在基本编码上。我确实有一个大致的想法，但是当我尝试运行这种方法时出现错误。我创建了 2 个表。我已阅读文件。该文件是一个逗号分隔的文本文件，没有标题。

文件的前 3 行如下所示。

+ ---- + ----- + -------------------- + -------- + - + --- + ----- +
| John | Smith | 111 N. Wabash Avenue | plumber  | 5 | 1.0 | 200   |
| John | Smith | 111 N. Wabash Avenue | bouncer  | 5 | 1.0 | 200   |
| Jane | Doe   | 243 S. Wabash Avenue | waitress | 1 | 5.0 | 10000 |
+ ---- + ----- + -------------------- + -------- + - + --- + ----- +

import sqlite3
conn= sqlite3.connect('csc455.db')
c = conn.cursor()

#Reading the data file
fd = open ('C:/Users/nasia/Documents/data_hw2.txt','r')
data = fd.readlines()

#Creating Tables
>>> L = """create table L
... (first text, last text, address text, job text, LNum integer,
... constraint L_pk
... primary key(first, last, address, job),
... constraint L_fk
... foreign key (LNum) references LN(LNum)
... );"""
>>> c.execute(L)

LN = """create table LN
... (
... LNum integer, Interest float, Amount, Integer,
... constraint LN_pk
 ... primary key (LNum)
... );"""
 c.execute(LN)

#Inserting into database
for elt in data:
...     currentRow = elt.split(", ")[:-1]
...     insert = """(insert into LN values (%s, %s, %s);, %(currentRow[4], currentRow[5], currentRow[6]))"""
...     c.execute(insert)

这里有一些语法错误。代码停止工作。我无法弄清楚我做错了什么。错误是 Traceback (last last call last): File "", line 4, in OperationalError: near "(": syntax error

我不知道我在做什么错

4

2 回答 2

3

如果您可以使用标准sqlite3实用程序，则可以更轻松地完成：

sqlite3 -init mydata.sql mydatabase.db ""

只需从你的 python 脚本中调用这一行，你就完成了。

这将读取任何包含有效 SQL 语句的文本文件，如果 mydatabase.db 不存在，则会创建它。更重要的是，它支持超过一行的语句，并且还可以正确忽略使用--comment语法和 C/C++ 类/*comment*/语法的 SQL 注释。

通常，您的mydata.sql内容应如下所示：

BEGIN TRANSACTION;
CREATE TABLE IF NOT EXISTS table1 (
    id INTEGER PRIMARY KEY AUTO_INCREMENT,
    name VARCHAR(32)
);
INSERT INTO table1 (name) VALUES
('John'),
('Jack'),
('Jill');
-- more statements ...
COMMIT;
于 2013-10-06T03:33:51.590 回答
3

你还没有解释数据的格式，或者你的表结构是什么，或者你想如何映射它们，这使得这个问题很难回答。但我会自己编，回答这个问题，希望它会有所帮助：

infile.txt：

CommonName,Species,Location,Color
Black-headed spider monkey,Ateles fusciceps,Ecuador,black
Central American squirrel monkey,Saimiri oerstedii,Costa Rica,orange
Vervet,Chlorocebus pygerythrus,South Africa,white

脚本.py

import csv
import sqlite3

db = sqlite3.connect('outfile.db')
cursor = db.cursor()
cursor.execute('CREATE TABLE Monkeys (Common Name, Color, Species)')
cursor.execute('''CREATE TABLE MonkeyLocations (Species, Location,
                  FOREIGN KEY(Species) REFERENCES Monkeys(Species))''')
with open('infile.txt') as f:
    for row in csv.DictReader(f):
        cursor.execute('''INSERT INTO Monkeys 
                          VALUES (:CommonName, :Color, :Species)''', row)
        cursor.execute('''INSERT INTO MonkeyLocations 
                          VALUES (:Species, :Location)''', row)
db.commit()
db.close()

当然，如果您的真实数据是 CSV 以外的其他格式，您将使用不同的代码来解析输入文件。

我还让事情变得比您可能需要处理的真实数据稍微复杂一些——CSV 列的名称与 SQL 列的名称不同。

在其他方面，您的数据可能更复杂——例如，如果您的架构具有引用自动递增行 ID 而不是文本字段的外键，则您需要在第一次插入后获取 rowid。

但这应该足以给你这个想法。

现在您已经显示了更多详细信息……您走在了正确的轨道上（尽管调用readlines而不是直接迭代很浪费fd，并且您应该关闭数据库和文件，最好使用with语句……），但是您已经接近尾声的一个简单错误会阻止你走得更远：

insert = """(insert into LN values (%s, %s, %s);, %(currentRow[4], currentRow[5], currentRow[6]))"""
c.execute(insert)

您已将格式化%表达式直接放入字符串中，而不是在字符串上使用运算符。我认为你试图做的是：

insert = """insert into LN values (%s, %s, %s);""" % (currentRow[4], currentRow[5], currentRow[6])
c.execute(insert)

但是，您不应该这样做。相反，请执行以下操作：

insert = """insert into LN values (?, ?, ?);"""
c.execute(insert, (currentRow[4], currentRow[5], currentRow[6]))

有什么不同？

好吧，第一个只是将值作为 Python 字符串插入到语句中。这意味着您必须自己处理转换为正确的格式、引用、转义等，而不是让数据库引擎决定如何处理每个值。当您尝试保存布尔值或忘记引用字符串时，除了会成为令人沮丧的错误来源之外，除非您非常小心，否则这还会使您容易受到SQL 注入攻击。

除此之外还有其他问题。例如，大多数数据库会尝试缓存重复的语句，并且告诉 3000 个实例insert into LN values (?, ?, ?)都是相同的语句是微不足道的，但要告诉它insert into LN values (5, 1.0, 200)并且insert into LN values (1, 5.0, 5000)是相同的语句就更少了。

于 2013-10-06T03:39:44.177 回答