5

我正在编写一个 Python 脚本，该脚本旨在从 MySQL 数据库中提取、处理和更新。

我最初开始使用 MySQL 数据库的逗号分隔值转储来解决这个问题，我会将其放入 sqlite 数据库（使用 sqlite3）。我将在 Python (2.7) 中进行处理，创建一个输出的 CSV 文件，我将使用另一个脚本将其上传回 MySQL 数据库。

好吧，然后我想我会尝试直接从 Python 脚本中拉/推到 MySQL 数据库。所以我安装了 MySQLdb，然后就去了城里。

我现在发现的是我INSERT从 MySQL 数据库（到 sqlite 数据库）中的 s 没有像以前那样加入。整数的表示现在在末尾添加了一个 L，十进制值表示为类似Decimal('4.00').

基本上，JOIN当我从 CSV 文件中插入它们时编辑得很好的东西现在效果不太好。

我的问题：我是在要求一个痛苦的世界继续沿着这条路走下去，还是有一种简单的方法可以让 MySQLdb 和 sqlite3 库一起玩？如果没有，那么我将安装一个 MySQL 服务器并重构我的代码以仅使用 MySQL。

4

2 回答 2

6

每个数据库后端都支持不同类型的数据。sqlite 和 mysqldb python 模块尝试通过基于字段类型进行适当的类型转换来帮助您。因此，如果您的 mysql 数据库有一个 DECIMAL 字段，MySQLdb 将自动将该字段作为 Python Decimal 对象返回。

您可以请求 MySQLdb（如果需要，还可以请求 sqlite）在数据库和 Python 类型之间进行适当的类型转换。由您决定适合的类型转换。例如，由于您的数据库有一个 DECIMAL 字段，那么您将如何在没有原生 DECIMAL 字段的 sqlite 中表示该值？您可能最终会使用 REAL，但当然这与 DECIMAL 不同，后者将保持所需的精度。

由于您已经从 csv 数据转换，我怀疑您一直在使用 Python 浮点类型，这表明您很乐意将 MySQL 十进制字段转换为浮点类型。在这种情况下，您可以请求 MySQLdb 从 DECIMAL 进行转换以浮动所有字段结果。

这是一个示例代码，它创建了两个表，一个在 mysqldb 和 sqlite 中。MySQL 版本有一个 DECIMAL 字段。您可以在query_dbs函数中看到如何创建自己的转换函数。

#!/usr/bin/env python

import os
import sqlite3
import MySQLdb
from MySQLdb.constants import FIELD_TYPE

user = os.getenv('USER')

def create_mysql_table():
    conn = MySQLdb.connect(user=user, db='foo')
    c = conn.cursor()
    c.execute("DROP TABLE stocks")
    c.execute("CREATE TABLE stocks"
              "(date text, trans text, symbol text, qty real, price Decimal(10,2) UNSIGNED NOT NULL)")
    c.execute("INSERT INTO stocks VALUES ('2006-01-05','BUY','RHAT',100,35.14)")
    conn.commit()

def create_sqlite_table():
    conn = sqlite3.connect('test.db')
    c = conn.cursor()
    c.execute("DROP TABLE stocks")
    c.execute("CREATE TABLE stocks"
              "(date text, trans text, symbol text, qty real, price real)")
    c.execute("INSERT INTO stocks VALUES ('2006-01-05','BUY','RHAT',100,35.14)")
    conn.commit()

def query_dbs(use_type_converters):
    conn = sqlite3.connect('test.db')
    c = conn.cursor()
    for row in c.execute('SELECT * FROM stocks'):
        print 'SQLITE: %s' % str(row)

    type_converters = MySQLdb.converters.conversions.copy()

    if use_type_converters:
        type_converters.update({
            FIELD_TYPE.DECIMAL: float,
            FIELD_TYPE.NEWDECIMAL: float,
        })

    conn = MySQLdb.connect(user=user, db='foo', conv=type_converters)
    c = conn.cursor()
    c.execute('SELECT * FROM stocks')
    for row in c.fetchall():
        print 'MYSQLDB: %s' % str(row)

create_sqlite_table()
create_mysql_table()

print "Without type conversion:"
query_dbs(False)
print "With type conversion:"
query_dbs(True)

该脚本在我的机器上产生以下输出：

Without type conversion:
SQLITE: (u'2006-01-05', u'BUY', u'RHAT', 100.0, 35.14)
MYSQLDB: ('2006-01-05', 'BUY', 'RHAT', 100.0, Decimal('35.14'))
With type conversion:
SQLITE: (u'2006-01-05', u'BUY', u'RHAT', 100.0, 35.14)
MYSQLDB: ('2006-01-05', 'BUY', 'RHAT', 100.0, 35.14)

这表明，默认情况下 MySQLdb 返回 Decimal 类型，但可以强制返回不同的类型，适用于 sqlite。

然后，一旦您在两个数据库之间标准化了所有类型，您就不应该再遇到连接问题。

Python MySQLdb 文档在这里

于 2013-10-04T05:12:25.193 回答
2

sqlite3 和 MySQLdb 之间没有冲突，所以你应该可以在同一个程序中使用它们。但是，您也可以考虑使用SQLAlchemy，它为两种数据库提供了更高级别的接口。

至于您实际看到此问题的原因，您描述的症状表明您错误地将数字转换为字符串 - 特别是您使用repr()而不是str().

于 2013-10-04T04:59:39.370 回答