6

我可以通过 pypyodbc 在 python 中发送查询来从 MSSQL 数据库中读取数据。

大多数 unicode 字符都得到了正确处理，但我遇到了某个导致错误的字符。

有问题的字段是类型nvarchar(50)并以这个字符“”开头，这对我来说有点像这样......

-----
|100|
|111| 
-----

如果该数字是十六进制，0x100111那么它就是字符supplementary private use area-b u+100111。虽然有趣的是，如果它是二进制0b100111的，那么它就是一个撇号，会不会是上传数据时使用了错误的编码？该字段存储了中国邮政地址的一部分。

错误信息包括

UnicodeDecodeError：“utf16”编解码器无法解码位置 0-1 中的字节：数据意外结束

这里是全...

Traceback (most recent call last):   File "question.py", line 19, in <module>
    results.fetchone()   File "/VIRTUAL_ENVIRONMENT_DIR/local/lib/python2.7/site-packages/pypyodbc.py", line 1869, in fetchone
    value_list.append(buf_cvt_func(from_buffer_u(alloc_buffer)))   File "/VIRTUAL_ENVIRONMENT_DIR/local/lib/python2.7/site-packages/pypyodbc.py", line 482, in UCS_dec
    uchar = buffer.raw[i:i + ucs_length].decode(odbc_decoding)   File "/VIRTUAL_ENVIRONMENT_DIR/lib/python2.7/encodings/utf_16.py", line 16, in decode
    return codecs.utf_16_decode(input, errors, True) UnicodeDecodeError: 'utf16' codec can't decode bytes in position 0-1: unexpected end of data

这是一些最小的复制代码...

import pypyodbc

connection_string = (
    "DSN=sqlserverdatasource;"
    "UID=REDACTED;"
    "PWD=REDACTED;"
    "DATABASE=obi_load")

connection = pypyodbc.connect(connection_string)

cursor = connection.cursor()

query_sql = (
    "SELECT address_line_1 "
    "FROM address "
    "WHERE address_id == 'REDACTED' ")

with cursor.execute(query_sql) as results:
    row = results.fetchone() # This is the line that raises the error.
    print row

这是我的一大块/etc/freetds/freetds.conf

[global]
;   tds version = 4.2
;   dump file = /tmp/freetds.log
;   debug flags = 0xffff
;   timeout = 10
;   connect timeout = 10
    text size = 64512

[sqlserver]
host = REDACTED
port = 1433
tds version = 7.0
client charset = UTF-8

我也尝试过client charset = UTF-16并一起省略那条线。

这是我的相关块/etc/odbc.ini

[sqlserverdatasource]
Driver = FreeTDS
Description = ODBC connection via FreeTDS
Trace = No
Servername = sqlserver
Database = REDACTED

这是我的相关块/etc/odbcinst.ini

[FreeTDS]
Description = TDS Driver (Sybase/MS SQL)
Driver = /usr/lib/x86_64-linux-gnu/odbc/libtdsodbc.so
Setup = /usr/lib/x86_64-linux-gnu/odbc/libtdsS.so
CPTimeout =
CPReuse =
UsageCount = 1

我可以通过在 try/except 块中获取结果来解决此问题，丢弃任何引发 a 的行UnicodeDecodeError，但是有解决方案吗？我可以只扔掉不可解码的字符，还是有办法在不引发错误的情况下获取这一行？

一些不良数据最终出现在数据库中并非不可想象。

我用谷歌搜索并检查了这个网站的相关问题，但没有运气。

4

2 回答 2

1

我自己解决了这个问题：

conn.setencoding('utf-8')

在创建游标之前。

conn连接对象在哪里。

我正在使用 获取数千万行fetchall()，并且在手动撤消的事务中，这将是非常昂贵的，所以我不能简单地跳过无效的行。

我找到解决方案的来源：https ://github.com/mkleehammer/pyodbc/issues/112#issuecomment-264734456

于 2018-02-05T17:23:21.567 回答
0

这个问题最终得到了解决，我怀疑问题是文本有一个编码的字符在设置表时通过一些hacky方法敲入一个字段，另一个声明的编码。

于 2017-01-28T14:35:50.110 回答