2

我很抱歉提出一个字符编码问题，因为我知道你们每天都会遇到很多问题，但我无法弄清楚我的问题，所以我还是问了。

这是我们正在做的事情：

  1. 使用 Python 和cx_Oracle.
  2. 使用 Python 将数据写入文件。
  3. 使用 Python 和psycopg2.

以下是重要的 Oracle 设置：

SQL> select * from NLS_DATABASE_PARAMETERS;

PARAMETER                      VALUE
------------------------------ ----------------------------------------
NLS_LANGUAGE                   AMERICAN
NLS_TERRITORY                  AMERICA
NLS_CURRENCY                   $
NLS_ISO_CURRENCY               AMERICA
NLS_NUMERIC_CHARACTERS         .,
NLS_CHARACTERSET               US7ASCII

根据此NLS_LANG 常见问题解答，您应根据客户端操作系统使用的内容设置 NLS_LANG。

运行locale给了我们：（LANG=en_US.UTF-8所有其他字段也是 en_US.UTF-8）。

因此，在我们的 Python 脚本中，我们将其设置为：

os.environ["NLS_LANG"] = "AMERICAN_AMERICA.AL32UTF8"

然后我们导入数据并将其写入文件。

row = cur.fetchall()
fil.write(row[0][0]) #For this test, I am only writing one row and one field.

我们将该文件摄取到我们的 UTF-8 Postgres DB 中。

不幸的是，由于某种原因，我们得到了这个符号：在我们的文件和随后的 PG 表中。如果我的理解是正确的，这就是Replace Character。我相信如果 Unicode 无法识别符号，则该字符会显示出来。

（在某些文本编辑器中，符号显示为�）。

我不明白为什么会这样？我认为 UTF-8 向后兼容 7 位 ASCII？

即使我们使用的是区域页面，它是否仍然可以工作，因为客户端使用的是 US 而 Oracle 服务器使用的是 AMERICAN？

如何检查数据是否正确导入，如果不正确，如何修复它以便将来导入？

注意：Oracle 字段是CHAR字段而不是NCHAR字段。

注意 2：我们使用的是 Python 2.4，所以我们在 Python 3.X 中没有原生的 Unicode 内容。因此，尽管我认为 cx_Oracle 处理了这一切，但 Python 可能在某个地方搞砸了。

谢谢你的时间，我希望你有一个美好的一天。

4

1 回答 1

-1

不幸的是，由于某种原因，我们得到了这个符号：在我们的文件和随后的 PG 表中。如果我的理解是正确的，这就是替换字符。我相信如果 Unicode 无法识别符号，则该字符会显示出来。

大部分正确但不完全正确。PostgreSQL 将在使用该编码时拒绝插入非 UTF8 文本字符（在 StackOverflow 上搜索“Invalid UTF8 postgresql”）。您看到的字符很可能是您的字体无法识别的有效 UTF8 字符，因此正在显示替换字符。如果符号在您的 Oracle 数据库中并且实际上是那里的替换符号，那么您想用什么替换它？如果是这种情况，则信息已经丢失。

我不明白为什么会这样？我认为 UTF-8 向后兼容 7 位 ASCII？

这是。

如何检查数据是否正确导入，如果不正确，如何修复它以便将来导入？

您的问题很可能出在 Oracle 数据库的上游。我会找出实际将问题数据插入 Oracle 数据库并在那里修复它。如果您可以根据 Oracle 中的数据检查 Pg 中的数据，您应该能够确定数据是否字符与字符相同（并标记任何差异）。这就是如何检查您当前的导入。

注意 2：我们使用的是 Python 2.4，所以我们在 Python 3.X 中没有原生的 Unicode 内容。因此，尽管我认为 cx_Oracle 处理了这一切，但 Python 可能在某个地方搞砸了。

那是另一种可能。对于文件转换，我个人更喜欢 Perl，因为它集成了正则表达式和绝对一流的 PostgreSQL 支持。但是，我认识到此时您的导入例程可能不容易转换。我对在 Perl 中解决 UTF8 转换问题比在 Python 中更熟悉一些。但是，我确实想知道您是否可以检查以二进制格式输出的数据以查找此类符号。

于 2013-05-02T01:03:09.200 回答