2

我正在使用 chatterbot 库开发一个聊天机器人。聊天机器人是我的母语 --> 斯洛文尼亚语，其中有很多奇怪的字符（例如：š、č、ž）。我正在使用python 2.7。

当我尝试训练机器人时，图书馆遇到了上述字符的问题。例如，当我运行以下代码时：

chatBot.set_trainer(ListTrainer)
chatBot.train([
            "Koliko imam še dopusta?",
            "Letos imate še 19 dni dopusta.",
        ])

它引发以下错误：

UnicodeDecodeError：“utf8”编解码器无法解码位置 12 中的字节 0x9a：无效的起始字节

我将这# -*- coding: utf-8 -*-一行添加到文件的顶部，我还通过我的编辑器（Sublime text 3）将所有使用文件的编码更改为 utf-8，我使用以下代码更改了系统默认编码：

import sys
reload(sys)
sys.setdefaultencoding('utf8')

字符串的类型为unicode。

当我尝试使用这些奇怪的字符获得响应时，它可以工作，它们没有问题。例如，在与上述训练代码相同的执行过程中运行以下代码（当我在训练字符串中将 'š' 更改为 's' 并将 'č' 更改为 'c' 时），不会引发错误：

chatBot.set_trainer(ListTrainer)
chatBot.train([
            "Koliko imam se dopusta?",
            "Letos imate se 19 dni dopusta.",
        ])    
chatBot.get_response("Koliko imam še dopusta?")

我找不到这个问题的解决方案。有什么建议么？提前感谢负载。:)

编辑：我使用from __future__ import unicode_literals, 来制作 unicode 类型的字符串。我还使用该方法检查了它们是否真的是 unicodetype(myString)

我也想粘贴这个链接。

编辑 2：@MallikarjunaraoKosuri - 代码有效，但在我的情况下，我在聊天机器人实例初始化中还有一件事，如下所示：

chatBot = ChatBot(
    'Test',
    trainer='chatterbot.trainers.ListTrainer',
    storage_adapter='chatterbot.storage.JsonFileStorageAdapter'
)

这是我的错误的原因。聊天机器人创建的 json 存储文件是用我的本地编码而不是 utf-8 创建的。似乎默认存储（.sqlite3）没有这个问题，所以现在我将避免使用 json 存储。但我仍然有兴趣找到解决此错误的方法。

4

2 回答 2

0

您示例中的字符串不是unicode 类型。

否则 Python 不会抛出UnicodeDecodeError.
这种类型的错误表明，在程序执行的某个步骤，Python 尝试将字节字符串解码为 un​​icode，但由于某种原因失败了。

在您的情况下，原因是：

  • 解码配置为utf-8
  • 您的源文件不在utf-8并且几乎可以肯定在cp1252：

    import unicodedata

b = '\x9a'

# u = b.decode('utf-8') # UnicodeDecodeError: 'utf8' codec can't decode byte 0x9a 
                        # in position 0: invalid start byte

u = b.decode('cp1252')

print unicodedata.name(u) # LATIN SMALL LETTER S WITH CARON
print u # š

    因此，0x9a来自您的源的字节cp1252不能用utf-8.

    最好的解决方案是除了将源代码转换为utf-8.
    使用 Sublime Text 3，您可以通过以下方式轻松完成：File -> Reopen with Encoding -> UTF-8.
    但是不要忘记Ctrl+C转换之前的源代码，因为在那之后你的所有š, č, ž字符都将被替换为?.

    • 于 2017-11-04T00:47:44.720 回答
    0

    我们的一些朋友已经建议了好的部分解决方案，但是我想再次将所有解决方案合二为一。

    作者@gunthercox 建议在此处描述一些指南http://chatterbot.readthedocs.io/en/stable/encoding.html#how-do-i-fix-python-encoding-errors

    # -*- coding: utf-8 -*-
from chatterbot import ChatBot

# Create a new chat bot named Test
chatBot = ChatBot(
    'Test',
    trainer='chatterbot.trainers.ListTrainer'
)

chatBot.train([
    "Koliko imam še dopusta?",
    "Letos imate še 19 dni dopusta.",
])

    Python 终端

    >>> # -*- coding: utf-8 -*-
... from chatterbot import ChatBot
>>> 
>>> # Create a new chat bot named Test
... chatBot = ChatBot(
...     'Test',
...     trainer='chatterbot.trainers.ListTrainer'
... )
>>> 
>>> chatBot.train([
...     "Koliko imam še dopusta?",
...     "Letos imate še 19 dni dopusta.",
... ])
List Trainer: [####################] 100%
>>>
    于 2017-11-06T05:47:00.067 回答