django - 在python中未正确编码的scrapy数据

Question

我正在使用scrapy使用python进行网络爬行。在抓取时，我有一些未正确编码的字符，例如'\xa0'、'\x0259'。任何帮助我如何在 python 中处理它们？

Answer 1

您可以使用 unicode 字符串类型 ( http://docs.python.org/2/tutorial/introduction.html#unicode-strings )，方法是在这些字符的所有实例前面加上u. 例如u'\xa0'和u'\x0259'。unicode-strings python 文档还提供了一些其他方法来编码和解码这些字符串和字符。