问题标签 [unicode-literals]

如何从两个网站提取的两个文档中删除常用词？我已经从两个站点提取了新闻，现在我想从两个文档中删除常用词。我使用以下代码从两个不同的网站提取新闻：

我想使用包含韩语字符的 url ( http://192.xxx.x.xxx:8080/가나다.png ) 来显示图像。服务器向我发送了一个错误，开头为

Unicode编码错误...

我试过sys.setdefaultencodingand unicode_literals，但这并没有解决问题。

这可能是什么原因？

如何确保正确处理韩语字符？

使用test.encode("utf-8")不是一种选择。

这是令人震惊和非常令人沮丧的，请帮助。

如果 a1 和 a2 具有相同的值，为什么不能都编码？

我必须使用在表单上返回 unicode 数据的外部 API a1，这使得它毫无用处。Python 显然坚持<str>键入的字符串必须只包含 ASCII 字符，否则它拒绝对它们进行编码。它完全破坏了我的应用程序。

我最近将我的应用程序升级到了 Swift 3.1（它在 Swift 2 中）。

升级后我注意到我使用了很长时间的 unicode 符号显示不正确。

该符号是 Swift 中的“选票”符号：

实际显示的符号看起来像乘法/笛卡尔积符号：

我使用的字体是 Helvetica Neue。

我使用的其他 unicode 符号没有受到影响（例如 Star）

查看此维基百科页面，了解选票符号和乘法\笛卡尔积符号的外观。

想法？

我有一个从 JSON 数据转换而来的大型数据集。它具有使用符合 JSON 的 \uXXXX 表示法的 unicode 字符。我正在尝试使用 preg_replace 将它们即时转换为真正的 unicode。

但是，这会产生警告：

PHP 警告：preg_replace()：编译失败：PCRE 不支持偏移量 1 处的 \L、\l、\N{name}、\U 或 \u

当我搜索实际的 slash-u 而不是 unicode 文字时，为什么 preg_replace 会抱怨？

编辑：

这是我正在使用的内容：https ://regex101.com/r/LIdECa/1

这些不同类型的 unicode ASCII 表示形式的名称是什么？

• \xF0\x9F\x98\xA2
• \U0001f622

他们所属的集合是否有一个比“表示”更具体的术语？在这些背景下，我将如何描述非 ascii 表示（）？

由于我不知道如何称呼他们，因此很难搜索如何与他们合作。

谢谢！

我正在开发一个从 Redshift 数据库获取数据的 Django 应用程序。给这个 Redshift 数据库写信的人做出了一些奇怪的选择。我试图弄清楚如何处理它具有这样的字符串的事实：

使用 psycopg2 我将这些作为

我应该把它渲染为

让我们玩！⚽️

它们以varchar(65535). 我正在使用 pyscopg2 将它们拉入应用程序后端（Django 1.11、Python 2.7）。它们在前端使用 JavaScript 进行渲染。

任何建议将不胜感激——我根本想不出任何解决方案。

我有一个包含多个 unicode 文字的标准 Python3 字符串（例如 "\u00c6" ）
我需要将它们转换回相应的字符（斯堪的纳维亚字母：æ、ø、å）

我试过用谷歌搜索它并使用.encode()and.decode()函数在 af 组合之间切换latin-1，utf-8并且unicode-escape
.decode()只适用于bytes类型，所以它不起作用，因为它是一个字符串

该字符串来自使用 BeautifulSoup4 完成 的该网站的抓取：

哪个输出：

问题是标签变成了 unicode 文字，所以

• æ变成\u00e6
• Tønder变成T\u00f8nder
• Ærø变成\u00c6r\u00f8

我如何获取一个字符串并将所有 unicode 文字实例替换为其相应的符号？

Unicode 字符 U+1d134 是“公共时间”的音乐符号；它看起来像一个大写的“C”。

但是使用 Python 3.6，当我指定 '\U0001d134' 时，我得到一个似乎表示未知符号的字形。在我的 Mac 上，它看起来像一个带有问号的正方形。

无法显示相应的字形仅仅是字体限制，还是其他原因？（就像我做错了什么一样......）

为了清楚起见，我想在我正在编写的应用程序中使用这个和其他类似的符号，并想知道是否有办法做到这一点。

这是一个小例子：

（在这两种情况下，文件都有-*- coding: utf-8 -*-）

在 Python 2 中：

而在 Python 3 中：

上述行为是 100% 完美的，但目前还不能切换到 Python 3。将 3 的结果复制到 2 中的最佳方法是什么，它适用于窄 Python 构建和宽 Python 构建？似乎以“\ud83d\udc4d”的格式出现在我面前，这就是让这件事变得棘手的原因。