问题标签 [non-ascii-characters]

编写文件实用程序以从文件中删除所有非 ASCII 字符。我有这个正则表达式：

哪个工作正常。但不幸的是，我发现一些愚蠢的人在他们的文件中使用直角 (¬) 作为分隔符，所以这些也被删除了，但我需要那些！

我对正则表达式很陌生，我确实了解基础知识，但任何帮助都会很棒！

提前致谢！

我有一个文件，其中包含每小时12,000生成的 aprox 行6。在其中一些行中，有非 ascii 字符。

我希望能够运行 Perl 脚本来删除其中包含非 ASCII 字符的所有行。

我有一个 500MB 大小的文件。它有一些非ASCII字符。我只想使用 Unix 命令找出这些字符。可能会更好地获取每行的行号和位置。

谢谢 ：）

我需要从具有非 ascii 字符的 URL 中获取数据，但 urllib2.urlopen 拒绝打开资源并引发：

我知道 URL 不符合标准，但我没有机会更改它。

使用 Python 访问包含非 ascii 字符的 URL 指向的资源的方法是什么？

编辑：换句话说，urlopen 可以/如何打开如下 URL：

我正在尝试使用 django 将一些字符串从意大利语本地化为其他语言。一切正常，但不适用于包含重音字符的字符串。

原始文件和翻译后的 .po 文件都以 UTF-8 格式保存。字符串是相同的，并且 compilemessages 命令可以在没有任何警告的情况下工作。但是，当我尝试打开页面时，我没有得到这些字符串的翻译版本，只有那些。

我应该检查什么？

谢谢！

我需要发出一个 POST 请求，其中数据可能是非 ascii（中文、日文字符）。我需要将输入转换为 unicode 并使用 utf-8 进行编码。我是这样做的：

但是，我的日志中不断出现此错误：

TypeError：不支持解码 Unicode

我正在使用以下 linq to xml 查询在 XML 文件中搜索元素

我的 xml 文件是

尽管Request.QueryString("DbName")等于 "Åker"，但查询不返回任何结果。

我有一个文本，其中包含诸如“\xaf”、“\xbe”之类的字符，据我从这个问题中了解到，这些字符是 ASCII 编码字符。

我想将它们在 Python 中转换为它们的 UTF-8 等价物。通常的string.encode("utf-8")投掷UnicodeDecodeError。有没有更好的方法，例如，使用codecs标准库？

此处示例200 个字符。

我正在尝试安装一个正则表达式，它可以在文件中获取一些单词，其中该单词的所有字母都与单词模式匹配。

我的问题是，正则表达式找不到重音词，但在我的文本文件中有很多重音词。

我的命令行是：

文件的内容是：

我该如何解决？

我需要执行谷歌搜索来检索查询结果的数量。我在这里找到了答案 -来自 Python 应用程序的 Google 搜索

但是，对于少数查询，我收到以下错误。我认为查询有 unicode 字符。

UnicodeDecodeError：“ascii”编解码器无法解码位置 28 中的字节 0xc3：序数不在范围内（128）

我搜索了谷歌，发现我需要将 unicode 转换为 ascii，并找到下面的代码。

如果我使用操作忽略，它会删除这些字符，但如果我使用其他操作，我会遇到异常。

任何想法，如何处理这个？

谢谢

==编辑==我正在使用下面的代码进行编码，然后执行搜索，这会引发错误。

查询 = urllib.urlencode({'q': searchfor})