问题标签 [utf]

我正在压缩 JavaScript 文件，压缩器抱怨我的文件中有字符。

如何搜索这些字符并删除它们？

我正在尝试将 HTML ASCII 代码转换为清晰的字符。例如，我的 HTML 代码如下所示：

我想像这样输出它：

但是，Java / Android 似乎不支持这样做的简单方法，或者我错过了什么？任何帮助，将不胜感激。

如您所见，我从 utf 字符串中得到 jbyte *str。那么字符串的每个字符都有两个jbytes，否则一个字节？

我试过 s=Normalizer.normalize(s, Normalizer.Form.NFD).replaceAll("[^\\p{ASCII}]", ""); 但似乎 GWT API 没有提供这样的功能。

我也试过：

但这也不起作用

场景是我正在尝试从单击的小部件文本中生成令牌以进行历史管理

我有这个文...

“我不是要让人信服，”大卫笑着承认道。

...我想删除那些有趣的字符，我试过str_replace()了，但它不起作用。

有任何想法吗？

我想将二进制文件（例如 jpg、mp3 等）转换为网络安全文本，然后再转换回二进制数据。我研究了一些模块，我认为我真的很接近，但我不断收到数据损坏。

在查看了binascii的文档后，我想到了这个：

当我尝试打开时，converted.jpg我得到数据损坏：-/

我还尝试使用b2a_base6457 长的二进制数据块。我把每个块，转换成一个字符串，把它们连接在一起，然后再转换回来，a2b_base64又被破坏了。

任何人都可以帮忙吗？我对字节和文件格式的所有复杂性并不是非常了解。\r\n如果这对这些东西有影响，我在 Windows 上使用 Python

在将我的网站转换为使用 utf-8 之后，我现在面临验证所有传入 utf 数据的前景，以确保其有效和连贯。

似乎有各种正则表达式和 PHP API 来检测字符串是否为 utf，但我见过的似乎不完整（验证 utf 的正则表达式，但仍允许无效的第 3 个字节等）。

我还关心检测（和防止）过长编码，这意味着可以编码为多字节 utf 序列的 ASCII 字符。

欢迎任何建议或链接！

我的网站已完全转换为使用 utf-8（mysql、http 标头、PHP mb_string 等）。

我正在做一些渗透测试并尝试将无效的 utf 发布到其中一个脚本（使用 BurpSuite）。

但是，当我发布无效的 utf，只是对 $_POST var 进行十六进制转储时，我发现在尝试使用 mb_detect_encoding 对其进行验证之前，已经对无效的 utf 序列进行了清理。

这对我来说听起来是个好消息，但我想知道哪个层正在转换 POST 数据？

它是 Content-Type HTTP 标头的副作用吗，也许我的网络服务器正在这样做（lighttpd）。或者是 PHP 本身在填充 $_POST 时这样做？

我希望看到无效的 utf 十六进制转储，让我自己清理它。

我正在使用 GTKmm 和 exiv2 来读取 EXIF 元数据形式的照片。但是 Exiv2 函数只接受 std::string 文件路径...当我在非 ASCII 文件路径上尝试它时，它会破坏程序。

有没有办法读取这些数据？如果 Exiv2 接受 Glib::ustrings 那就太好了...

我对 Windows 和 Linux 的解决方案感兴趣。

在询问 SQL Server 2005 中的数据时，我的 python 代码遇到编码问题。

（因为我无法编译 PyMSSQL-2.0.0b1）我正在使用这段代码，我可以做一些选择，但现在我坚持我不知道 SQLCMD 输出给我的问题： (

（我必须使用表中包含的欧洲语言，所以我不得不面对其他带有口音的编码等等）

例如 ：

• 当我从 Ms SQLServer Management Studio 阅读（选择）时，我有这个国家/地区名称：'Ceská republika'（注意第一个 a 是尖锐的）
  
• 从命令行从 SQLCMD 使用它时（Windows 7 中的 Powershell），它仍然可以，我可以看到“Cesk'a with rapid'”
  

• 现在，当使用 Python 和配方中的 os.popen 技巧时，即使用此连接字符串：
  

  sqlcmd -U 管理员名 -P 密码 -S 服务器名 -d 数据库名 /w 8192 -u

我得到这个字符串：'Cesk\xa0 republika'

请注意我确实知道它是什么编码的 \xa0，以及我如何从这个 \xa0 传递到 {a withacute}...

如果我从 Python 和 unicode 测试，我应该有这个 '\xe1'

那么 SQLCMD 给了我什么？我应该如何强制它和/或 os.popen 和其他人确保我对 Python 有可理解的 utf8？

（请注意，我已经尝试在 SQLCMD 的 os.popen cmd 上使用和不使用 -u 结尾，这应该代表要求 SQLCMD 以 unicode 回答，但没有效果，我也尝试用“选择”来提供它" 以 utf8 编码的 python 字符串没有更多成功：

)

另一点：根据我的谷歌搜索，关于“sqlcmd.exe”，还有这些参数可能会有所帮助：

但我无法指定正确的值，我不知道可能的值是什么，顺便说一句，使用（或不使用）：

也帮不了我...