问题标签 [utf-8]

我不确定它是否是我的系统，虽然我没有做任何不寻常的事情，但我已经开始注意到网页、文本文件中出现错误渲染的字符，如下所示：

http://www.kbssource.com/strange-characters.gif

我有一种预感，这与最近对所有内容都使用 unicode 的趋势有关，我认为这是一件好事，再加上不支持所有可能字符的字体。

那么，有谁知道是什么导致了这些光点（我是对的吗？），以及如何阻止这些光点出现在我自己的内容中？

我正在使用 PuTTY 和 gcc 访问 Ubuntu 机器。

这台机器上的默认LANG环境变量设置为en_NZ.UTF-8，这会导致 GCC 认为 PuTTY 能够显示 UTF-8 文本，而事实并非如此。也许这是我的字体，我不知道 - 它这样做：

如果我用 设置它export LANG=en_NZ，那么这会导致 GCC 正常运行，我得到：

但这会导致其他一切都出错。例如

我已经搜索了谷歌，但我一生都无法找出我必须放在那里才能使用 ASCII 的内容。en_NZ.ASCII不起作用，也没有我能找到的任何其他事情。

谢谢

在尝试将 MySQL 表从默认的不区分大小写的瑞典语或 ascii 字符集迁移到 utf-8 时，是否有人有任何提示或问题需要注意？我参与的一些项目正在努力实现更好的国际化，而数据库将成为这一变化的重要组成部分。

在我们更改数据库之前，我们将转换每个站点以使用 UTF-8 字符编码（从最不重要到最重要），以帮助确保所有输入/输出都使用相同的字符集。

谢谢你的帮助

我们尝试在 Windows 上使用 Java 和 UTF-8。应用程序在控制台上写入日志，我们希望将 UTF-8 用于日志，因为我们的应用程序具有国际化日志。

可以配置 JVM，使其生成 UTF-8，-Dfile.encoding=UTF-8用作 JVM 的参数。它工作正常，但 Windows 控制台上的输出是乱码。

然后，我们可以将控制台的代码页设置为 65001 ( chcp 65001)，但在这种情况下，.bat文件不起作用。这意味着当我们尝试通过我们的脚本（名为 start.bat）启动我们的应用程序时，绝对没有任何反应。命令简单返回：

但是没有chcp 65001，就没有问题，可以启动应用程序。

有什么提示吗？

I'm having some internationalisation woes:

My UTF-8 string fields are being rendered in the browser as ???? after being returned from the database.

After retrieval from the database using Hibernate, the String fields are presented correctly on inspection using the eclipse debugger.

However Struts2/Tiles is rendering these strings as ???? in the HTML sent to the browser.

The charset directive is present in the HTML header:

Perhaps I need to add something to my struts2 or tiles configurations?

我有一大堆文件，文件名使用我们可爱的瑞典字母å å和ö。由于各种原因，我现在需要将这些转换为 [a-zA-Z] 范围。只需删除此范围之外的任何内容都相当容易。给我带来麻烦的是我想用a替换å用o替换ö等等。

这是最糟糕的字符集问题。

我有一组测试文件：

我将我的脚本基于这一行，将其结果传递到各种命令中

奇怪的是，如果我将这个结果（即普通的 for 循环）打印到一个文件中，我会得到这个输出：

因此，我的文件名甚至在到达其他工具之前就发生了一些奇怪的事情（我一直在尝试使用来自称为 GnuWin32 的 Windows 的 sed 端口来做到这一点，但到目前为止没有运气）并且对这些字符进行替换不会帮助。

你将如何解决这个问题？我对任何类型的工具、命令行或其他工具都持开放态度……</p>

编辑：这是一个一次性的问题，所以我正在寻找一个快速的'n丑陋的修复

在字符集之间转换文本文件的最快、最简单的工具或方法是什么？

具体来说，我需要从 UTF-8 转换为 ISO-8859-15，反之亦然。

一切顺利：您最喜欢的脚本语言的单行代码、命令行工具或其他用于操作系统、网站等的实用程序。

迄今为止最好的解决方案：

在 Linux/UNIX/OS X/cygwin 上：

• Troels Arvin建议的Gnu iconv最好用作过滤器。它似乎是普遍可用的。例子：

  正如Ben所指出的，有一个使用 iconv 的在线转换器。

• Cheekysoft建议的重新编码（手动）将就地转换一个或多个文件。例子：

  这个使用较短的别名：

  Recode 还支持可用于在不同行尾类型和编码之间进行转换的表面：

  将换行从 LF (Unix) 转换为 CR-LF (DOS)：

  Base64 编码文件：

  您也可以将它们组合起来。

  将带有 Unix 行尾的 Base64 编码的 UTF8 文件转换为带有 Dos 行尾的 Base64 编码的 Latin 1 文件：

在带有Powershell ( Jay Bazuzi )的 Windows 上：

• PS C:\> gc -en utf8 in.txt | Out-File -en ascii out.txt

（虽然不支持 ISO-8859-15；它说支持的字符集是 unicode、utf7、utf8、utf32、ascii、bigendianunicode、default 和 oem。）

编辑

你的意思是iso-8859-1支持吗？使用“字符串”可以做到这一点，反之亦然

注意：可能的枚举值为“Unknown, String, Unicode, Byte, BigEndianUnicode, UTF8, UTF7, Ascii”。

• CsCvt - Kalytta 的字符集转换器是另一个伟大的基于命令行的 Windows 转换工具。

我想通过过滤器运行文本以确保它都是 UTF-8 编码的。使用 PHP 执行此操作的推荐方法是什么？

尝试简单的方法：

sqlite2 mydb.db .dump | sqlite3 mydb-new.db

我收到了这个错误：

第 84802 行附近的 SQL 错误：没有这样的列：D

在该行中，脚本是这样的：

插入车辆值（127548,'21K0065217', Ñ ,'PA007808',65217,279,1989,3,468,'1998-07-30 00:00:00.000000','14/697/98-07',2, '',1);

我的猜测是没有引号的 'Ñ' 是问题所在。

任何的想法？

PD：我现在在 Windows 下，我想使用命令行以便它可以自动化（这个过程将由服务器每天完成）。