问题标签 [unicode]

（更新了一点）

必须说，我对使用 PHP 进行国际化不是很有经验，而且大量搜索并没有真正提供我正在寻找的答案。

我需要找到一种可靠的方法来仅将“相关”文本转换为 Unicode，以便使用 PHP（只是暂时的，而服务是使用 C# 重写的）在 SMS 消息中发送 - 显然，此时发送的消息是发送的作为纯文本。

可以想象，我可以将所有内容都转换为 Unicode 字符集（而不是使用标准的 GSM 字符集），但这意味着所有消息都将限制为 70 个字符（而不是 160 个）。

所以，我想我真正的问题是：检测消息是否需要进行 Unicode 编码的最可靠方法是什么，所以我只需要在绝对必要时才这样做 （例如，对于非拉丁语言字符）？

添加信息：

好的，所以我花了一个上午的时间来解决这个问题，但我仍然没有比开始时更进一步（当然是因为我在字符集转换方面完全缺乏能力）。所以这是修改后的场景：

我有来自外部来源的短信，这个外部来源以纯文本 + Unicode 斜杠转义字符向我提供响应。例如“显示”文本：

让我们测试一下 öäü éàè אין תמיכה בעברית

回报：

让我们测试一下 \u00f6\u00e4\u00fc \u00e9\u00e0\u00e8 \u05d0\u05d9\u05df \u05ea\u05de\u05d9\u05db\u05d4 \u05d1\u05e2\u05d1\u05e8\u05d9\u05ea

现在，我可以以纯文本、GSM 03.38 或 Unicode 发送给我的 SMS 提供商。显然，将上述内容作为纯文本发送会导致很多缺失的字符（它们被我的提供者替换为空格） - 我需要采用与存在的内容相关的内容。我想要做的是以下内容：

1. 如果所有文本都在GSM 03.38 代码页中，请按原样发送。（除上述希伯来字符外，所有字符都属于这一类，但需要转换。）

2. 否则，将其转换为 Unicode，并通过多条消息发送（因为 Unicode 限制是 70 个字符而不是 SMS 的 160 个字符）。

正如我上面所说，我很难在 PHP 中执行此操作（由于内置了一些简单的转换函数，C# 并不是什么大问题），但很可能我只是在这里错过了显而易见的事情。我在 PHP 中也找不到任何用于 7 位编码的预制转换类 - 我尝试自己转换字符串并发送它似乎是徒劳的。

任何帮助将不胜感激。

我需要生成一个计算跟踪文件，其中包含显示中间结果的表格数据。我目前正在使用标准 ascii 管道符号 (|) 和破折号 (-) 的组合来绘制表格线：

例如

是否有任何 unicode 字符可用于制作更专业的表格？

（文件必须是原始文本格式，不能使用 HTML 或任何其他标记）

编辑：我添加了一个示例，说明表格现在的样子，已经采纳了建议并使用了 unicode 方框绘图字符：

我发现在我的跨平台应用程序中获得 Unicode 支持真的很痛苦。

我需要可以从 C 代码到数据库、Java 应用程序和 Perl 模块的字符串。其中每一个都使用不同的 Unicode 编码（UTF8、UTF16）或其他一些代码页。我最需要的是一种跨平台的转换方式。

人们使用什么样的工具、库或技术来简化处理这些事情？

我正在寻找一种在 C# 2.0 中使用 Pop3 阅读电子邮件的方法。目前，我正在使用CodeProject中的代码。然而，这种解决方案并不理想。最大的问题是它不支持用 unicode 编写的电子邮件。

在尝试将 MySQL 表从默认的不区分大小写的瑞典语或 ascii 字符集迁移到 utf-8 时，是否有人有任何提示或问题需要注意？我参与的一些项目正在努力实现更好的国际化，而数据库将成为这一变化的重要组成部分。

在我们更改数据库之前，我们将转换每个站点以使用 UTF-8 字符编码（从最不重要到最重要），以帮助确保所有输入/输出都使用相同的字符集。

谢谢你的帮助

我想使用简单的 python 正则表达式从足球（足球）网页上刮下一些信息。问题是，像第一小伙 ÄÄRITALO 这样的球员，以 ÄÄRITALO 的形式出现！
即 html 对特殊字符使用转义标记，例如 Ä

有没有一种简单的方法可以将 html 读入正确的 python 字符串？如果它是 XML/XHTML，它会很容易，解析器会这样做。

C++ 中 Unicode 处理的最佳实践是什么？

大约 5 年前，Joel Spolsky 写了这篇文章，“每个软件开发人员绝对、肯定必须了解 Unicode 和字符集的绝对最低要求（没有借口！）”。

像许多人一样，我仔细阅读了它，意识到是时候掌握这个“ASCII 替代品”了。不幸的是，5 年后，我觉得我在这方面又陷入了一些坏习惯。你？

我没有编写很多专门的国际应用程序，但是我帮助建立了许多面向 ASP.NET 互联网的网站，所以我想这不是借口。

因此，为了我的利益（我相信还有很多其他人），我可以从以下人员那里获得一些意见：

• 如何一劳永逸地“克服”ASCII
• 使用 Unicode 时的基本指导。
• 推荐的（最近的）关于 Unicode 的书籍和网站（面向开发人员）。
• Unicode 的现状（Joels 发表文章 5 年后）
• 未来发展方向。

我必须承认我有 .NET 背景，因此我也很乐意了解 .NET 框架中的 Unicode 信息。当然，这不应该阻止任何具有不同背景的人发表评论。

更新：请参阅之前在 StackOverflow 上提出的这个相关问题。

我正在编写一个 asp.net 应用程序，该应用程序需要本地化到北美以外的几个地区。我需要做些什么来为这种全球化做准备？学习如何编写面向世界的应用程序的前 1 到 2 个资源是什么？

我正在开发一个 Web 应用程序，我在其中以 XML 格式将数据从服务器传输到浏览器。

由于我是丹麦人，我很快就遇到了人物问题æøå。

我知道在 html 中，我使用"æøå"for æøå。

但是，一旦字符通过 JavaScript，我会"?"在使用时得到黑框æøå，并按"æøå"原样打印。

我确保将其设置为 utf-8，但这并没有多大帮助。

理想情况下，我希望它与任何特殊字符一起工作（自然）。

不工作的例子包括在下面：

我究竟做错了什么？

好的，感谢 Grapefrukts 的回答，我得到了它的工作。

我实际上需要它来处理来自 MySQL 服务器的数据。由于以 UTF-8 编码保存文件只能解决静态内容的问题，我想我会包含 MySQL 服务器中字符串的解决方案，使用 PHP 提取：

utf8_encode($MyStringHere)