问题标签 [encoding]

验证/测试文本字符串是否被序列化为具有特定编码的字节数组的最佳方法是什么？

就我而言，我想验证 XML 结构是否被序列化为具有可变字符长度的 UTF-8 编码的字节数组。例如，我目前的丑陋程序是在序列化之前将一个已知需要两个字节的字符注入结构中，然后用 ASCII 字符替换两个字节的字符并比较序列化的数组长度。这应该产生两个序列化数组，其中包含两字节字符的数组的长度应该是 +1。

另外，如果该解决方案对 Java 来说很优雅。我想不出任何优雅的方式来寻找字节数组中的字节序列。（可用于在 UTF-8 中寻找表示所需字符表示的已知字节序列。）

在 asp.net 页面中，我应该使用

或者

这两个示例具有相同的输出。由于 asp.net 将我所有的页面都编码为 utf-8，所以不需要使用 html 实体，对吗？

这真让我抓狂。

我在工作的测试服务器上有一个 php 文件，但它不起作用。我一直从它删除东西，直到它变成

它输出

你好

如果我创建一个新文件并将相同的脚本复制/粘贴到它，它就可以工作！为什么这个文件总是给我奇怪的字符？

在 XmlReader 中使用基于 XML 的数据源之前，是否有任何简单/通用的方法来清理它，以便我可以优雅地使用不符合 XML 上的十六进制字符限制的 XML 数据？

笔记：

• 该解决方案需要处理使用 UTF-8 以外的字符编码的 XML 数据源，例如通过在 XML 文档声明中指定字符编码。在去除无效的十六进制字符的同时不破坏源的字符编码一直是主要的症结所在。
• 删除无效的十六进制字符应该只删除十六进制编码值，因为您经常可以在恰好包含一个字符串的数据中找到 href 值，该字符串将与十六进制字符匹配。

背景：

我需要使用符合特定格式的基于 XML 的数据源（想想 Atom 或 RSS 提要），但希望能够使用已发布的包含 XML 规范中无效十六进制字符的数据源。

在 .NET 中，如果您有一个表示 XML 数据源的 Stream，然后尝试使用 XmlReader 和/或 XPathDocument 对其进行解析，则会由于 XML 数据中包含无效的十六进制字符而引发异常。我目前解决此问题的尝试是将 Stream 解析为字符串并使用正则表达式来删除和/或替换无效的十六进制字符，但我正在寻找性能更高的解决方案。

如果您看到的只是丑陋的无字符框，您使用什么工具或策略来找出问题所在？

（我面临的具体情况是 <select> 中的无字符框，它应该显示日文字符。）

我在使用 Ajax 提交包含 UTF-8 字符串的表单时遇到问题。我正在开发一个在Tomcat服务器中运行的Struts Web 应用程序。这是我为使用 UTF-8 而设置的环境：

• 我已将属性添加到 Tomcat文件URIEncoding="UTF-8" useBodyEncodingForURI="true"的Connector标签中。conf/server.xml

• 我有一个utf-8_general_ci数据库

• 我正在使用下一个过滤器来确保我的请求和响应以 UTF-8 编码

  /li>

• 我在 WEB-INF/web.xml 中使用这个过滤器

• 我正在为我的 JSON 响应使用下一个代码：

  /li>

一切似乎都正常（来自数据库的内容显示正确，我可以提交以 UTF-8 格式存储在数据库中的表单）。问题是我无法使用 Ajax 提交表单。我使用 jQuery，我认为问题是 Ajax 请求中缺少 contentType 字段。但是我错了。我有一个非常简单的表单来提交包含 id 和 body 的评论。body 字段可以是不同的语言，例如西班牙语、德语或其他语言。

如果我提交包含正文文本区域的表单contraseña，Firebug 会显示：

请求标头

• 主机 本地主机：8080
• 接受字符集ISO-8859-1, utf-8;q=0.7;*q=0.7
• 内容类型应用程序/x-www-form-urlencoded；字符集 UTF-8

如果我在 Firebug 中使用参数执行复制位置，则编码似乎已经错误：

这是我的 jQuery 代码：

使用 jQuery 提交表单会导致服务器端出现下一个错误（注意我使用的是Hibernate）。

几个月前，我的任务是为我们的 Web 应用程序实现一个独特的随机代码。代码必须对用户友好且尽可能小，但本质上仍然是随机的（因此用户无法轻易预测序列中的下一个代码）。

它最终生成了如下所示的值：

不幸的是，我从未对实施感到满意。Guid 是不可能的，它们太大了，用户很难输入。我希望有更多的 4 或 5 个字符/数字，但如果我们编码为，我们的特定实现会产生明显的图案序列少于 9 个字符。

这是我们最终要做的事情：

我们从数据库中提取了一个唯一的连续 32 位 id。然后我们将它插入到一个 64 位 RANDOM 整数的中心位中。我们创建了一个易于键入和识别的字符（AZ、az、2-9 跳过容易混淆的字符，如 L、l、1、O、0 等）的查找表。最后，我们使用该查找表对 64 位整数进行 base-54 编码。高位是随机的，低位是随机的，但中心位是连续的。

最终的结果是一个比 guid 小得多的代码，而且看起来很随机，尽管它绝对不是。

我对这个特定的实现从来不满意。你们会怎么做？

我正在为 Firefox/IE 构建一个开放式搜索插件，并且图像需要进行 Base64 编码，那么我如何对我拥有的网站图标进行 base 64 编码？

我只熟悉PHP

使用 php 包含函数时，包含成功执行，但在输出包含的输出之前它也在输出一个字符，该字符的十六进制值为 3F，我不知道它来自哪里，虽然它似乎每个包含都会发生。

起初我以为是文件编码，但这似乎不是问题。我创建了一个测试用例来演示它：（链接不再工作）http://driveefficiently.com/testinclude.php这个文件只包含：

并且 include.inc 仅包含：

然而，输出是：“？你好，世界”在哪里？是一个具有随机值的字符。正是这个值，我不知道它的起源，它有时会有点搞砸我的网站。

关于这可能来自哪里的任何想法？起初我认为这可能与文件编码有关，但我认为这不是问题。