问题标签 [utf-16le]

使用 python 2.7，我以 unicode 读取并以 utf-16-le 写入。大多数字符都被正确解释。但有些不是，例如 u'\u810a'，也称为unichr(33034)。以下代码代码写不正确：

但是，当在上面替换时，这些东西中的任何一个都可以使代码正常工作。

1. unichr(33033) 和 unichr(33035) 工作正常。

2. 'utf-8' 编码（无 BOM，字节顺序标记）。

如何识别无法正确写入的字符，以及如何使用 BOM 编写一个“utf-16-le”编码文件来打印这些字符或进行一些替换？

我正在尝试将文本文件读入 python，但它似乎使用了一些非常奇怪的编码。我尝试通常：

输出：

打印线条效果很好，但是在我尝试分割线条以便将其转换为浮点数之后，它看起来很疯狂。当然，当我尝试将这些字符串转换为浮点数时，会产生错误。关于如何将这些转换回数字的任何想法？

如果您想尝试加载它，我将示例数据文件放在这里： https ://dl.dropboxusercontent.com/u/3816350/Posts/data.txt

我想简单地使用 numpy.loadtxt 或 numpy.genfromtxt，但他们也不想处理这个疯狂的文件。

给定 PHP 中的一串 UTF-8 数据，我如何将其转换并保存为 UTF-16LE 文件（这个特定文件恰好是为 Indesign 设计的 - 被放置为标记的文本文档）。

数据：

我正在使用以下代码，但无济于事：

I'm throwing together a program as a refresher for VB.net, and I figured I might as well make it do something that I have to do a lot anyways: Convert an input string into UTF-16LE and then into Base64.

Now, in PHP, I can do it like this:

Sweet and simple.

...but in vb.net, I can't figure out how to get the string from

Dim strInput = inputBox.Text

convert it to UTF-16LE (it has to be UTF-16LE), and then the convert the resulting string to Base64.

Thank you!

Edit: Gserg and Steven's code both works equally well, and it helps to seeing two methods of converting text: One with specifiable encoding and one with Unicode. Steven's answer is more complete at this time, so I'll accept it. Thank you!

所以我正在为游戏编写一个用于修改的工具，它工作得很好，但是我在将字符串写入文件时遇到了问题。游戏需要以 UTF-16LE BOM 编码的文件，所以我的代码如下所示：

fileContent 是一个字符串的 ArrayList，不包含行分隔符（我检查了多次）。所以我的问题是，文件中写入了太多的行分隔符。而不是例如：

我得到类似的东西：

任何想法，我做错了什么？

我有一个 PHP，它通过我的 Javascript 在 POST 中接收数据，我想将这些数据写入 CSV 文件。我需要用 UTF-16LE 编码这个文件。

我尝试的是：

1)

当我在 notepad++ 中打开它时，结果是没有字节顺序掩码的 UCS-2 LE。

2)

结果与 1) 相同

如果我使用记事本++在UTF-16LE中手动编码，我得到了完美的结果。

如何让 PHP 向 UTF-16 数据添加字节顺序掩码？

我正在尝试从具有希腊字母表的文件（在 utf-16-le 中）中读取一行。这是代码：

我没有收到错误，但没有打印。因此，如果我使用 shell 进行打印，只需说：

我可以打印这个希腊字符。我在阅读线路时做错了什么吗？

我的意思是我有时尝试将字符写入文件并且它有效。但是，在阅读相同的技巧时似乎不起作用。

我一直在尝试遵循有关 Rails 的几个教程，并且每次在运行时遇到以下问题rails s：

教程：https ://github.com/wulftone/rails-angular-example

我正在使用一个库，该库具有一个函数，该函数在标准 char * 中返回编码为 UTF-16LE（我很确定）的结果字符串，以及字符串中的字节数。我想将这些字符串转换为 UTF-8。我尝试了这个问题的解决方案：在 Windows 和 Linux 下将 UTF-16 转换为 UTF-8，在 C中说要使用 iconv，但结果是输入和输出缓冲区都为空。我错过了什么？

我的输入和输出缓冲区声明和初始化如下：

然后我调用库函数用数据填充rebuff。查看调试器中的缓冲区，我可以看到缓冲区中的数据。例如，如果数据是“测试”，我会在查看 rebuff 的各个索引时看到以下内容：

我认为是 UTF-16LE（使用相同库的其他代码似乎可以证实这一点），并且 stringlen 现在等于 8。然后我尝试使用以下代码将其转换为 UTF-8：

结果 outbuff 和 resbuff 都以空字符串结束。

请注意，我将 stringlen 声明为 int 而不是 unsigned long，因为这是库函数所期望的。

编辑：我根据下面 John Bollinger 的回答稍微调整了我的代码，但它并没有改变结果。

编辑 2：最终此代码的输出将在 Python 中使用，所以我认为虽然它可能更丑陋，但我将在那里执行字符串转换。它只是工作。

我正在处理一个二进制文件。在这个二进制文件中，我可以提取似乎是 UTF-16 XML（小端序）文件的内容。

如果我提取数据，并尝试从控制台转储它（运行 debian/jessie amd64），这就是我得到的：

我从 xmllint 的手册页中找不到任何帮助我的东西，所以我从网上下载了一个 UTF-16 Little endian 文件，从这里。我删除了实际的 XML 数据，只保留第一行（编码）：

现在我可以正确使用 xmlling 了：

没有其他更简单的解决方案吗？为什么读取 UTF-16 Little-endian XML 文件如此复杂？