问题标签 [shift-jis]

我正在尝试在读取文件的循环中解码日语字符串shift-jis。

它可以工作，但是当它包含像“①”这样的带圆圈的数字字符时，我收到以下错误：

UnicodeDecodeError：“shift_jis”编解码器无法解码位置 24-25 中的字节：非法多字节序列

部分代码：

是否有日本编解码器能够读取这种类型的字符，还是我必须事先找到转换它的方法？

我正在通过查询数据库中的数据并使用它来创建文件来创建文件，情况如下： 数据库：Oracle with charset UTF8 Applicaiton Server: Resin with charset UTF8 Application framework: NTT Intra-Mart (a Japanese framework based based在 Rihno 上，使用 javascript 作为服务器程序语言） 需要：从 Oracle 查询数据并通过 charset [Shift-JIS] 创建一个文件，该文件用作一个系统导出并通过 FTP 传输到另一个系统导入的中间文件. 该文件需要具有固定的字节范围，以便目标服务器定位要导入的指定数据：例如字节 1-10：[用户地址] 字节 11-20：[用户名] 但是，首先我使用 UTF8 创建文件，它似乎所有字符都正确显示，但是当我尝试使用 charset [SJIS] 写入数据时，

由于在 Windows10 上添加了新功能“Beta：使用 Unicode UTF-8 支持全球语言”，我认为 R 可以将语言环境转换为 UTF-8。但是，当我尝试将系统语言环境更改为 UTF-8 时

或者

我明白了

目前，Windows 是否允许 R 使用 UTF-8？

（因为我对locale问题不是很熟悉，如果有更多信息欢迎评论。）

信息

使用 Shift-JIS 字符集创建文件时遇到问题。

这是我要写入 txt 文件的文本示例：

缲戻_日経选挙システム维护2019年1月10日～;[2019年度更新]横浜第１DCコロケ―ション（２ラック）

使用 Shift-JIS 字符集，在文件中我找到两个“？” 而不是 ～ 和 ―：

缲戻_日経选挙システム维护2019年1月10日?;[2019年度更新]横浜第１DCコロケ?ション（２ラック）</p>

使用 UTF-8 字符集，进入我找到的文件（全部正确）：

缲戻_日経选挙システム维护2019年1月10日～;[2019年度更新]横浜第１DCコロケ―ション（２ラック）

这是我的代码：

您知道为什么这两个字符不包含在 Shift-JIS 字符集中吗？

问题陈述 ：-

我们将 0x8140～0x84BE、0x889F～0x9872、0ｘ989F～0x9FFC、0xE040～0xEAA4、0x8740～0x879C、0xED40～0xEEFC、0xFA40～0xFC4B、0xF040～0xF9FC 称为范围。

我想验证输入字符串是否包含不在上述范围内的汉字。

以下是输出结果不在上述范围内的输入汉字字符示例：-

龚 --> 好的

鑫 --> 好的

璐 --> 需要改变

对于所有这些，预期结果应该是“需要更改”。请帮忙。

这是一个代码： -

I'm trying to send a POST request to a server which decodes with SHIFT-JIS. This string サービス is being translated to 繧ｵ繝ｼ繝薙せ after being decoded in SHIFT-JIS. It seems like the request will always be encoded in UTF-8 whenever the request is being sent over. I'm using nodejs for posting the request. Question is how do I send over the characters in shift-jis encoding? It seemed easy but I just couldn't find out how to.

Listening server

Request

EDIT: It turns out that the axios module we're using for HTTPS POST will encode the payload in UTF-8 before sending out the request. We cloned the axios module and modifying it to encode in SHIFT-JIS instead.

我想通过 SQL Loader 将记录加载到 Oracle 数据库中。一切工作正常，除了日文字符没有被修剪并且空白被插入到数据库中。由于这个问题，我必须在我的 Java 代码中使用 StringUtils.stripToEmpty() 函数来获取修剪后的值。我希望 SQL Loader 为我修剪空格。可能吗？如果是，那么请提出解决方案。

我在我的控制文件中使用了这个：

另外，仅供参考，我的控制文件指定了字符集：

这是 SQL Developer DB 的图像。我使用 NVARCHAR2(40 CHAR) 作为该列的数据类型。

无法显示字段和表名。任何帮助，将不胜感激。谢谢！

我正在编写一个程序，用于gsed从 csv 文件中提取多字节字符。

它适用于 UTF-8 编码的 csv 文件，但不适用于 SHIFT_JIS 编码的 csv 文件。

有人知道如何使用gsedSHIFT_JIS 编码文件吗？

谢谢你。

解决了

感谢@KamilCuk

GNU sed 是语言环境感知的。如果您想使用原始字节（即，您可以检查 Shift_JIS 中代表 " 的字节并将其提供给 sed），请使用：

LC_ALL=C sed ....

我设置LANG而不是LC_ALLasC因为我无法设置LC_ALLas C。

附录

我无法设置C为LC_ALL.

相反，我设置C并LANG成功了。

该项目在 React JS 中（功能组件/钩子）

有一个 api 可以返回一个逗号分隔的字符串，编码为 SHIFT-JIS 方法。API 响应如下：

我被要求做的是，转换此编码数据并制作一个 * .csv文件，其中输出字符串将如下所示：

输出由日文字符组成，包括汉字字母。

我得到了一个示例网站https://r12a.github.io/app-encodings/。如果我在Bytes to decode字段中输入编码数据，我会在shift_jis解码消息中得到正确的字符串。

https://dencode.com/en/string/hex站点也是如此。

我需要帮助的是，如何将此 编码数据转换为 * .csv文件？或者至少，如何将此编码数据转换为日文字符串？

我有个问题。

在 C# 中使用 CSVHelper 读取 csv 文件时。

我想获取文件的编码并检查它是否是 Shift-JIS (Encoding Japan)。

我研究了很多，但找不到答案。

有什么帮助或想法吗？

非常感谢。