我正在尝试将 Java 字符转换为 JIS X 0208“x-JIS0208”编码(或任何兼容的,如 EUC-JP,但不是 Shift-JIS),但我希望正确处理统一(合并)代码点。
例如,高被分配到此 JISX0208 图表中的第 25 行第 66 列,而相似字符髙虽然被归类为未分配的代码点,但与前者合并。我从维基百科引用:“形式 [ ] (高) 和具有梯状结构 (髙) 的不太常见的形式都包含在同一个代码点中”。
我在下面的代码中尝试了这个,无论我尝试什么编码,我总是得到一个异常或未分配的字符占位符?
(ASCII 或全角)。
有没有办法,也许是不同的结束或完全不同的转换方式,所以这两个字符都返回相同的代码点?或者,是否有一个 API 可以找到这些字符,以便我可以在转换之前合并它们?
static Charset charset1 = Charset.forName("x-JIS0208");
static Charset charset2 = Charset.forName("EUC-JP");
static Charset[] charsets = {charset1, charset2};
static CharBuffer in = CharBuffer.allocate(1);
public static void main(String[] args) throws Exception
{
CharsetEncoder[] encoders = new CharsetEncoder[charsets.length];
for (int i = 0; i < charsets.length; i++)
encoders[i] = charsets[i].newEncoder();
char[] testChars = {' ', 'A', '?', '亜', '唖', '蔭', '高', '髙'};
for (char ch : testChars)
{
System.out.print("'" + ch + "'\t(" + Integer.toHexString(ch) + ")\t=");
for (int i = 0; i < charsets.length; i++)
{
System.out.print("\t" + interpret(encode1(encoders[i], ch)));
System.out.print("\t" + interpret(encode2(charsets[i], ch)));
}
System.out.println();
}
}
private static String interpret(int i)
{
if (i == -1)
return "excepti";
if (i < 0x80)
return "'" + (char)i + "'";
return Integer.toHexString(i);
}
private static int encode1(CharsetEncoder encoder, char ch)
{
in.rewind();
in.put(ch);
in.rewind();
try
{
ByteBuffer out = encoder.encode(in);
if (out.limit() == 1)
return out.get(0) & 0xFF;
return out.get(1) & 0xFF | (out.get(0) & 0xFF) << 8;
}
catch (CharacterCodingException e)
{
return -1;
}
}
private static int encode2(Charset charset, char ch)
{
in.rewind();
in.put(ch);
in.rewind();
ByteBuffer out = charset.encode(in);
if (out.limit() == 1)
return out.get(0) & 0xFF;
return out.get(1) & 0xFF | (out.get(0) & 0xFF) << 8;
}
输出:
' ' (3000) = 2121 2121 a1a1 a1a1
'A' (ff21) = 2341 2341 a3c1 a3c1
'?' (ff1f) = 2129 2129 a1a9 a1a9
'亜' (4e9c) = 3021 3021 b0a1 b0a1
'唖' (5516) = 3022 3022 b0a2 b0a2
'蔭' (852d) = 307e 307e b0fe b0fe
'高' (9ad8) = 3962 3962 b9e2 b9e2
'髙' (9ad9) = excepti 2129 excepti '?'
注意:我只对转换单个字符感兴趣,很多字符,而不是字符串或流,所以我实际上更喜欢一种不同的方法(如果存在),它不会在每次转换时分配一个 ByteBuffer。