我有一个带有转义Unicode字符的字符串\uXXXX
,我想将它转换为常规的 Unicode 字母。例如:
"\u0048\u0065\u006C\u006C\u006F World"
应该成为
"Hello World"
我知道当我打印它已经显示的第一个字符串时Hello world
。我的问题是我从文件中读取文件名,然后搜索它们。文件中的文件名使用 Unicode 编码进行转义,当我搜索文件时,我找不到它们,因为它会搜索\uXXXX
名称中包含的文件。
Apache Commons Lang StringEscapeUtils.unescapeJava ()可以正确解码。
import org.apache.commons.lang.StringEscapeUtils;
@Test
public void testUnescapeJava() {
String sJava="\\u0048\\u0065\\u006C\\u006C\\u006F";
System.out.println("StringEscapeUtils.unescapeJava(sJava):\n" + StringEscapeUtils.unescapeJava(sJava));
}
output:
StringEscapeUtils.unescapeJava(sJava):
Hello
技术上做:
String myString = "\u0048\u0065\u006C\u006C\u006F World";
自动将其转换为"Hello World"
,因此我假设您正在从某个文件中读取字符串。为了将其转换为“Hello”,您必须将文本解析为单独的 unicode 数字,(获取\uXXXX
并获取XXXX
)然后Integer.ParseInt(XXXX, 16)
获取十六进制值,然后char
获取实际字符。
编辑:一些代码来完成这个:
String str = myString.split(" ")[0];
str = str.replace("\\","");
String[] arr = str.split("u");
String text = "";
for(int i = 1; i < arr.length; i++){
int hexVal = Integer.parseInt(arr[i], 16);
text += (char)hexVal;
}
// Text will now have Hello
您可以使用StringEscapeUtils
Apache Commons Lang,即:
String Title = StringEscapeUtils.unescapeJava("\\u0048\\u0065\\u006C\\u006C\\u006F");
这种简单的方法适用于大多数情况,但会遇到像“u005Cu005C”这样的东西,它应该解码为字符串“\u0048”,但实际上会解码“H”,因为第一遍产生“\u0048”作为工作字符串然后由while循环再次处理。
static final String decode(final String in)
{
String working = in;
int index;
index = working.indexOf("\\u");
while(index > -1)
{
int length = working.length();
if(index > (length-6))break;
int numStart = index + 2;
int numFinish = numStart + 4;
String substring = working.substring(numStart, numFinish);
int number = Integer.parseInt(substring,16);
String stringStart = working.substring(0, index);
String stringEnd = working.substring(numFinish);
working = stringStart + ((char)number) + stringEnd;
index = working.indexOf("\\u");
}
return working;
}
较短的版本:
public static String unescapeJava(String escaped) {
if(escaped.indexOf("\\u")==-1)
return escaped;
String processed="";
int position=escaped.indexOf("\\u");
while(position!=-1) {
if(position!=0)
processed+=escaped.substring(0,position);
String token=escaped.substring(position+2,position+6);
escaped=escaped.substring(position+6);
processed+=(char)Integer.parseInt(token,16);
position=escaped.indexOf("\\u");
}
processed+=escaped;
return processed;
}
org.apache.commons.lang3 库中的 StringEscapeUtils 自3.6 起已弃用。
因此,您可以改用他们的新commons-text库:
compile 'org.apache.commons:commons-text:1.9'
OR
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-text</artifactId>
<version>1.9</version>
</dependency>
示例代码:
org.apache.commons.text.StringEscapeUtils.unescapeJava(escapedString);
你的问题并不完全清楚,但我假设你说你有一个文件,该文件的每一行都是一个文件名。每个文件名都是这样的:
\u0048\u0065\u006C\u006C\u006F
换句话说,文件名文件中的字符是\
, u
, 0
, 0
, 4
,8
等等。
如果是这样,您所看到的就是预期的。Java 仅\uXXXX
在源代码中翻译字符串文字中的序列(以及在读取存储Properties
对象时)。当您阅读您归档的内容时,您将看到一个由字符\
、u
、0
、0
、等组成的字符串4
,8
而不是字符串Hello
。
因此,您需要解析该字符串以提取0048
、0065
等片段,然后将它们转换为char
s 并从这些char
s 中创建一个字符串,然后将该字符串传递给打开文件的例程。
有关建议使用 The Apache Commons Lang's: StringEscapeUtils.unescapeJava()的答案的更新- 它已被弃用,
已弃用。 从 3.6 开始,请改用 commons-text StringEscapeUtils
替代品是Apache Commons Text的StringEscapeUtils.unescapeJava()
只是想贡献我的版本,使用正则表达式:
private static final String UNICODE_REGEX = "\\\\u([0-9a-f]{4})";
private static final Pattern UNICODE_PATTERN = Pattern.compile(UNICODE_REGEX);
...
String message = "\u0048\u0065\u006C\u006C\u006F World";
Matcher matcher = UNICODE_PATTERN.matcher(message);
StringBuffer decodedMessage = new StringBuffer();
while (matcher.find()) {
matcher.appendReplacement(
decodedMessage, String.valueOf((char) Integer.parseInt(matcher.group(1), 16)));
}
matcher.appendTail(decodedMessage);
System.out.println(decodedMessage.toString());
我写了一个高性能且防错的解决方案:
public static final String decode(final String in) {
int p1 = in.indexOf("\\u");
if (p1 < 0)
return in;
StringBuilder sb = new StringBuilder();
while (true) {
int p2 = p1 + 6;
if (p2 > in.length()) {
sb.append(in.subSequence(p1, in.length()));
break;
}
try {
int c = Integer.parseInt(in.substring(p1 + 2, p1 + 6), 16);
sb.append((char) c);
p1 += 6;
} catch (Exception e) {
sb.append(in.subSequence(p1, p1 + 2));
p1 += 2;
}
int p0 = in.indexOf("\\u", p1);
if (p0 < 0) {
sb.append(in.subSequence(p1, in.length()));
break;
} else {
sb.append(in.subSequence(p1, p0));
p1 = p0;
}
}
return sb.toString();
}
对于 Java 9+,您可以使用Matcher类的新replaceAll方法。
private static final Pattern UNICODE_PATTERN = Pattern.compile("\\\\u([0-9A-Fa-f]{4})");
public static String unescapeUnicode(String unescaped) {
return UNICODE_PATTERN.matcher(unescaped).replaceAll(r -> String.valueOf((char) Integer.parseInt(r.group(1), 16)));
}
public static void main(String[] args) {
String originalMessage = "\\u0048\\u0065\\u006C\\u006C\\u006F World";
String unescapedMessage = unescapeUnicode(originalMessage);
System.out.println(unescapedMessage);
}
我相信StringEscapeUtils与unescapeJava相比,这种方法的主要优势(除了不使用额外的库)是您只能转换 unicode 字符(如果您愿意),因为后者会转换所有转义的 Java 字符(如 \n 或 \t )。如果您更喜欢转换所有转义字符,则该库确实是最佳选择。
使用Kotlin ,您可以为String编写自己的扩展函数
fun String.unescapeUnicode() = replace("\\\\u([0-9A-Fa-f]{4})".toRegex()) {
String(Character.toChars(it.groupValues[1].toInt(radix = 16)))
}
进而
fun main() {
val originalString = "\\u0048\\u0065\\u006C\\u006C\\u006F World"
println(originalString.unescapeUnicode())
}
尝试
private static final Charset UTF_8 = Charset.forName("UTF-8");
private String forceUtf8Coding(String input) {return new String(input.getBytes(UTF_8), UTF_8))}
我知道使用 JsonObject 的一种简单方法:
try {
JSONObject json = new JSONObject();
json.put("string", myString);
String converted = json.getString("string");
} catch (JSONException e) {
e.printStackTrace();
}
这是我的解决方案...
String decodedName = JwtJson.substring(startOfName, endOfName);
StringBuilder builtName = new StringBuilder();
int i = 0;
while ( i < decodedName.length() )
{
if ( decodedName.substring(i).startsWith("\\u"))
{
i=i+2;
builtName.append(Character.toChars(Integer.parseInt(decodedName.substring(i,i+4), 16)));
i=i+4;
}
else
{
builtName.append(decodedName.charAt(i));
i = i+1;
}
};
快速地
fun unicodeDecode(unicode: String): String {
val stringBuffer = StringBuilder()
var i = 0
while (i < unicode.length) {
if (i + 1 < unicode.length)
if (unicode[i].toString() + unicode[i + 1].toString() == "\\u") {
val symbol = unicode.substring(i + 2, i + 6)
val c = Integer.parseInt(symbol, 16)
stringBuffer.append(c.toChar())
i += 5
} else stringBuffer.append(unicode[i])
i++
}
return stringBuffer.toString()
}
实际上,我编写了一个包含一些实用程序的开源库。其中之一是将 Unicode 序列转换为字符串,反之亦然。我发现它非常有用。这是关于这个库关于 Unicode 转换器的文章的引用:
StringUnicodeEncoderDecoder 类具有可以将字符串(任何语言)转换为 Unicode 字符序列的方法,反之亦然。例如,字符串“Hello World”将被转换为
"\u0048\u0065\u006c\u006c\u006f\u0020 \u0057\u006f\u0072\u006c\u0064"
并且可以恢复。
这是整篇文章的链接,它解释了库有哪些实用程序以及如何让库使用它。它可以作为 Maven 工件或从 Github 获得。这是非常容易使用。具有堆栈跟踪过滤、Silent String 解析 Unicode 转换器和版本比较的开源 Java 库
@NominSim 可能还有其他字符,所以我应该按长度检测它。
private String forceUtf8Coding(String str) {
str = str.replace("\\","");
String[] arr = str.split("u");
StringBuilder text = new StringBuilder();
for(int i = 1; i < arr.length; i++){
String a = arr[i];
String b = "";
if (arr[i].length() > 4){
a = arr[i].substring(0, 4);
b = arr[i].substring(4);
}
int hexVal = Integer.parseInt(a, 16);
text.append((char) hexVal).append(b);
}
return text.toString();
}
UnicodeUnescaper
从org.apache.commons:commons-text
也可以接受。
new UnicodeUnescaper().translate("\u0048\u0065\u006C\u006C\u006F World")
返回"Hello World"
Kotlin 的解决方案:
val sourceContent = File("test.txt").readText(Charset.forName("windows-1251"))
val result = String(sourceContent.toByteArray())
Kotlin 在任何地方都使用 UTF-8 作为默认编码。
方法toByteArray()
具有默认参数 - Charsets.UTF_8
。
我发现很多答案都没有解决“补充字符”的问题。这是支持它的正确方法。无第三方库,纯Java实现。
http://www.oracle.com/us/technologies/java/supplementary-142654.html
public static String fromUnicode(String unicode) {
String str = unicode.replace("\\", "");
String[] arr = str.split("u");
StringBuffer text = new StringBuffer();
for (int i = 1; i < arr.length; i++) {
int hexVal = Integer.parseInt(arr[i], 16);
text.append(Character.toChars(hexVal));
}
return text.toString();
}
public static String toUnicode(String text) {
StringBuffer sb = new StringBuffer();
for (int i = 0; i < text.length(); i++) {
int codePoint = text.codePointAt(i);
// Skip over the second char in a surrogate pair
if (codePoint > 0xffff) {
i++;
}
String hex = Integer.toHexString(codePoint);
sb.append("\\u");
for (int j = 0; j < 4 - hex.length(); j++) {
sb.append("0");
}
sb.append(hex);
}
return sb.toString();
}
@Test
public void toUnicode() {
System.out.println(toUnicode(""));
System.out.println(toUnicode(""));
System.out.println(toUnicode("Hello World"));
}
// output:
// \u1f60a
// \u1f970
// \u0048\u0065\u006c\u006c\u006f\u0020\u0057\u006f\u0072\u006c\u0064
@Test
public void fromUnicode() {
System.out.println(fromUnicode("\\u1f60a"));
System.out.println(fromUnicode("\\u1f970"));
System.out.println(fromUnicode("\\u0048\\u0065\\u006c\\u006c\\u006f\\u0020\\u0057\\u006f\\u0072\\u006c\\u0064"));
}
// output:
//
//
// Hello World