4

有谁知道为什么正则表达式与Java 16\p{Cs}中的符号不​​匹配？它曾经在 Java 11 中与之匹配。

爪哇 11

jshell 
|  Welcome to JShell -- Version 11.0.7
|  For an introduction type: /help intro

jshell> import java.util.regex.*

jshell> var text = new StringBuilder().appendCodePoint(55622).appendCodePoint(56380)
text ==> 

jshell> Pattern.compile("\\p{Cs}").matcher(text).find()
$3 ==> true

爪哇 16

INFO: Created user preferences directory.
|  Welcome to JShell -- Version 16.0.1
|  For an introduction type: /help intro

jshell> import java.util.regex.*

jshell> var text = new StringBuilder().appendCodePoint(55622).appendCodePoint(56380)
text ==> 

jshell> Pattern.compile("\\p{Cs}").matcher(text).find()
$3 ==> false
4

1 回答 1

7

首先，您的“符号”具有代码点 399420，它尚未由 Unicode 标准分配，因此如果您在这里看到有用的东西，这是您系统的非标准行为。

您构造字符串的方式在语义上是不正确的，但恰好创建了预期的字符串。由于历史原因，Java 的 API 以 UTF-16 表示为中心。

当您使用两个代理字符定义符号时，即

var text = "\uD946\uDC3C";
System.out.println(text.codePointAt(0));

你会得到

399420

另一方面，当您使用

var text = new StringBuilder().appendCodePoint(399420);
text.chars().forEach(c -> System.out.printf("\\u%04X", c));
System.out.println();

你会得到

\uD946\uDC3C

换句话说，两个代理 UTF-16char单元的序列\uD946，\uDC3C等价于单个 codepoint 399420。从概念上讲，字符串由单个代码点组成，换句话说，

System.out.println(text.codePointCount(0, text.length()) + " codepoint(s)");
System.out.println(text.codePointAt(0));
System.out.println("type " + Character.getType(text.codePointAt(0)));

将打印

1 codepoint(s)
399420
type 0

在任一情况下。该类型0指示此代码点未分配。

您appendCodePoint用于将两个 UTF-16 单元附加到 . StringBuilder，但由于此方法将BMP的代码点与 UTF-16 单元相同，因此它也构造了相同的字符串。

由于代码点的类别是“未分配的”，它不应该是“代理”，所以\p{Cs}永远不应该在这里找到匹配项。在处理有效的 Unicode 字符串时，您永远不会遇到此类别，因为它只能匹配无法解释为BMP之外的代码点的悬空代理字符。

但是有错误JDK-8247546，模式匹配没有正确跳过补充字符。在 Java 16 之前，正则表达式引擎确实正确处理了位置 0 处的代码点，但只前进了一个位置，因此它在单独char查看char位置时发现了一个悬空的代理字符。1

我们可以使用验证它

var m = Pattern.compile("\\p{Cs}").matcher(text);
if(m.find()) {
    System.out.println("found a match at " + m.start());
}

在 JDK 16 之前打印“found a match at 1”，这是错误的，因为1当char位置0和1.

此错误已在 JDK 16 中修复。所以现在，字符串被视为“未分配”类别的单个代码点。当然，这个类别将来可能会再次改变。但它永远不应该是“代理”。

于 2021-07-06T08:38:13.443 回答