56

我正在努力获取 unicode 字符串的数量并尝试了各种选项。看起来像一个小问题，但打击很大。

在这里，我试图获取字符串 str1 的长度。我得到它为 6。但实际上它是 3。将光标移到字符串“குமார்”上也将其显示为 3 个字符。

基本上我想测量长度并打印每个字符。比如“கு”、“மா”、“ர்”。

 public class one {
    public static void main(String[] args) {
            String str1 = new String("குமார்");
            System.out.print(str1.length());
    }
}

PS：这是泰米尔语。

4

5 回答 5

43

找到了解决您的问题的方法。

基于这个 SO answer，我制作了一个程序，该程序使用正则表达式字符类来搜索可能具有可选修饰符的字母。它将您的字符串拆分为单个（必要时组合）字符并将它们放入列表中：

import java.util.*;
import java.lang.*;
import java.util.regex.*;

class Main
{
    public static void main (String[] args)
    {
        String s="குமார்";
        List<String> characters=new ArrayList<String>();
        Pattern pat = Pattern.compile("\\p{L}\\p{M}*");
        Matcher matcher = pat.matcher(s);
        while (matcher.find()) {
            characters.add(matcher.group());            
        }

        // Test if we have the right characters and length
        System.out.println(characters);
        System.out.println("String length: " + characters.size());

    }
}

其中\\p{L}表示 Unicode 字母，\\p{M}表示 Unicode 标记。

片段的输出是：

கு
மா
ர்
String length: 3

有关工作演示，请参阅https://ideone.com/Apkapn

编辑

现在，我使用从http://en.wikipedia.org/wiki/Tamil_script中的表格中获取的所有有效泰米尔语字母检查了我的正则表达式。我发现使用当前的正则表达式无法正确捕获所有字母（Grantha 复合表最后一行中的每个字母都被拆分为两个字母），因此我将正则表达式改进为以下解决方案：

Pattern pat = Pattern.compile("\u0B95\u0BCD\u0BB7\\p{M}?|\\p{L}\\p{M}?");

使用此模式而不是上述模式，您应该能够将您的句子拆分为每个有效的泰米尔语字母（只要维基百科的表格完整）。

我用于检查的代码如下：

String s = "ஃஅஆஇஈஉஊஎஏஐஒஓஔக்ககாகிகீகுகூகெகேகைகொகோகௌங்ஙஙாஙிஙீஙுஙூஙெஙேஙைஙொஙோஙௌச்சசாசிசீசுசூசெசேசைசொசோசௌஞ்ஞஞாஞிஞீஞுஞூஞெஞேஞைஞொஞோஞௌட்டடாடிடீடுடூடெடேடைடொடோடௌண்ணணாணிணீணுணூணெணேணைணொணோணௌத்ததாதிதீதுதூதெதேதைதொதோதௌந்நநாநிநீநுநூநெநேநைநொநோநௌப்பபாபிபீபுபூபெபேபைபொபோபௌம்மமாமிமீமுமூமெமேமைமொமோமௌய்யயாயியீயுயூயெயேயையொயோயௌர்ரராரிரீருரூரெரேரைரொரோரௌல்லலாலிலீலுலூலெலேலைலொலோலௌவ்வவாவிவீவுவூவெவேவைவொவோவௌழ்ழழாழிழீழுழூழெழேழைழொழோழௌள்ளளாளிளீளுளூளெளேளைளொளோளௌற்றறாறிறீறுறூறெறேறைறொறோறௌன்னனானினீனுனூனெனேனைனொனோனௌஶ்ஶஶாஶிஶீஶுஶூஶெஶேஶைஶொஶோஶௌஜ்ஜஜாஜிஜீஜுஜூஜெஜேஜைஜொஜோஜௌஷ்ஷஷாஷிஷீஷுஷூஷெஷேஷைஷொஷோஷௌஸ்ஸஸாஸிஸீஸுஸூஸெஸேஸைஸொஸோஸௌஹ்ஹஹாஹிஹீஹுஹூஹெஹேஹைஹொஹோஹௌக்ஷ்க்ஷக்ஷாக்ஷிக்ஷீக்ஷுக்ஷூக்ஷெக்ஷேக்ஷைஷொக்ஷோஷௌ";
List<String> characters = new ArrayList<String>();
Pattern pat = Pattern.compile("\u0B95\u0BCD\u0BB7\\p{M}?|\\p{L}\\p{M}?");
Matcher matcher = pat.matcher(s);
while (matcher.find()) {
    characters.add(matcher.group());
}

System.out.println(characters);
System.out.println(characters.size() == 325);
于 2013-04-11T12:52:23.997 回答
15

看看Normalizer类。有一个解释可能是您的问题的原因。在 Unicode 中，您可以通过多种方式对字符进行编码，例如Á：

  U+00C1    LATIN CAPITAL LETTER A WITH ACUTE

或者 

  U+0041    LATIN CAPITAL LETTER A
  U+0301    COMBINING ACUTE ACCENT

您可以尝试使用Normalizer将字符串转换为组合形式，然后遍历字符。

编辑：根据上面@halex 建议的文章，在 Java 中试试这个：

    String str = new String("குமார்");

    ArrayList<String> characters = new ArrayList<String>();
    str = Normalizer.normalize(str, Form.NFC);
    StringBuilder charBuffer = new StringBuilder();
    for (int i = 0; i < str.length(); i++) {
        int codePoint = str.codePointAt(i);
        int category = Character.getType(codePoint);
        if (charBuffer.length() > 0
                && category != Character.NON_SPACING_MARK
                && category != Character.COMBINING_SPACING_MARK
                && category != Character.CONTROL
                && category != Character.OTHER_SYMBOL) {
            characters.add(charBuffer.toString());
            charBuffer.delete(0, charBuffer.length());
        }
        charBuffer.appendCodePoint(codePoint);
    }
    if (charBuffer.length() > 0) {
        characters.add(charBuffer.toString());
    }
    System.out.println(characters);

我得到的结果是[கு, மா, ர்]. 如果它不适用于所有字符串，请尝试修改if块中的其他 Unicode 字符类别。

于 2013-04-11T11:55:07.783 回答
8

事实证明这真的很难看......我已经调试了你的字符串，它包含以下字符（及其十六进制位置）：

க 0x0b95
ு 0x0bc1
ம 0x0bae
ா 0x0bbe
ர 0x0bb0
் 0x0bcd

因此，泰米尔语显然使用类似变音符号的序列来获取不幸被视为单独实体的所有字符。

这不是其他答案错误地声称的 UTF-8 / UTF-16 的问题，它是泰米尔语的 Unicode 编码所固有的。

建议的规范化器不起作用，似乎泰米尔语是由 Unicode“专家”设计的，以明确使用无法规范化的组合序列。啊。

我的下一个想法不是计算字符，而是计算字形，即字符的视觉表示。

String str1 = new String(Normalizer.normalize("குமார்", Normalizer.Form.NFC ));

Font display = new Font("SansSerif",Font.PLAIN,12);
GlyphVector vec = display.createGlyphVector(new FontRenderContext(new AffineTransform(),false, false),str1);

System.out.println(vec.getNumGlyphs());
for (int i=0; i<str1.length(); i++)
        System.out.printf("%s %s %s %n",str1.charAt(i),Integer.toHexString((int) str1.charAt(i)),vec.getGlyphVisualBounds(i).getBounds2D().toString());

结果：

க b95 [x=0.0,y=-6.0,w=7.0,h=6.0]
ு bc1 [x=8.0,y=-6.0,w=7.0,h=4.0]
ம bae [x=17.0,y=- 6.0,w=6.0,h=6.0]
ா bbe [x=23.0,y=-6.0,w=5.0,h=6.0]
ர bb0 [x=30.0,y=-6.0,w=4.0,h=8.0]
் bcd [x=31.0,y=-9.0,w=1.0,h=2.0]

由于字形相交，您需要像在其他解决方案中一样使用 Java 字符类型函数。

解决方案：

我正在使用这个链接：http ://www.venkatarangan.com/blog/content/binary/Counting%20Letters%20in%20an%20Unicode%20String.pdf

public static int getTamilStringLength(String tamil) {
    int dependentCharacterLength = 0;
    for (int index = 0; index < tamil.length(); index++) {
        char code = tamil.charAt(index);
        if (code == 0xB82)
            dependentCharacterLength++;
        else if (code >= 0x0BBE && code <= 0x0BC8)
            dependentCharacterLength++;
        else if (code >= 0x0BCA && code <= 0x0BD7)
            dependentCharacterLength++;
    }
    return tamil.length() - dependentCharacterLength;
  }

您需要排除组合字符并相应地计算它们。

于 2013-04-11T12:17:04.293 回答
2

如前所述，您的字符串包含 6 个不同的代码点。其中一半是字母，另一半是元音符号。（组合标记）

您可以使用ICU4J 库中内置的转换，使用以下规则删除所有不是字母的元音符号：

[:^字母:] 删除

并计算结果字符串。在他们的演示网站上试用：

http://demo.icu-project.org/icu-bin/translit

我不会将结果字符串显示给最终用户，而且我不是专家，因此可能需要调整规则以达到一般情况，但这是一个想法。

于 2013-04-11T12:51:30.657 回答
0

这是考虑 Unicode 字符来计算 Java 字符串长度的新方法。

int unicodeLength = str.codePointCount(0, str.length);
于 2018-11-28T21:21:43.890 回答