java - 如何在 Java 中规范化 Unicode 数字

Question

是否有任何 Java API 可以将 Unicode 数字标准化为 ASCII 数字？

JDK和ICU4J中有一个规范化 API，它似乎无法处理这种规范化（因为它可能不被Unicode 标准称为规范化）

我需要将所有形式的 Unicode 数字（在这篇文章中列出）转换为 [0-9]。一个可能的混乱解决方案是 10 替换所有从 0 到 9 的任何数字。

Answer 1

更新

这可以使用ICU4J Transliteration API来实现。以下音译从字符串中删除任何非 ASCII 字符，但 az、AZ、0-9 和破折号（减号）除外。

Transliterator trans = Transliterator.getInstance("Any-Latin; NFD; [^a-zA-Z0-9-] Remove");
System.out.println(trans.transform("۱۲۳456"));

将打印：

123456

---

另一个混乱的解决方案

static final Pattern DIGIT_0 = Pattern.compile("[٠۰߀०০੦૦୦௦౦೦൦๐໐０]");
static final Pattern DIGIT_1 = Pattern.compile("[١۱߁१১੧૧୧௧౧೧൧๑໑１]");
static final Pattern DIGIT_2 = Pattern.compile("[٢۲߂२২੨૨୨௨౨೨൨๒໒２]");
static final Pattern DIGIT_3 = Pattern.compile("[٣۳߃३৩੩૩୩௩౩೩൩๓໓３]");
static final Pattern DIGIT_4 = Pattern.compile("[٤۴߄४৪੪૪୪௪౪೪൪๔໔４]");
static final Pattern DIGIT_5 = Pattern.compile("[٥۵߅५৫੫૫୫௫౫೫൫๕໕５]");
static final Pattern DIGIT_6 = Pattern.compile("[٦۶߆६৬੬૬୬௬౬೬൬๖໖６]");
static final Pattern DIGIT_7 = Pattern.compile("[٧۷߇७৭੭૭୭௭౭೭൭๗໗７]");
static final Pattern DIGIT_8 = Pattern.compile("[٨۸߈८৮੮૮୮௮౮೮൮๘໘８]");
static final Pattern DIGIT_9 = Pattern.compile("[٩۹߉९৯੯૯୯௯౯೯൯๙໙９��]");

public static final Pattern[] DIGIT_PATTERN_LIST = { DIGIT_0, DIGIT_1, DIGIT_2, DIGIT_3, DIGIT_4, DIGIT_5, DIGIT_6, DIGIT_7, DIGIT_8,
        DIGIT_9 };

/**
 * Converts any Unicode digits into their ASCII equivalent. For example given 23۹٤۴ returns 23944
 * 
 * @param str
 * @return
 */
public static String normalizeUnicodeDigits(String str) {
    for (int i = 0; i < DIGIT_PATTERN_LIST.length; i++) {
        Pattern dp = DIGIT_PATTERN_LIST[i];
        str = dp.matcher(str).replaceAll(String.valueOf(i));
    }
    return str;
}

Answer 2

Character.forDigit(...)和的组合Character.digit(...)应该起作用。

public static char normalizeDigit(char c) {
  int d = Character.digit(c, 10);
  return (d >= 0) ? Character.forDigit(d, 10): c;
}

遍历所有字符。

Answer 3

您正在尝试做的事情称为音译。