1 回答

• 13

  Unicode

  Unicode中的CJK（和CJKV）指汉字表意文字，即汉语，日语，韩语和越南语中使用的汉字（汉字） . 对于Unicode脚本命名，它不涉及日语片假名和平假名或韩语韩语等语音书写脚本 . 据说Han Ideagraphs是统一的 . 这意味着每个表意文字只有一个Unicode代码点，无论它使用哪种语言 .

  这意味着Unicode（以及相反的Android / Java）无法单独基于单个表意文字来确定语言 . 即使是简体中文/繁体字也不容易与编码区别开来 . 这与无法知道字符“a”是否属于英语，法语或西班牙语的想法相同 . 需要更多背景来确定这一点 .

  但是，您可以使用Unicode编码来确定日语平假名/片假名和韩语韩语 . 这些角色的存在将很好地表明附近的汉字表意文字属于同一种语言 .

  Android

  您可以在某个索引处找到代码点

  int codepoint = Character.codePointAt(myString, offset)
  

  如果你想iterate through the codepoints in a string：

  final int length = myString.length();
  for (int offset = 0; offset < length; ) {
      final int codepoint = Character.codePointAt(myString, offset);
  
      // use codepoint here
  
      offset += Character.charCount(codepoint);
  }
  

  获得代码点后，您可以查找它所在的代码块

  Character.UnicodeBlock block = Character.UnicodeBlock.of(codepoint);
  

  然后，您可以使用代码块来测试表意文字或语言 .

  CJK

  扫描Unicode代码块，我认为它们涵盖了所有的CJK表意文字 . 如果我错过任何一个，那么随时编辑我的答案或发表评论 .

  private boolean isCJK(int codepoint) {
      Character.UnicodeBlock block = Character.UnicodeBlock.of(codepoint);
      return (
              Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS.equals(block)||
              Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A.equals(block) ||
              Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B.equals(block) ||
              Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C.equals(block) || // api 19
              Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D.equals(block) || // api 19
              Character.UnicodeBlock.CJK_COMPATIBILITY.equals(block) ||
              Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS.equals(block) ||
              Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS.equals(block) ||
              Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT.equals(block) ||
              Character.UnicodeBlock.CJK_RADICALS_SUPPLEMENT.equals(block) ||
              Character.UnicodeBlock.CJK_STROKES.equals(block) ||                        // api 19
              Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION.equals(block) ||
              Character.UnicodeBlock.ENCLOSED_CJK_LETTERS_AND_MONTHS.equals(block) ||
              Character.UnicodeBlock.ENCLOSED_IDEOGRAPHIC_SUPPLEMENT.equals(block) ||    // api 19
              Character.UnicodeBlock.KANGXI_RADICALS.equals(block) ||
              Character.UnicodeBlock.IDEOGRAPHIC_DESCRIPTION_CHARACTERS.equals(block));
  }
  

  带注释的（向右滚动）仅可从API级别19获得 . 但是，如果您需要支持早期版本，则可能会安全地删除它们，因为它们很少使用 . 此外，Unicode定义了CJK扩展E，但在撰写本文时，它在Android / Java中不受支持 . 如果您确实需要包含所有内容，则可以直接将代码点与Unicode块范围进行比较 . This site is a convenient place to browse them.您也可以在Unicode site看到它们 .

  如果您不需要支持API 19以下，那么 isIdeographic 使测试非常简单（虽然我不知道它是否真的返回与上述方法相同的匹配） .

  private boolean isCJK(int codepoint) {
      return Character.isIdeographic(codepoint);
  }
  

  或者这个API 24：

  private boolean isCJK(int codepoint) {
      return (Character.UnicodeScript.of(codepoint) == Character.UnicodeScript.HAN);
  }
  

  Japanese

  为了测试平假名或片假名，这应该工作正常：

  private boolean isJapaneseKana(int codepoint) {
      Character.UnicodeBlock block = Character.UnicodeBlock.of(codepoint);
      return (
              Character.UnicodeBlock.HIRAGANA.equals(block) ||
              Character.UnicodeBlock.KATAKANA.equals(block) ||
              Character.UnicodeBlock.KATAKANA_PHONETIC_EXTENSIONS.equals(block));
  }
  

  或者，如果您支持API 24：

  （这需要更多测试 . 请参阅下面的评论 . ）

  private boolean isJapaneseKana(int codepoint) {
      return (Character.UnicodeScript.of(codepoint) == Character.UnicodeScript.HIRAGANA || 
              Character.UnicodeScript.of(codepoint) == Character.UnicodeScript.KATAKANA);
  }
  

  Korean

  要在较低的API上测试Hangul，您可以使用

  private boolean isKoreanHangul(int codepoint) {
      Character.UnicodeBlock block = Character.UnicodeBlock.of(codepoint);
      return (Character.UnicodeBlock.HANGUL_JAMO.equals(block) ||
              Character.UnicodeBlock.HANGUL_JAMO_EXTENDED_A.equals(block) || // api 19
              Character.UnicodeBlock.HANGUL_JAMO_EXTENDED_B.equals(block) || // api 19
              Character.UnicodeBlock.HANGUL_COMPATIBILITY_JAMO.equals(block) ||
              Character.UnicodeBlock.HANGUL_SYLLABLES.equals(block));
  }
  

  如有必要，删除标记为API 19的行 .

  或者对于API 24：

  private boolean isKoreanHangul(int codepoint) {
      return (Character.UnicodeScript.of(codepoint) == Character.UnicodeScript.HANGUL);
  }
  

  进一步研究

  • Unicode East Asian scripts

  • Unicode CJK FAQs

  • Unicode Korean FAQs

  • Some source code显示了 Character.UnicodeScript 的工作原理

  • CJK Unified Ideographs

  回复于 2024-05-05T18:34:16+08:00