转载须注明出处：简书@Orca_J35
本文参考资料的列表位于 Unicode 字符编码模型_简介

为了便于理解，需先了解如下术语：

• Unicode 标量值 (Scalar Value)：除开高代理码点(high-surrogate)和低代理码点(low-surrogat )之外的任何 Unicode 码点都是标量值，具体范围是 0x0 ~ 0xD7FF 和 0xE000 ~ 0x10FFFF。代理码点不能通过"编码模式"映射为"编码单元序列"，只有标量值可被映射为"编码单元序列"。(See definition D76 in Section 3.9, Unicode Encoding Forms.)

• 编码单元(code unit)：也称编码值(Code Value)，表示用于处理或交换编码文本的基本单元。Unicode 标准在 UTF-8 编码模式中使用 8-bit 编码单元；在 UTF-16 编码模式中使用 16-bit 编码单元；在 UTF-32 编码模式中使用 32-bit 编码单元。

Unicode 字符编码模式是指从"标量值"到"编码单元序列"的可逆映射，用于为每个标量值分别分配一个唯一的"编码单元序列"。根据"编码单元序列"的长度是否可变，可将Unicode 字符编码模式分为两类：

• 固定宽度 (fixed width) 编码模式：仅使用一个编码单元，但编码单元的位数不同。

  Type	Each character encoded as	Notes
  16-bit (UCS-2)	a single 16-bit quantity	within a code space of 0..FFFF
  32-bit (UCS-4)	a single 32-bit quantity	within a code space 0..7FFFFFFF
  32-bit (UTF-32)	a single 32-bit quantity	within a code space of 0..10FFFF

• 可变宽度 (variable width) 编码模式："编码单元序列"的长度可变。如下：

  Name	Characters are encoded as	Notes
  UTF-8	a mix of one to four 8-bit code units in Unicode and one to six code units in 10646	used only with Unicode/10646
  UTF-16	a mix of one to two 16 bit code units	used only with Unicode/10646

1. 为什么需要 CEF

既然已经有了已编码字符集，那么通过获取"已编码字符"的码点值，计算机不就可以识别目标字符了么？为什么还需要"字符编码模式"喃？因为还存在如下问题：

1. 假设以固定长度存储码点，那么每个字符至少需要占用 3 个字节。对于码点值小于 0x0000FF 字符(如英文字母)，仅有最后一个字节携带有效信息，其余字节全是 0，会浪费存储空间。
2. 如果以可变长度存储每个码点，则可能无法区分不同的标量值：字母 'A' 和 'B' 的码点值是 0x41 和 0x42，汉字 '䅂' 的码点值是 0x4142，那么当出现数值 0x4142 时，到底是表示 'A' 和 'B'，还是表示 '䅂' 喃？由于二进制数据中并没有明确的"边界信息"，所有并不能对二者做出区分。
3. 通常计算机系统会以一个固定的 bit 长度来表示数值。假设某个系统以 8-bit 的无符号整数来存储字符信息，那么当标量值大于 0xFF 时，又该如何存储数据喃？

为了解决上述问题，便需要通过"字符编码模式"在"码点值"与"编码单元序列"间建立起映射的关系，使得每个码点仅有唯一一个对应的"编码单元"序列(解决第 2 个问题)。如果采用可变长度的"编码模式"，还可减少空间的浪费(解决第 1 个问题)。比如在 UTF-8 编码模式下：

• 字母 'A' 被映射为一个编码单元 0x41
• 字母 'B' 被映射为一个编码单元 0x42
• 汉字 '䅂' 被映射为三个代码单元，分别是 0xE4、0x85、0x82。标量值通过 UTF-8 映射为"编码单元序列"后，拥有明确的边界信息，不会与其他编码单元混淆(解决第 2 个问题)。

可以看到汉字 '䅂' 被映射为三个代码单元，每个代码单元是 8-bit，这说明我们可以在 8-bit 的系统中使用"编码单元序列"来表示标量值大于 0xFF 字符数据(解决第 3 个问题)，可变宽度 编码模式正是基于这样的思路产生的。在可变宽度编码模式中，我们可以用代码单元(8-bit 或 16-bit)构成的序列来表示任意标量值。

2. UTF

UTF (Unicode transformation format ) 是将每个标量值分别映射到一个唯一字节序列的算法，属于"Unicode 字符编码模式"的具体实现方式。UTF 包含三中模式：UTF-8、UTF-16、UTF-32，且每种 UTF 算法都是可逆算法。

2.1 UTF-8 CEF

UTF-8 编码模式 (Encoding Form)：一种 Unicode 编码模式，会为每个标量值分别分配一个唯一的无符号字节序列，该序列的长度是 1 ~ 4 字节(可变宽度)。另外，UTF-8 与 ASCII 兼容。 (See definition D92 in Section 3.9, Unicode Encoding Forms.)

下表展示了 UTF-8 中比特位编码方式：

编码后的字节序列和标量值间的对应关系：

2.2 UTF-16 CEF

UTF-16 编码模式 (Encoding Form)：一种 Unicode 编码模式，会为 U+0000..U+D7FF 和 U+E000..U+FFFF 中的每个标量值分别分配一个唯一的无符号 16-bit 编码单元(编码单元的值与 Unicode 标量值相等)；会为 U+10000..U+10FFFF 中的每个标量值分别分配一个唯一代理对。下表展示了 UTF-16 中比特位编码方式： (See definition D91 in Section 3.9, Unicode Encoding Forms.)

2.2.1 代理对

surrogate pairs

代理对 (Surrogate Pair)：用于表示辅助平面中的标量值，由包含两个 16-bit 编码单元的序列构成。代理对中的第一个值被称作高代理(high-surrogate)编码单元，第二个值被称作低代理(low--surrogate)编码单元。(See definition D75 in Section 3.8, Surrogates.)

将标量值映射为代理对的算法大致如下：

假设辅助平面中某个标量值的十六进制值是x，显然：
x ∈ (0x1_0000~0x10_FFFF)
首先，将x的减去0x1_0000，得到y：
∴ y = x-0x1_0000 ∈ (0x00000~0xF_FFFF)
将 y 表示为二进制，并将高10位记作h，低十位记作l，可得：
y = 0bhhhh_hhhh_hhll_llll_llll
将y的高10位与高代理项的基准值0xD800相加，便可得高代理项high：
high = (y // 0x400)+0xD800
将y的低10位与低代理项的基准值0xDC00相加，便可得低代理项low：
low = (y % 0x400)+0xDC00

代理对由 high 和 low 构成了，high 表示高代理编码单元，low 表示地代理编码单元。"高代理编码单元"的值位于 0xD800 ~ 0xDBFF 之间，"低代理编码单元"的值位于 0xDC00 ~ 0xDFFF 之间。为了避免与拥有相同值的码点混淆，所以在 U+D800 ~ U+DFFF 内的码点是不能通过"编码模式"映射为"编码单元序列"的，只有标量值可被映射为"编码单元序列"。这样的设计目的是为了便于判断某个"编码单元"是否是代码对中的一部分。

用 Python 描述计算过程如下，不考虑输入错误：

def get_surrogate_pairs(char_or_code):
    """char_or_code:单个字符或码点值"""
    if isinstance(char_or_code, str):
        code_point = ord(char_or_code)
    else:
        code_point = char_or_code
    code_point -= 0x10000
    high_surrogate = (code_point // 0x400)+0xD800
    low_surrogate = (code_point % 0x400)+0xDC00
    print(hex(high_surrogate), hex(low_surrogate))

get_surrogate_pairs("𐐷")
get_surrogate_pairs("𤭢")
get_surrogate_pairs(0x10FFFF) # 输出最大码点值的代理对

输出：

0xd801 0xdc37
0xd852 0xdf62
0xdbff 0xdfff

为了便于理解，再补充几个术语：

代理码点 (Surrogate Code Point)：位于 U+D800 ~ U+DFFF 之间的 Unicode 码点属于作代理码点，保留共 UTF-16 使用。UTF-16 使用一对代理编码单元"表示"辅助码点。

高代理码点 (High-Surrogate Code Point)：位于 U+D800 ~ U+DBFF 间的 Unicode 码点属于高代理码点。(See definition D71 in Section 3.8, Surrogates.)

高代理编码单元 (High-Surrogate Code Unit)：位于 0xD800 ~ 0xDBFF 间的 16-bit 编码单元，在 UTF-16 中被用作代理对的第一个编码单元。(See definition D72 in Section 3.8, Surrogates.)

低代理码点 (Low-Surrogate Code Point)：位于 U+DC00 ~ U+DFFF 间的 Unicode 码点属于低代理码点。(See definition D73 in Section 3.8, Surrogates.)

低代理编码单元 (Low-Surrogate Code Unit)：位于 0xDC00~ 0xDFFF 间的 16-bit 编码单元，在 UTF-16 中被用作代理对的第二个编码单元。(See definition D74 in Section 3.8, Surrogates.)

2.3 UTF-32 CEF

UTF-32 编码模式 (Encoding Form)：一种 Unicode 编码模式，会为每个 Unicode 标量值分配一个唯一的无符号 32-bit 编码单元(编码单元的值与 Unicode 标量值相等)。(See definition D90 in Section 3.9, Unicode Encoding Forms.)

UTF-32 虽可编码所有 Unicode 码点，但是相比其它编码模式会占用更多的空间。

3. UCS

UCS - Universal Character Set 通用字符集，由 International Standard ISO/IEC 10646 所规定，与 Unicode 标准相同。

UCS-2 ：ISO/IEC 10646 编码模式，使用两个 8 位字节编码通用字符集，仅限于基本多语言平面，不能编码辅助平面。UCS-2 是固定宽度编码模式。tips：Notepad++ 支持 UCS-2 编码，如果在 UCS-2 编码的文件保存辅助平面中的字符，再次打开该文件时会发现辅助字符会变为另一个 BMP 字符，字符信息发生了丢失。

UCS-4 ：ISO/IEC 10646 编码模式：使用 4 个 8 位字节编码通用字符集，适用于所有平面。

4. 相关术语补充

以下内容直接翻译自 Unicode 术语表：

• Unicode 编码模式 (Unicode Encoding Form)：一种字符编码模式，用于为每个 Unicode 标量值(scalar value)分别分配一个唯一的"编码单元序列"。Unicode 标准定义了三种 Unicode 编码模式：UTF-8, UTF-16, and UTF-32。(See definition D79 in Section 3.9, Unicode Encoding Forms.)

• 字符编码模式 (Character Encoding Form)：简称编码模式，将字符集中的定义(definition)映射到表示数据的实际编码单元。另外，Encoding Form 与 character encoding form 同义

• 转换格式 (Transformation Format)：从已编码字符序列到唯一编码序列的映射(typically bytes)。

• 代理码点 (Surrogate Code Point)：位于 U+D800 ~ U+DFFF 之间的 Unicode 码点属于作代理码点，保留共 UTF-16 使用。UTF-16 使用一对代理编码单元"表示"辅助码点。