UTF-8 字符字面量 ​

什么是 UTF-8 字符字面量 ​

C++17 引入了 u8 前缀的字符字面量(注意不是字符串字面量——u8 前缀的字符串字面量在 C++11 就有了)。写法是 u8'a',用来明确表示一个 UTF-8 编码的字符。

在 C++17 中,u8'a' 的类型是 char。到了 C++20,引入了专门的 char8_t 类型后,u8'a' 的类型变成了 char8_t。这个类型变化是一个破坏性改动,在从 C++17 升级到 C++20 时需要注意。

UTF-8 字符字面量只能包含一个 UTF-8 编码单元(code unit),也就是说只能表示 ASCII 范围内的字符(U+0000 到 U+007F)。如果你试图写 u8'中' 这样的多字节字符,编译器会报错,因为"中"在 UTF-8 编码下需要 3 个字节,超出了单个 code unit 的范围。

基本语法 ​

cpp
// C++17:类型是 char
// C++20 起:类型是 char8_t
u8'a'     // UTF-8 字符字面量,值为 0x61
u8'Z'     // UTF-8 字符字面量,值为 0x5A
u8'\n'    // UTF-8 字符字面量,转义字符,换行符
u8'\x7F'  // UTF-8 字符字面量,十六进制转义
u8'\0'    // UTF-8 字符字面量,空字符

// 错误示例:
// u8'中'  // 编译错误:'中' 在 UTF-8 中需要多个 code unit
// u8'€'   // 编译错误:'€' 在 UTF-8 中需要 3 个字节

各种字符字面量前缀对比 ​

前缀示例类型 (C++17)类型 (C++20)编码可表示范围
无'a'charchar执行字符集取决于实现
u8u8'a'charchar8_tUTF-8U+0000 ~ U+007F(单字节)
uu'a'char16_tchar16_tUTF-16BMP 范围内的单个码点
UU'a'char32_tchar32_tUTF-32任意 Unicode 码点
LL'a'wchar_twchar_t宽字符(平台相关)取决于 wchar_t 大小

基本示例 ​

cpp
#include <iostream>
#include <cstdint>
#include <type_traits>

int main() {
    // ============================
    // 示例1:基本的 UTF-8 字符字面量
    // ============================

    // u8'a' 表示字符 'a' 的 UTF-8 编码值,即 0x61
    // 在 C++17 中类型是 char
    auto ch = u8'a';
    std::cout << "u8'a' 的值: " << static_cast<int>(ch) << std::endl;  // 输出: 97 (0x61)

    // 所有 ASCII 可打印字符都可以用 u8 前缀
    auto digit = u8'0';      // 值为 0x30,即十进制 48
    auto upper = u8'A';      // 值为 0x41,即十进制 65
    auto space = u8' ';      // 值为 0x20,即十进制 32

    std::cout << "u8'0' = " << static_cast<int>(digit) << std::endl;
    std::cout << "u8'A' = " << static_cast<int>(upper) << std::endl;
    std::cout << "u8' ' = " << static_cast<int>(space) << std::endl;

    // ============================
    // 示例2:转义字符
    // ============================

    // 转义字符同样可以使用 u8 前缀
    auto newline = u8'\n';     // 换行符,值为 0x0A
    auto tab = u8'\t';         // 制表符,值为 0x09
    auto null_char = u8'\0';   // 空字符,值为 0x00
    auto backslash = u8'\\';   // 反斜杠,值为 0x5C

    std::cout << "u8'\\n' = " << static_cast<int>(newline) << std::endl;   // 10
    std::cout << "u8'\\t' = " << static_cast<int>(tab) << std::endl;       // 9
    std::cout << "u8'\\0' = " << static_cast<int>(null_char) << std::endl; // 0

    // 十六进制转义
    auto hex_char = u8'\x41';  // 等价于 u8'A'
    std::cout << "u8'\\x41' = " << static_cast<char>(hex_char) << std::endl;  // 输出: A

    // ============================
    // 示例3:与普通字符字面量的区别
    // ============================

    // 普通字符字面量的编码取决于编译器的执行字符集
    // 在大多数现代系统上,执行字符集也是 UTF-8 或 ASCII 兼容的
    // 所以对于 ASCII 范围内的字符,u8'a' 和 'a' 的值通常相同
    char ordinary = 'a';

    // 但语义不同:u8 明确保证是 UTF-8 编码
    // 在某些非 ASCII 默认编码的系统上(如 EBCDIC),差异会很明显
    std::cout << "普通 'a' = " << static_cast<int>(ordinary) << std::endl;
    std::cout << "u8'a'   = " << static_cast<int>(ch) << std::endl;

    // ============================
    // 示例4:编译期使用
    // ============================

    // UTF-8 字符字面量可以用在 constexpr 和编译期上下文中
    constexpr auto compile_time_char = u8'Z';
    static_assert(compile_time_char == 0x5A, "Z 的 UTF-8 编码应该是 0x5A");

    // 可以用在 switch-case 中
    auto test_char = u8'B';
    switch (test_char) {
        case u8'A':
            std::cout << "是 A" << std::endl;
            break;
        case u8'B':
            std::cout << "是 B" << std::endl;  // 走这个分支
            break;
        default:
            std::cout << "其他字符" << std::endl;
    }

    return 0;
}

C++17 到 C++20 的类型变化 ​

这是使用 u8 字符字面量时最需要关注的一个问题。C++20 引入了 char8_t 类型,导致 u8'a' 的类型从 char 变成了 char8_t。

cpp
// C++17 中:
auto c = u8'a';    // c 的类型是 char
char x = u8'a';    // 合法

// C++20 中:
auto c = u8'a';    // c 的类型是 char8_t
// char x = u8'a'; // 编译错误!char8_t 不能隐式转换为 char
char8_t y = u8'a'; // 合法
特性C++17C++20
u8'a' 的类型charchar8_t
char8_t 是否存在不存在新增的基本类型
u8'a' 能赋值给 char 吗可以不可以(需要显式转换)
u8"hello" 的类型const char[]const char8_t[]

这个变化意味着,如果你的 C++17 代码中使用了 u8 字符字面量并将其赋值给 char 变量,升级到 C++20 后需要修改代码。

适用场景 ​

  • 在需要明确字符编码为 UTF-8 的场景中使用,避免依赖编译器默认的执行字符集
  • 编写跨平台代码时,确保字符值在所有平台上一致(ASCII 范围内)
  • 处理网络协议或文件格式时,需要按照规范使用 UTF-8 编码的字符常量
  • 与 u8 字符串字面量配合使用,保持编码一致性

常见问题 ​

为什么 u8 字符字面量只能包含 ASCII 字符?

因为 u8 字符字面量表示的是单个 UTF-8 编码单元(code unit),一个 code unit 就是一个字节。UTF-8 编码中,只有 U+0000 到 U+007F 范围内的字符可以用单个字节表示(对应 ASCII)。超出这个范围的字符(比如中文、表情符号)在 UTF-8 中需要 2 到 4 个字节,无法放进一个 code unit。如果需要表示这些字符,应该用 u (UTF-16)、U (UTF-32) 前缀,或者使用字符串字面量 u8"中"。

u8'a' 和 'a' 在大多数系统上有什么实际区别?

在绝大多数现代系统上(Linux、macOS、Windows),执行字符集就是 ASCII 或者 UTF-8 兼容的编码,所以 u8'a' 和 'a' 的值完全一样。区别在于语义保证:u8'a' 在标准层面保证值是 UTF-8 编码,而 'a' 的编码理论上取决于实现。在极少数使用 EBCDIC 编码的系统(如某些 IBM 大型机)上,'a' 的值是 0x81,而 u8'a' 的值仍然是 0x61。

C++20 的 char8_t 带来的兼容性问题怎么处理?

有几种常见的应对方式:

  • 如果代码需要同时支持 C++17 和 C++20,可以用条件编译:#ifdef __cpp_char8_t
  • 在 C++20 中需要把 u8 字面量赋给 char 时,使用 static_cast<char>(u8'a')
  • GCC 和 Clang 提供了 -fno-char8_t 编译选项来禁用 char8_t,回退到 C++17 行为
  • 如果不需要严格的 UTF-8 语义保证,直接用普通字符字面量 'a' 就行

注意事项 ​

  • u8 字符字面量只能包含 ASCII 范围(0x00-0x7F)的字符,超出范围会编译报错
  • C++17 中 u8'a' 的类型是 char,C++20 起变成 char8_t,这是一个破坏性变化
  • char8_t 是 C++20 新增的基本类型,大小为 1 字节,底层表示和 unsigned char 相同,但是一个独立的类型
  • 不要把 u8 字符字面量和 u8 字符串字面量搞混:u8'a' 是单个字符,u8"abc" 是字符串
  • 在 C++17 的实际开发中,由于大多数平台默认就是 ASCII/UTF-8 编码,u8 字符字面量的实际使用场景不多;它的价值更多体现在代码意图的明确表达上

编译器支持情况 ​

编译器C++17 u8 字符字面量C++20 char8_t
GCC6.09.0
Clang3.67.0
MSVC19.0 (VS 2015)19.22 (VS 2019 16.2)

总结 ​

UTF-8 字符字面量是 C++17 引入的语法,用 u8 前缀来明确表示一个 UTF-8 编码的字符。它只能表示 ASCII 范围内的字符(因为 UTF-8 中只有这些字符是单字节的)。在大多数现代平台上,u8'a' 和 'a' 的值没有区别,但 u8 前缀提供了编码层面的保证。使用这个特性时最需要注意的是 C++20 的破坏性变化:u8'a' 的类型从 char 变成了 char8_t,可能导致已有代码编译失败。如果你的项目有明确的字符编码需求或需要跨平台一致性,使用 u8 前缀是个好习惯;如果只是在常规 ASCII 场景下使用,普通字符字面量就够了。