UTF-8 字符字面量
什么是 UTF-8 字符字面量
C++17 引入了 u8 前缀的字符字面量(注意不是字符串字面量——u8 前缀的字符串字面量在 C++11 就有了)。写法是 u8'a',用来明确表示一个 UTF-8 编码的字符。
在 C++17 中,u8'a' 的类型是 char。到了 C++20,引入了专门的 char8_t 类型后,u8'a' 的类型变成了 char8_t。这个类型变化是一个破坏性改动,在从 C++17 升级到 C++20 时需要注意。
UTF-8 字符字面量只能包含一个 UTF-8 编码单元(code unit),也就是说只能表示 ASCII 范围内的字符(U+0000 到 U+007F)。如果你试图写 u8'中' 这样的多字节字符,编译器会报错,因为"中"在 UTF-8 编码下需要 3 个字节,超出了单个 code unit 的范围。
基本语法
// C++17:类型是 char
// C++20 起:类型是 char8_t
u8'a' // UTF-8 字符字面量,值为 0x61
u8'Z' // UTF-8 字符字面量,值为 0x5A
u8'\n' // UTF-8 字符字面量,转义字符,换行符
u8'\x7F' // UTF-8 字符字面量,十六进制转义
u8'\0' // UTF-8 字符字面量,空字符
// 错误示例:
// u8'中' // 编译错误:'中' 在 UTF-8 中需要多个 code unit
// u8'€' // 编译错误:'€' 在 UTF-8 中需要 3 个字节各种字符字面量前缀对比
| 前缀 | 示例 | 类型 (C++17) | 类型 (C++20) | 编码 | 可表示范围 |
|---|---|---|---|---|---|
| 无 | 'a' | char | char | 执行字符集 | 取决于实现 |
u8 | u8'a' | char | char8_t | UTF-8 | U+0000 ~ U+007F(单字节) |
u | u'a' | char16_t | char16_t | UTF-16 | BMP 范围内的单个码点 |
U | U'a' | char32_t | char32_t | UTF-32 | 任意 Unicode 码点 |
L | L'a' | wchar_t | wchar_t | 宽字符(平台相关) | 取决于 wchar_t 大小 |
基本示例
#include <iostream>
#include <cstdint>
#include <type_traits>
int main() {
// ============================
// 示例1:基本的 UTF-8 字符字面量
// ============================
// u8'a' 表示字符 'a' 的 UTF-8 编码值,即 0x61
// 在 C++17 中类型是 char
auto ch = u8'a';
std::cout << "u8'a' 的值: " << static_cast<int>(ch) << std::endl; // 输出: 97 (0x61)
// 所有 ASCII 可打印字符都可以用 u8 前缀
auto digit = u8'0'; // 值为 0x30,即十进制 48
auto upper = u8'A'; // 值为 0x41,即十进制 65
auto space = u8' '; // 值为 0x20,即十进制 32
std::cout << "u8'0' = " << static_cast<int>(digit) << std::endl;
std::cout << "u8'A' = " << static_cast<int>(upper) << std::endl;
std::cout << "u8' ' = " << static_cast<int>(space) << std::endl;
// ============================
// 示例2:转义字符
// ============================
// 转义字符同样可以使用 u8 前缀
auto newline = u8'\n'; // 换行符,值为 0x0A
auto tab = u8'\t'; // 制表符,值为 0x09
auto null_char = u8'\0'; // 空字符,值为 0x00
auto backslash = u8'\\'; // 反斜杠,值为 0x5C
std::cout << "u8'\\n' = " << static_cast<int>(newline) << std::endl; // 10
std::cout << "u8'\\t' = " << static_cast<int>(tab) << std::endl; // 9
std::cout << "u8'\\0' = " << static_cast<int>(null_char) << std::endl; // 0
// 十六进制转义
auto hex_char = u8'\x41'; // 等价于 u8'A'
std::cout << "u8'\\x41' = " << static_cast<char>(hex_char) << std::endl; // 输出: A
// ============================
// 示例3:与普通字符字面量的区别
// ============================
// 普通字符字面量的编码取决于编译器的执行字符集
// 在大多数现代系统上,执行字符集也是 UTF-8 或 ASCII 兼容的
// 所以对于 ASCII 范围内的字符,u8'a' 和 'a' 的值通常相同
char ordinary = 'a';
// 但语义不同:u8 明确保证是 UTF-8 编码
// 在某些非 ASCII 默认编码的系统上(如 EBCDIC),差异会很明显
std::cout << "普通 'a' = " << static_cast<int>(ordinary) << std::endl;
std::cout << "u8'a' = " << static_cast<int>(ch) << std::endl;
// ============================
// 示例4:编译期使用
// ============================
// UTF-8 字符字面量可以用在 constexpr 和编译期上下文中
constexpr auto compile_time_char = u8'Z';
static_assert(compile_time_char == 0x5A, "Z 的 UTF-8 编码应该是 0x5A");
// 可以用在 switch-case 中
auto test_char = u8'B';
switch (test_char) {
case u8'A':
std::cout << "是 A" << std::endl;
break;
case u8'B':
std::cout << "是 B" << std::endl; // 走这个分支
break;
default:
std::cout << "其他字符" << std::endl;
}
return 0;
}C++17 到 C++20 的类型变化
这是使用 u8 字符字面量时最需要关注的一个问题。C++20 引入了 char8_t 类型,导致 u8'a' 的类型从 char 变成了 char8_t。
// C++17 中:
auto c = u8'a'; // c 的类型是 char
char x = u8'a'; // 合法
// C++20 中:
auto c = u8'a'; // c 的类型是 char8_t
// char x = u8'a'; // 编译错误!char8_t 不能隐式转换为 char
char8_t y = u8'a'; // 合法| 特性 | C++17 | C++20 |
|---|---|---|
u8'a' 的类型 | char | char8_t |
char8_t 是否存在 | 不存在 | 新增的基本类型 |
u8'a' 能赋值给 char 吗 | 可以 | 不可以(需要显式转换) |
u8"hello" 的类型 | const char[] | const char8_t[] |
这个变化意味着,如果你的 C++17 代码中使用了 u8 字符字面量并将其赋值给 char 变量,升级到 C++20 后需要修改代码。
适用场景
- 在需要明确字符编码为 UTF-8 的场景中使用,避免依赖编译器默认的执行字符集
- 编写跨平台代码时,确保字符值在所有平台上一致(ASCII 范围内)
- 处理网络协议或文件格式时,需要按照规范使用 UTF-8 编码的字符常量
- 与
u8字符串字面量配合使用,保持编码一致性
常见问题
为什么 u8 字符字面量只能包含 ASCII 字符?
因为 u8 字符字面量表示的是单个 UTF-8 编码单元(code unit),一个 code unit 就是一个字节。UTF-8 编码中,只有 U+0000 到 U+007F 范围内的字符可以用单个字节表示(对应 ASCII)。超出这个范围的字符(比如中文、表情符号)在 UTF-8 中需要 2 到 4 个字节,无法放进一个 code unit。如果需要表示这些字符,应该用 u (UTF-16)、U (UTF-32) 前缀,或者使用字符串字面量 u8"中"。
u8'a' 和 'a' 在大多数系统上有什么实际区别?
在绝大多数现代系统上(Linux、macOS、Windows),执行字符集就是 ASCII 或者 UTF-8 兼容的编码,所以 u8'a' 和 'a' 的值完全一样。区别在于语义保证:u8'a' 在标准层面保证值是 UTF-8 编码,而 'a' 的编码理论上取决于实现。在极少数使用 EBCDIC 编码的系统(如某些 IBM 大型机)上,'a' 的值是 0x81,而 u8'a' 的值仍然是 0x61。
C++20 的 char8_t 带来的兼容性问题怎么处理?
有几种常见的应对方式:
- 如果代码需要同时支持 C++17 和 C++20,可以用条件编译:
#ifdef __cpp_char8_t - 在 C++20 中需要把
u8字面量赋给char时,使用static_cast<char>(u8'a') - GCC 和 Clang 提供了
-fno-char8_t编译选项来禁用char8_t,回退到 C++17 行为 - 如果不需要严格的 UTF-8 语义保证,直接用普通字符字面量
'a'就行
注意事项
u8字符字面量只能包含 ASCII 范围(0x00-0x7F)的字符,超出范围会编译报错- C++17 中
u8'a'的类型是char,C++20 起变成char8_t,这是一个破坏性变化 char8_t是 C++20 新增的基本类型,大小为 1 字节,底层表示和unsigned char相同,但是一个独立的类型- 不要把
u8字符字面量和u8字符串字面量搞混:u8'a'是单个字符,u8"abc"是字符串 - 在 C++17 的实际开发中,由于大多数平台默认就是 ASCII/UTF-8 编码,
u8字符字面量的实际使用场景不多;它的价值更多体现在代码意图的明确表达上
编译器支持情况
| 编译器 | C++17 u8 字符字面量 | C++20 char8_t |
|---|---|---|
| GCC | 6.0 | 9.0 |
| Clang | 3.6 | 7.0 |
| MSVC | 19.0 (VS 2015) | 19.22 (VS 2019 16.2) |
总结
UTF-8 字符字面量是 C++17 引入的语法,用 u8 前缀来明确表示一个 UTF-8 编码的字符。它只能表示 ASCII 范围内的字符(因为 UTF-8 中只有这些字符是单字节的)。在大多数现代平台上,u8'a' 和 'a' 的值没有区别,但 u8 前缀提供了编码层面的保证。使用这个特性时最需要注意的是 C++20 的破坏性变化:u8'a' 的类型从 char 变成了 char8_t,可能导致已有代码编译失败。如果你的项目有明确的字符编码需求或需要跨平台一致性,使用 u8 前缀是个好习惯;如果只是在常规 ASCII 场景下使用,普通字符字面量就够了。