22、序列化与反序列化:Protocol Buffers、FlatBuffers、Cap'n Proto对比与选型

序列化这事儿,说白了就是把内存里的对象变成一串字节流。反序列化就是倒过来,把字节流变回对象。在大型C++项目里,这几乎是绕不开的坎——你要存盘、要网络传输、要跨语言通信,都得靠它。

我个人习惯,选序列化方案时先看三个维度:性能、跨语言支持、以及schema演进能力。今天聊的三个选手——Protocol Buffers、FlatBuffers、Cap'n Proto,都是这个领域的佼佼者。但它们的定位和适用场景,其实差别挺大。

Protocol Buffers:老牌劲旅,生态为王

Google家的Protocol Buffers(简称protobuf),应该是目前最流行的序列化方案了。我在好几个项目里都用过它,尤其是需要跟Java、Python服务通信的时候,protobuf的跨语言支持确实省心。

它的核心思路是:先定义一个.proto文件,描述数据结构,然后用protoc编译器生成各语言的代码。生成的C++代码里,序列化和反序列化的接口都是现成的。

// person.proto
syntax = "proto3";

message Person {
  string name = 1;
  int32 age = 2;
  repeated string phone_numbers = 3;
}

生成的C++代码用起来很简单:

Person person;
person.set_name("张三");
person.set_age(30);
person.add_phone_numbers("13800138000");

// 序列化
std::string data;
person.SerializeToString(&data);

// 反序列化
Person another;
another.ParseFromString(data);

protobuf的优点是啥?生态成熟。文档齐全,工具链完善,几乎每种语言都有官方或第三方支持。而且它的二进制格式紧凑,比XML、JSON小得多。

但缺点也很明显——性能不是最优的。它需要先构建一个中间对象,再序列化。反序列化时也一样,得先解析出完整对象。这意味着内存分配和拷贝的开销不小。

注意:protobuf的反射机制虽然方便,但会拖慢性能。如果你对延迟敏感,建议关闭反射,或者考虑其他方案。

FlatBuffers:零拷贝,极致性能

FlatBuffers是Google的另一个项目,专门为了解决protobuf的性能瓶颈而生。它的核心思想是:序列化后的数据可以直接访问,不需要反序列化。

什么意思呢?你想想看,protobuf反序列化时,得把字节流解析成一个个字段,再塞进对象里。FlatBuffers不一样,它把数据按固定偏移量排列好,你直接拿指针去读就行。这就是所谓的「零拷贝」。

我曾经在一个实时数据管道项目里用过FlatBuffers。数据量很大,每秒要处理几十万条记录。用protobuf时,CPU全耗在反序列化上了。换成FlatBuffers后,CPU占用直接降了一半。

// monster.fbs
table Monster {
  name:string;
  hp:short;
  mana:short = 150;
  inventory:[ubyte];
}

root_type Monster;

生成的C++代码:

// 构建
flatbuffers::FlatBufferBuilder builder;
auto name = builder.CreateString("Orc");
auto inventory = builder.CreateVector(inventory_data);
auto monster = CreateMonster(builder, name, 300, 100, inventory);
builder.Finish(monster);

// 直接访问,无需反序列化
const Monster* monster = GetMonster(builder.GetBufferPointer());
std::cout << monster->hp() << std::endl;  // 直接读内存

FlatBuffers的适用场景很明确:对延迟极度敏感、需要频繁访问序列化数据的场景。比如游戏引擎、高频交易、嵌入式系统。

但它的缺点也明显:

  • 不支持可变数据——你没法修改序列化后的数据,只能重新构建
  • 跨语言支持不如protobuf完善
  • 生成的代码体积较大
我的建议:如果你的数据是「写一次,读多次」的模式,FlatBuffers是绝佳选择。但如果是频繁修改再序列化,那还是protobuf更合适。

Cap'n Proto:后起之秀,设计激进

Cap'n Proto是Kenton Varda的作品——没错,就是那位写了protobuf v2的大神。他后来觉得protobuf的设计有局限,于是从头搞了Cap'n Proto。

它的核心思路跟FlatBuffers类似,也是零拷贝。但Cap'n Proto更进一步:它把序列化格式直接设计成内存布局。也就是说,你定义的数据结构,在内存里的样子跟序列化后的字节流是一模一样的。

这意味着什么?意味着序列化和反序列化几乎不需要任何计算。你只需要把数据放到正确的位置,然后直接读写内存就行了。

// person.capnp
struct Person {
  name @0 :Text;
  age @1 :Int32;
  phoneNumbers @2 :List(Text);
}

C++代码:

// 构建
::capnp::MallocMessageBuilder message;
Person::Builder person = message.initRoot<Person>();
person.setName("张三");
person.setAge(30);
auto phones = person.initPhoneNumbers(2);
phones.set(0, "13800138000");

// 序列化(几乎零成本)
kj::ArrayPtr<capnp::word> words = message.getSegmentsForOutput();

// 反序列化(几乎零成本)
::capnp::FlatArrayMessageReader reader(words);
Person::Reader personReader = reader.getRoot<Person>();
std::cout << personReader.getName() << std::endl;

Cap'n Proto还有一个很酷的特性:支持RPC。它内置了RPC机制,可以像调用本地函数一样调用远程服务。这在分布式系统里非常有用。

但Cap'n Proto的缺点也很突出:

  • 生态太小,社区活跃度远不如protobuf
  • 跨语言支持有限,C++和Python还行,其他语言就不好说了
  • 学习曲线陡峭,概念比protobuf多
核心对比:
特性 Protocol Buffers FlatBuffers Cap'n Proto
序列化速度 中等 快 极快
反序列化速度 中等 极快(零拷贝) 极快(零拷贝)
数据大小 紧凑 中等 中等
跨语言支持 优秀 良好 一般
Schema演进 优秀 良好 优秀
可变数据 支持 不支持 支持
学习成本 低 中 高

选型建议:看场景,别跟风

说实话,没有哪个方案是万能的。我见过不少团队,一听说FlatBuffers性能好,就盲目迁移,结果发现自己的场景根本不需要零拷贝,反而被FlatBuffers的不可变性坑了。

我的建议是这样的:

  • 通用场景、跨语言通信、需要长期维护:选Protocol Buffers。生态成熟,坑少,团队招人也容易。
  • 游戏引擎、高频交易、嵌入式:选FlatBuffers。性能至上,零拷贝是刚需。
  • 前沿项目、C++为主、需要RPC:可以试试Cap'n Proto。但要做好踩坑的准备,毕竟社区还不够大。
避坑指南:我曾经在一个项目里,团队为了追求极致性能,选了Cap'n Proto。结果后来需要跟Java服务对接,发现Java的Cap'n Proto库有bug,折腾了两周才搞定。所以,跨语言需求一定要提前确认好各语言的库是否成熟。

最后说一句:序列化方案一旦选定了,后期迁移成本很高。建议在项目初期就做好技术选型,别等到代码写了几十万行再换。嗯,这个坑我踩过,你们就别再踩了。