博客
关于我
TFLite: flatbuffers
阅读量:766 次
发布时间:2019-03-23

本文共 2675 字,大约阅读时间需要 8 分钟。

FlatBuffers 是一个开源 序列化 库,提供与 Protocol Buffers、Thrift、Apache Avro 等类似的序列化格式。它由 Wouter van Oortmerssen 开发,后由 Google 开源,主要用于 Android 游戏和注重性能的应用。FlatBuffers 支持多种语言的端口,包括 C++、C#、C、Go、Java、PHP、Python 和 JavaScript。

FlatBuffers 的核心特点

FlatBuffers 是一个二进制 buffer,它通过 offset 组织嵌套对象(如 struct、table、vector 等),允许直接访问数据与传统指针方式类似。然而,大多数内存结构与 FlatBuffers不同,后者采用严格的对齐规则和字节顺序,以确保跨平台兼容。此外,table 对象支持前向/后向兼容性和 optional 字段,方便应对数据格式的演变。

FlatBuffers 的主要优势在于避免反序列化。通过定义二进制数据协议,FlatBuffers 将数据直接转换为二进制格式,无需额外的反序列化步骤。与传输 JSON 的流程相比,FlatBuffers 的二进制文件可以直接读取和解析,显著提高性能。

FlatBuffers 的数据类型

FlatBuffers 支持基本类型和复杂类型:

  • 基本类型

    • 8 位:byte、ubyte、bool
    • 16 位:short、ushort
    • 32 位:int、uint、float
    • 64 位:long、ulong、double
  • 特殊类型

    • SOffsetT(有符号 offset,size = 4)
    • UOffsetT(无符号 offset,size = 4)
    • VOffsetT(vtable 无符号 offset,size = 2)
  • 复杂类型

    • 数组(用 [type] 表示,不支持嵌套数组)
    • 字符串(支持 UTF-8 或 7-bit ASCII,可用 [byte] 或 [ubyte] 表示其他编码)
    • Struct(支持基本类型或嵌套 Struct)
    • Table(最灵活且最常用的类型,支持多种类型)

如何安装 FlatBuffers 工具

安装 flatc 工具需要以下步骤:

  • 安装 CMake:

    apt install cmake
  • 克隆 FlatBuffers 源码:

    git clone https://github.com/google/flatbuffers.git
  • 进入项目根目录,生成 Makefile 并编译:

    cmake -G "Unix Makefiles"  make  make install
  • 验证 flatc 版本:

    flatc --version
  • 测试 FlatBuffers 的示例代码

    以下是 FlatBuffers 的一个基本测试用例:

    #include "test_generated.h"  #include 
    #include
    using namespace std; using namespace TestApp; int main() { FlatBufferBuilder builder; vector
    vec; for (size_t i = 0; i < 10; ++i) { vec.push_back(i); } auto id = 123; auto name = builder.CreateString("name"); auto list = builder.CreateVector(vec); uint8_t flag = 1; KV kv(1, 1.0); auto mloc = CreateTestObj(builder, id, name, flag, list, &kv); builder.Finish(mloc); char* ptr = (char*)builder.GetBufferPointer(); uint64_t size = builder.GetSize(); auto obj = GetTestObj((uint8_t*)ptr); cout << obj->id() << endl; cout << obj->name()->c_str() << endl; cout << obj->flag() << endl; for (size_t i = 0; i < obj->list()->size(); ++i) { cout << obj->list()->Get(i) << endl; } return 0; }

    编译与运行

    g++ -std=c++11 ./test.cpp -I /home/ws/code/flatbuffers/include/  ./a.out

    输出结果:

    123  name  0  1  2  3  4  5  6  7  8  9  1  1

    生成的文件:test_generated.h

    #include "flatbuffers/flatbuffers.h"  namespace TestApp {      struct KV {          key: ulong;          value: double;      }      table TestObj {          id: ulong;          name: string;          flag: ubyte = 0;          list: [ulong];          kv: KV;      }      root_type TestObj;  }

    注意事项

    • 数据类型的默认值规则:标量类型可设默认值,非标量(如 string、vector、table)字段默认不存在时为 null。
    • table 最为灵活且常用,适合复杂数据结构。

    通过以上步骤,您可以成功使用 FlatBuffers 进行数据序列化与反序列化,优化应用的性能表现。

    转载地址:http://cjuzk.baihongyu.com/

    你可能感兴趣的文章
    Nginx 反向代理配置去除前缀
    查看>>
    nginx 后端获取真实ip
    查看>>
    Nginx 多端口配置和访问异常问题的排查与优化
    查看>>
    Nginx 如何代理转发传递真实 ip 地址?
    查看>>
    Nginx 学习总结(16)—— 动静分离、压缩、缓存、黑白名单、性能等内容温习
    查看>>
    Nginx 学习总结(17)—— 8 个免费开源 Nginx 管理系统,轻松管理 Nginx 站点配置
    查看>>
    Nginx 学习(一):Nginx 下载和启动
    查看>>
    nginx 常用指令配置总结
    查看>>
    Nginx 常用配置清单
    查看>>
    nginx 常用配置记录
    查看>>
    nginx 开启ssl模块 [emerg] the “ssl“ parameter requires ngx_http_ssl_module in /usr/local/nginx
    查看>>
    Nginx 我们必须知道的那些事
    查看>>
    Nginx 源码完全注释(11)ngx_spinlock
    查看>>
    Nginx 的 proxy_pass 使用简介
    查看>>
    Nginx 的 SSL 模块安装
    查看>>
    Nginx 的优化思路,并解析网站防盗链
    查看>>
    Nginx 的配置文件中的 keepalive 介绍
    查看>>
    nginx 禁止以ip形式访问服务器
    查看>>
    Nginx 结合 consul 实现动态负载均衡
    查看>>
    Nginx 负载均衡与权重配置解析
    查看>>