数据序列化新系统（基于 Avro & 仓颉生态）

一、项目背景与挑战（Project Context & Challenge）

• 现状痛点： 现有的数据存储和传输机制在大规模数据管道和跨服务数据交换中存在效率和安全隐患。

• 项目目标： 引入和构建一个全新的、高性能、模式驱动的数据序列化系统，并确保其在仓颉生态中能安全、高效、易用地运行。项目将利用 Avro 的优秀序列化能力与仓颉语言的特性（如内存安全、零成本抽象），为公司数据基础设施提供原生且优化的数据契约解决方案。

• 技术选型： 基于 Apache Avro 标准，核心实现将采用 仓颉语言 进行原生开发和绑定。

二、核心需求与功能（Core Requirements & Features）

三、开发交付物（Key Deliverables）

1. 仓颉 Avro Ser/De SDK（$Library$）： 仓颉语言封装的序列化/反序列化高性能 SDK。

2. 模式管理服务（$Service$）： Schema Registry 的部署、配置或自研实现。

3. 仓颉模式生成工具（$Tooling$）： 仓颉编译器/构建系统插件，用于从仓颉数据结构自动生成 Avro Schema 文件（.avsc）。

4. 技术文档与规范（$Documentation$）： 完整的系统架构设计文档、API 使用手册，以及 Avro 模式设计规范。

四、开发代码与项目质量要求（Code & Project Quality Standards）

1. 技术方案与架构（Technical Solution & Architecture）

• 仓颉特性利用：

  • 安全： 核心 Ser/De 库必须利用仓颉的类型系统和内存安全机制，消除常见的缓冲区溢出、空指针解引用等风险。

  • 高效： 追求零拷贝或接近原生的性能，设计时需考虑仓颉的运行时优化和数据布局优势。

• 架构模式： 采用可扩展的设计，核心 Ser/De 逻辑与上层业务解耦。

• 模式兼容性策略： 必须支持向前兼容和向后兼容的检查机制。

2. 仓颉生态适配与工具链（Cangjie Ecosystem & Toolchain）（重点强调项）

• IDE/编辑器集成： 要求开发过程必须在统一的 IDE 或编辑器环境中使用仓颉语言插件，进行代码编辑和语法检查。

• 编译与构建： 核心库的编译和构建流程必须通过标准的仓颉构建系统（如 Cmake/Bazel 集成仓颉工具链）完成，确保构建过程的标准化和可重复性。

• 调试环境配置： 必须熟练配置和使用仓颉调试器，并能够处理和定位自定义 SDK 路径（如本地构建的仓颉运行时或依赖库）的依赖问题。

• 自动化流程： 将 Schema 兼容性检查、单元测试、性能基准测试自动化集成到 CI/CD 流程中，并确保在仓颉的编译/运行环境中执行。

3. 代码质量与标准（Code Quality & Standards）

交付件

验收标准

1.功能

1. 三方库必须有明确的功能；

2. 如果参考对标库移值开发，功能与参考三方库保持一致。

2.资料

1. Readme：包含简介，软件架构，目录结构，下载安装（编译构建），接口说明，使用示例，约束限制，开源协议，参与贡献等内容；

2. Changelog，三方库版本需包含基本的修改说明。

3.标准遵从性（可选），三方库实现需满足对应协议或行业标准，举例

1. appquth：支持对OAuth 的PKCE扩展；

2. icu4j：支持unicode标准库，通用字符集ISO/IEC 10646。

4.性能目标

1. 性能敏感三方库接口运行性能持平对标三方库

5.开源协议遵从，必须包含License文件

1. 放置合适的开源License协议，建议Apache License Version 2.0；

2. 引用或参考开源三方库，需遵从开源协议。

6.网络安全要求

1. 满足基础的网络安全红线及隐私要求，符合安全编码规范。

过程质量要求