ohos-beacon-library
需要实现支持断点续传、分片上传、多线程下载的高性能文件传输库
悬赏内容
招募内容
项目背景与战略目标
super_fast_file_trans(SFFT)是一款面向大文件传输场景的三方库,提供多线程并发下载、分片上传、断点续传、自动重试等核心能力。在仓颉后端生态中,此类高性能文件传输库是构建云存储客户端、内容分发服务、边缘同步代理等系统的关键基础设施。本项目将充分利用仓颉语言 1.0.0+ 的核心优势——编译期内存安全(彻底杜绝缓冲区溢出、Use-After-Free 等 CVE 类漏洞)、轻量级并发模型(通过 async/await 实现高吞吐低开销 I/O)、强类型系统与所有权机制(保障任务状态一致性),打造一个内存安全、高可靠、可嵌入微服务架构的原生文件传输库。该库将显著提升 OpenHarmony 及仓颉后端应用在弱网、高并发、大文件场景下的传输效率与稳定性。
核心功能需求与技术规格
2.1 功能模块分解
模块类别 | 核心职责 | 关键技术要求 (仓颉特性) | 验收依据 |
|---|---|---|---|
任务管理器 | 统一管理下载/上传任务生命周期、持久化进度 | 利用 RAII 自动清理临时文件;进度状态通过 | 支持 1K 并发任务;断电恢复成功率 ≥ 99.9% |
分片调度引擎 | 将大文件切分为逻辑分片,并行处理 | 使用仓颉轻量级线程池调度分片;分片元数据通过 | 4 线程下载提速 ≥ 3.5x(对比单线程) |
断点续传模块 | 记录已传输分片,支持网络中断后恢复 | 进度日志写入本地数据库(SQLite/CJNative);利用所有权防止并发写冲突 | 弱网环境下(30%丢包)传输成功率 ≥ 95% |
HTTP 传输层 | 封装 Range 请求、Content-Type 处理、证书校验 | 基于仓颉异步 HTTP 客户端;TLS 配置通过 | 支持双向证书认证;P99 请求延迟 < 50ms |
重试与退避策略 | 自动重试失败分片,指数退避防雪崩 | 错误分类(网络/业务)驱动重试逻辑;退避时间由 | 连续 5 次失败后仍可手动恢复 |
2.2 非功能性需求规范
性能指标:
多线程下载吞吐 ≥ 800 MB/s(局域网 SSD 环境)
分片上传 CPU 开销 ≤ 5%(1 Gbps 网络)
内存占用 ≤ 10 MB(空闲任务管理器)
安全要求:
所有文件路径经沙箱校验,防止路径遍历
证书配置通过 CJNative 调用系统安全库,密钥不驻留内存
100% 通过仓颉编译器内存安全检查
可靠性:
网络异常自动重试(可配置次数/策略)
临时文件 100% RAII 清理,无残留
任务状态变更原子化,避免中间态
可维护性:
下载/上传逻辑通过泛型抽象共用核心调度器
接口设计符合仓颉惯用法(如
impl Display for ProgressInfo)代码 100% 通过
cjfmt格式化
2.3 核心接口设计示例 (伪代码)
// 传输错误类型
enum TransferError {
Network(IoError),
AuthFailed(String),
FileNotFound,
ChunkCorrupted(U64), // 分片校验失败
}
// 下载配置(强类型)
struct DownloadConfig {
url: String,
fileName: String,
concurrency: U32, // 默认 2
isBreakpointResume: Bool,
securityConfig: Option<SecurityConfig>,
}
// 传输进度
struct TransferProgress {
totalSize: U64,
transferredSize: U64,
speed: F64, // KB/s
}
// 核心任务接口
interface TransferTask {
// 启动传输(异步)
async fn start() -> Result<Void, TransferError>
// 暂停并保存进度
fn pause() -> Result<TransferProgress, TransferError>
// 恢复传输
async fn resume() -> Result<Void, TransferError>
// 取消并清理资源
fn cancel() -> Result<Void, TransferError>
// 获取实时进度
fn getProgress() -> TransferProgress
}
项目交付物与实施路线图
3.1 阶段性交付物清单
第一阶段:基础下载/上传任务框架 + 断点续传核心逻辑 + 单元测试(覆盖率≥95%) + 接口文档
第二阶段:多线程分片调度 + HTTPS 双向认证 + 高并发压力测试(1K 任务) + 中间件集成
第三阶段:性能调优报告 + cjpm 发布包 + 生产部署指南(含弱网模拟测试用例)
3.2 项目实施路线图
阶段 | 核心任务 | 交付成果 | 周期预估 | 里程碑 |
|---|---|---|---|---|
基础构建 | 任务模型 + 单线程传输 | 可编译库、单测集 | 5 周 | cjpm test 全量通过 |
性能攻坚 | 多线程分片 + 断点恢复 | 压测报告、弱网测试集 | 6 周 | 4 线程吞吐达 750 MB/s |
生态集成 | 安全增强 + cjpm 包发布 | 用户手册、示例项目、cjpm 包 | 4 周 | 上架仓颉三方库社区 |
技术实现规范与质量认证体系
4.1 仓颉语言专项质量规范
编码规范:100% 通过
cjfmt --check,禁止使用unsafe块类型安全:
文件路径使用
FilePath新类型封装,防止字符串拼接漏洞并发分片状态通过
Arc<Mutex<ChunkState>>显式管理
错误处理:所有 public API 返回
Result<T, TransferError>,禁止隐式 panic
4.2 测试与验证标准
单元测试:核心模块行覆盖率 ≥ 95%(
cjpm test --coverage验证)性能基准:
建立
benches/transfer_bench.cj对比 Go/Java 实现监控分片调度器的上下文切换开销
安全扫描:集成
cj-analyzer检测路径遍历、证书硬编码等风险
4.3 文档与可维护性
API 文档:所有 public 接口包含
///注释,说明线程安全性和资源释放要求架构决策记录:
ADR-01:为何选择分片而非流式传输
ADR-02:进度持久化方案选型(SQLite vs 文件)
贡献指南:明确 PR 需包含:弱网测试报告 + 基准测试对比
4.4 持续集成质量门禁
# PR 自动化流水线
cjpm fmt --check
cjpm build --release
cjpm lint --deny-warnings
cjpm test --all-features --coverage
cjpm bench --baseline=main
技术栈与开发环境
核心语言:仓颉编程语言(Cangjie Language)1.0.0+
构建工具:CJPM (Cangjie Package Manager)
测试框架:
@std/testing原生测试库质量工具:
cjfmt,cjpm lint,cjpm bench开发环境:
本地:仓颉 1.0.0+ SDK(Linux/macOS)
CI:
cangjie-lang/cjci:1.0.0官方 Docker 镜像
相关附件
质量认证要求
交付件
NO | 交付件描述 | 备注 |
|---|---|---|
1 | 三方库源代码 | 源代码 |
2 | 三方库测试方案和用例 | 测试用例和文档 |
3 | 用户手册,API文档,设计文档,license文档 | 资料和文档 |
验收标准
1.功能
三方库必须有明确的功能;
如果参考对标库移值开发,功能与参考三方库保持一致。
2.资料
Readme:包含简介,软件架构,目录结构,下载安装(编译构建),接口说明,使用示例,约束限制,开源协议,参与贡献等内容;
Changelog,三方库版本需包含基本的修改说明。
3.标准遵从性(可选),三方库实现需满足对应协议或行业标准,举例
appquth:支持对OAuth 的PKCE扩展;
icu4j:支持unicode标准库,通用字符集ISO/IEC 10646。
4.性能目标
性能敏感三方库接口运行性能持平对标三方库
5.开源协议遵从,必须包含License文件
放置合适的开源License协议,建议Apache License Version 2.0;
引用或参考开源三方库,需遵从开源协议。
6.网络安全要求
满足基础的网络安全红线及隐私要求,符合安全编码规范。
过程质量要求
指标分类 | 指标名称 | 指标要求 | 度量工具 | 牵引 OR Must |
|---|---|---|---|---|
代码度量 | 平均文件代码行 | ≤300 LOC | CMetricsPlus,CJMetric | Must |
总文件重复率 | C/C++≤4%;相比开源不劣化 | CMetricsPlus,CJMetric | Must | |
源文件重复率 | C/C++≤4%;相比开源不劣化 | CMetricsPlus,CJMetric | Must | |
平均函数或方法代码行* | ≤30 LOC | CMetricsPlus,CJMetric | Must | |
总代码重复率 | C/C++≤10%;相比开源不劣化 | CMetricsPlus,CJMetric | Must | |
源文件代码重复率 | C/C++≤10%;相比开源不劣化 | CMetricsPlus,CJMetric | Must | |
平均圈复杂度 | ≤5;相比开源不劣化 | CMetricsPlus,CJMetric | Must | |
冗余代码 | “0” 【2】; | CMetricsPlus,CJMetric | Must | |
不安全函数 | NA | CMetricsPlus,CJMetric | Must | |
静态检查 | 编译告警 | “0” 【2】 | Compile工具 | 牵引 |
通用静态告警 | “0” 【2】 | Pclint plus,CJLINT | Must | |
开发者测试 | DT用例密度(个/KLOC) | > 40 | 手工 | 牵引 |
DT代码语句覆盖率 | >=85% | Gcov,cjcov | 牵引 | |
DT代码分支覆盖率 | >=50% | Gcov,cjcov | 牵引 | |
未做DT文件数 | 0 | 手工 | 牵引 | |
问题解决率 | 遗留问题DI | 整体<10 | Issue | 牵引 |
遗留致命缺陷数(0) | 0 | Issue | Must | |
累计缺陷解决率 | 85% | Issue | 牵引 | |
软件开发 | 每日构建成功率 | 100% | CI | 牵引 |
测试评估 | 测试缺陷密度(/KLOC) | 5-9 | 人工 | 牵引 |
测试用例密度(个/KLOC) | 20-40 | 人工 | 牵引 | |
初验用例自动化率 | 100% | CIDA | 牵引 | |
HLT自动化用例比率 | 【85%,95%】 | CIDA | 牵引 | |
开源第三方(含构建工具) | 开源片段引用 | 0(除例外备案类) | FOSSBOT+人工 | Must |
可信构建 | 二进制一致性 | 0(含可澄清) | 人工 | Mus |

