ohos-beacon-library

发布人:仓颉技术交流平台官方
分类:网络通信 / 其他协议

需要实现支持断点续传、分片上传、多线程下载的高性能文件传输库

等待接取
2026-03-10
5

悬赏内容

招募内容

项目背景与战略目标

super_fast_file_trans(SFFT)是一款面向大文件传输场景的三方库,提供多线程并发下载、分片上传、断点续传、自动重试等核心能力。在仓颉后端生态中,此类高性能文件传输库是构建云存储客户端、内容分发服务、边缘同步代理等系统的关键基础设施。本项目将充分利用仓颉语言 1.0.0+ 的核心优势——编译期内存安全(彻底杜绝缓冲区溢出、Use-After-Free 等 CVE 类漏洞)、轻量级并发模型(通过 async/await 实现高吞吐低开销 I/O)、强类型系统与所有权机制(保障任务状态一致性),打造一个内存安全、高可靠、可嵌入微服务架构的原生文件传输库。该库将显著提升 OpenHarmony 及仓颉后端应用在弱网、高并发、大文件场景下的传输效率与稳定性。

核心功能需求与技术规格

2.1 功能模块分解

模块类别

核心职责

关键技术要求 (仓颉特性)

验收依据

任务管理器

统一管理下载/上传任务生命周期、持久化进度

利用 RAII 自动清理临时文件;进度状态通过 struct 原子快照保证一致性

支持 1K 并发任务;断电恢复成功率 ≥ 99.9%

分片调度引擎

将大文件切分为逻辑分片,并行处理

使用仓颉轻量级线程池调度分片;分片元数据通过 Vec<ChunkMeta> 高效管理

4 线程下载提速 ≥ 3.5x(对比单线程)

断点续传模块

记录已传输分片,支持网络中断后恢复

进度日志写入本地数据库(SQLite/CJNative);利用所有权防止并发写冲突

弱网环境下(30%丢包)传输成功率 ≥ 95%

HTTP 传输层

封装 Range 请求、Content-Type 处理、证书校验

基于仓颉异步 HTTP 客户端;TLS 配置通过 SecurityConfig 强类型封装

支持双向证书认证;P99 请求延迟 < 50ms

重试与退避策略

自动重试失败分片,指数退避防雪崩

错误分类(网络/业务)驱动重试逻辑;退避时间由 Duration 精确控制

连续 5 次失败后仍可手动恢复

2.2 非功能性需求规范

  • 性能指标

    • 多线程下载吞吐 ≥ 800 MB/s(局域网 SSD 环境)

    • 分片上传 CPU 开销 ≤ 5%(1 Gbps 网络)

    • 内存占用 ≤ 10 MB(空闲任务管理器)

  • 安全要求

    • 所有文件路径经沙箱校验,防止路径遍历

    • 证书配置通过 CJNative 调用系统安全库,密钥不驻留内存

    • 100% 通过仓颉编译器内存安全检查

  • 可靠性

    • 网络异常自动重试(可配置次数/策略)

    • 临时文件 100% RAII 清理,无残留

    • 任务状态变更原子化,避免中间态

  • 可维护性

    • 下载/上传逻辑通过泛型抽象共用核心调度器

    • 接口设计符合仓颉惯用法(如 impl Display for ProgressInfo

    • 代码 100% 通过 cjfmt 格式化

2.3 核心接口设计示例 (伪代码)

// 传输错误类型
enum TransferError {
    Network(IoError),
    AuthFailed(String),
    FileNotFound,
    ChunkCorrupted(U64), // 分片校验失败
}

// 下载配置(强类型)
struct DownloadConfig {
    url: String,
    fileName: String,
    concurrency: U32, // 默认 2
    isBreakpointResume: Bool,
    securityConfig: Option<SecurityConfig>,
}

// 传输进度
struct TransferProgress {
    totalSize: U64,
    transferredSize: U64,
    speed: F64, // KB/s
}

// 核心任务接口
interface TransferTask {
    // 启动传输(异步)
    async fn start() -> Result<Void, TransferError>
    
    // 暂停并保存进度
    fn pause() -> Result<TransferProgress, TransferError>
    
    // 恢复传输
    async fn resume() -> Result<Void, TransferError>
    
    // 取消并清理资源
    fn cancel() -> Result<Void, TransferError>
    
    // 获取实时进度
    fn getProgress() -> TransferProgress
}

项目交付物与实施路线图

3.1 阶段性交付物清单

  • 第一阶段:基础下载/上传任务框架 + 断点续传核心逻辑 + 单元测试(覆盖率≥95%) + 接口文档

  • 第二阶段:多线程分片调度 + HTTPS 双向认证 + 高并发压力测试(1K 任务) + 中间件集成

  • 第三阶段:性能调优报告 + cjpm 发布包 + 生产部署指南(含弱网模拟测试用例)

3.2 项目实施路线图

阶段

核心任务

交付成果

周期预估

里程碑

基础构建

任务模型 + 单线程传输

可编译库、单测集

5 周

cjpm test 全量通过

性能攻坚

多线程分片 + 断点恢复

压测报告、弱网测试集

6 周

4 线程吞吐达 750 MB/s

生态集成

安全增强 + cjpm 包发布

用户手册、示例项目、cjpm 包

4 周

上架仓颉三方库社区

技术实现规范与质量认证体系

4.1 仓颉语言专项质量规范

  • 编码规范:100% 通过 cjfmt --check,禁止使用 unsafe

  • 类型安全

    • 文件路径使用 FilePath 新类型封装,防止字符串拼接漏洞

    • 并发分片状态通过 Arc<Mutex<ChunkState>> 显式管理

  • 错误处理:所有 public API 返回 Result<T, TransferError>,禁止隐式 panic

4.2 测试与验证标准

  • 单元测试:核心模块行覆盖率 ≥ 95%(cjpm test --coverage 验证)

  • 性能基准

    • 建立 benches/transfer_bench.cj 对比 Go/Java 实现

    • 监控分片调度器的上下文切换开销

  • 安全扫描:集成 cj-analyzer 检测路径遍历、证书硬编码等风险

4.3 文档与可维护性

  • API 文档:所有 public 接口包含 /// 注释,说明线程安全性和资源释放要求

  • 架构决策记录

    • ADR-01:为何选择分片而非流式传输

    • ADR-02:进度持久化方案选型(SQLite vs 文件)

  • 贡献指南:明确 PR 需包含:弱网测试报告 + 基准测试对比

4.4 持续集成质量门禁

# PR 自动化流水线
cjpm fmt --check
cjpm build --release
cjpm lint --deny-warnings
cjpm test --all-features --coverage
cjpm bench --baseline=main

技术栈与开发环境

  • 核心语言:仓颉编程语言(Cangjie Language)1.0.0+

  • 构建工具:CJPM (Cangjie Package Manager)

  • 测试框架@std/testing 原生测试库

  • 质量工具cjfmt, cjpm lint, cjpm bench

  • 开发环境

    • 本地:仓颉 1.0.0+ SDK(Linux/macOS)

    • CI:cangjie-lang/cjci:1.0.0 官方 Docker 镜像

相关附件

暂无附件

质量认证要求

交付件

NO

交付件描述

备注

1

三方库源代码

源代码

2

三方库测试方案和用例

测试用例和文档

3

用户手册,API文档,设计文档,license文档

资料和文档

验收标准

1.功能

  1. 三方库必须有明确的功能;

  2. 如果参考对标库移值开发,功能与参考三方库保持一致。

2.资料

  1. Readme:包含简介,软件架构,目录结构,下载安装(编译构建),接口说明,使用示例,约束限制,开源协议,参与贡献等内容;

  2. Changelog,三方库版本需包含基本的修改说明。

3.标准遵从性(可选),三方库实现需满足对应协议或行业标准,举例

  1. appquth:支持对OAuth 的PKCE扩展;

  2. icu4j:支持unicode标准库,通用字符集ISO/IEC 10646。

4.性能目标

  1. 性能敏感三方库接口运行性能持平对标三方库

5.开源协议遵从,必须包含License文件

  1. 放置合适的开源License协议,建议Apache License Version 2.0;

  2. 引用或参考开源三方库,需遵从开源协议。

6.网络安全要求

  1. 满足基础的网络安全红线及隐私要求,符合安全编码规范。

过程质量要求

指标分类

指标名称

指标要求

度量工具

牵引 OR Must

代码度量

平均文件代码行

≤300 LOC

CMetricsPlus,CJMetric

Must

总文件重复率

C/C++≤4%;相比开源不劣化

CMetricsPlus,CJMetric

Must

源文件重复率

C/C++≤4%;相比开源不劣化

CMetricsPlus,CJMetric

Must

平均函数或方法代码行*

≤30 LOC

CMetricsPlus,CJMetric

Must

总代码重复率

C/C++≤10%;相比开源不劣化

CMetricsPlus,CJMetric

Must

源文件代码重复率

C/C++≤10%;相比开源不劣化

CMetricsPlus,CJMetric

Must

平均圈复杂度

≤5;相比开源不劣化

CMetricsPlus,CJMetric

Must

冗余代码

“0” 【2】;

CMetricsPlus,CJMetric

Must

不安全函数

NA

CMetricsPlus,CJMetric

Must

静态检查

编译告警

“0” 【2】

Compile工具

牵引

通用静态告警

“0” 【2】

Pclint plus,CJLINT

Must

开发者测试

DT用例密度(个/KLOC)

> 40

手工

牵引

DT代码语句覆盖率

>=85%

Gcov,cjcov

牵引

DT代码分支覆盖率

>=50%

Gcov,cjcov

牵引

未做DT文件数

0

手工

牵引

问题解决率

遗留问题DI

整体<10

Issue

牵引

遗留致命缺陷数(0)

0

Issue

Must

累计缺陷解决率

85%

Issue

牵引

软件开发

每日构建成功率

100%

CI

牵引

测试评估

测试缺陷密度(/KLOC)

5-9

人工

牵引

测试用例密度(个/KLOC)

20-40

人工

牵引

初验用例自动化率

100%

CIDA

牵引

HLT自动化用例比率

【85%,95%】

CIDA

牵引

开源第三方(含构建工具)

开源片段引用

0(除例外备案类)

FOSSBOT+人工

Must

可信构建

二进制一致性

0(含可澄清)

人工

Mus