url-parse

项目背景与战略目标

在后端架构中，URL 解析是 API 网关路由匹配、负载均衡策略分发、安全防火墙（WAF）规则校验、日志分析及爬虫引擎等核心组件的基础操作。现有的 URL 解析库（如 Node.js 的 url-parse 或 Java 的 java.net.URL）在处理海量并发请求时，往往存在对象分配频繁、正则表达式开销大、异常处理粗糙等问题。特别是在高吞吐微服务场景下，低效的 URL 解析逻辑极易成为系统延迟的瓶颈，且动态语言的弱类型特性容易导致非法 URL 解析失败或安全漏洞（如 ReDoS 攻击）。

本项目旨在利用仓颉编程语言（Cangjie Language）1.0.0+重构 url-parse，打造一款零分配、状态机驱动、强类型安全的后端 URL 处理基础库。

• 极致解析性能：利用仓颉的静态编译优化和状态机模式替代正则表达式，实现无堆分配的零拷贝解析，直接操作底层字节数组，性能较动态语言提升 20-100 倍。

• 内存安全与零 GC 压力：依托仓颉所有权机制和值类型（Value Types），在解析过程中避免临时字符串创建，大幅降低 GC 频率，适合长运行时的网关与中间件服务。

• 严格的安全合规：内置 RFC 3986 标准验证，自动检测并拦截非法字符、ReDoS 攻击向量及协议混淆攻击，提供细粒度的错误报告。

• 强类型错误处理：利用代数数据类型（ADT）显式表达解析成功、部分成功或特定格式错误，杜绝隐式的 null 或异常崩溃，提升系统稳定性。

• 全协议支持：支持 HTTP, HTTPS, WebSocket, FTP, File 等多种协议 scheme，兼容 IPv4/IPv6 地址解析及国际化域名（IDN）处理。

核心功能需求与技术规格

功能模块分解

非功能性需求规范

• 性能指标：单线程解析吞吐量 > 50M OPS，P99 延迟 < 10ns，内存峰值控制在输入大小的 1.2 倍以内（零拷贝模式下更低）。

• 安全要求：严格防止 ReDoS 攻击（本库不使用正则）；限制递归深度防止栈溢出；支持协议白名单过滤，防止 SSRF 攻击。

• 可靠性：能够处理截断的 URL、大小写混合 Scheme、非标准空格格式及超长字符串，保证服务不挂起；支持线程安全的多线程并发调用。

• 可维护性：解析逻辑与安全规则解耦，支持热加载协议白名单，代码具备完善的文档注释。

核心接口设计示例 (伪代码)

// 定义 URL 结构 (不可变，使用 Slice 避免拷贝)
struct Url {
    scheme: String // 协议，如 "https"
    host: String // 主机名或 IP
    port: Option<Int32> // 端口，None 表示默认
    path: String // 路径
    query: Option<QueryMap> // 查询参数
    fragment: Option<String> // 片段
    
    // 转换为完整字符串
    func toString(): String
    
    // 获取标准化后的 URL
    func normalize(): Url
    
    // 判断是否绝对路径
    func isAbsolute(): Bool
}

// 定义查询参数映射 (支持重复键)
struct QueryMap {
    func get(key: String): Option<String>
    func getAll(key: String): List<String>
    func keys(): List<String>
    func toMap(): Map<String, String> // 仅取第一个值
}

// 定义解析结果
enum ParseResult<T> {
    case Success(T)
    case Failure(ParseError)
}

// 定义错误类型
enum ParseError {
    case InvalidScheme(String)
    case InvalidHost(String)
    case InvalidPort(String)
    case MalformedUrl(String)
    case SecurityViolation(String) // 如协议黑名单
}

// 定义解析配置
struct ParseConfig {
    strict: Bool // 严格模式
    allowedSchemes: List<String> // 协议白名单
    allowIpv6: Bool // 是否允许 IPv6
    decodeComponent: Bool // 是否自动解码组件
}

// 核心解析接口
interface UrlEngine {
    // 解析字符串到 Url
    func parse(input: String, config: ParseConfig): ParseResult<Url>
    
    // 解析字符串到 Url (宽松模式)
    func parseLenient(input: String): ParseResult<Url>
    
    // 批量解析 (高性能)
    func batchParse(inputs: List<String>, config: ParseConfig): List<ParseResult<Url>>
    
    // 构建 URL
    func build(scheme: String, host: String, port: Option<Int32>, path: String, query: Option<QueryMap>): Url
    
    // 验证 URL 安全性
    func validateSecurity(url: Url, rules: SecurityRules): Result<Unit, SecurityError>
}

// 工厂类
object UrlParseFactory {
    static func createStrict(): UrlEngine
    static func createLenient(): UrlEngine
    static func createWithConfig(config: ParseConfig): UrlEngine
}

项目交付物与实施路线图

阶段性交付物清单

• 第一阶段：核心解析引擎（状态机实现）+ 基础标准化 + 单元测试 (覆盖率≥95%)。

• 第二阶段：查询参数处理 + 安全验证模块 + 零拷贝优化 + 性能基准测试。

• 第三阶段：完整协议支持（IPv6/IDN）+ 模糊测试 + cjpm 发布包 + 最佳实践文档（含网关/安全场景案例）。

项目实施路线图

技术实现规范与质量认证体系

仓颉语言专项质量规范

• 编码规范：100% 符合仓颉语言官方编码规范，通过 cjfmt 自动格式化校验。

• 类型安全：充分利用泛型定义解析结果，利用模式匹配 exhaustive check 确保所有错误分支被处理。

• 错误处理：所有解析异常必须通过 Result 类型返回，严禁抛出未捕获的运行时异常。

测试与验证标准

• 单元测试：核心模块行覆盖率≥95%，重点覆盖边界 URL（空路径、无端口、IPv6）、非法格式及大小写混合输入。

• 兼容性测试：使用 W3C URL 标准测试集（web-platform-tests）进行回归测试，确保解析与标准化结果与浏览器标准一致。

• 性能基准：建立与 url-parse (JS), java.net.URL, Go net/url 的性能对比基准，确保在同等功能下性能最优。

文档与可维护性

• API 文档：代码须包含规范的文档注释，详细说明各协议支持情况及安全配置选项。

• 架构决策记录：记录解析算法选型（状态机 vs 正则）及内存管理策略的依据。

• 贡献指南：明确仓颉项目构建、调试、提交全流程规范。

持续集成质量门禁

#!/bin/bash
# PR 自动化流水线脚本

# 1. 格式检查
cjpm fmt --check

# 2. 构建检查
cjpm build
cjpm build --release

# 3. 静态 lint 检查
cjpm lint --deny-warnings

# 4. 全量测试与覆盖率
cjpm test --all-features --coverage

# 5. 兼容性测试 (W3C 标准数据集)
cjpm test --suite w3c-url-validation

# 6. 性能基准测试 (对比基线)
cjpm bench --threshold 5%

技术栈与开发环境

• 核心语言：仓颉编程语言（Cangjie Language）1.0.0 及以上版本（强制）。

• 构建与包管理：CJPM (Cangjie Package Manager)。

• 测试框架：仓颉原生测试框架。

• 质量工具：cjfmt, cjpm lint, cjpm bench。

• 环境要求：仓颉 1.0.0+ 标准工具链，CI 环境需预置 W3C URL 标准测试数据集。

交付件

验收标准

1.功能

1. 三方库必须有明确的功能；

2. 如果参考对标库移值开发，功能与参考三方库保持一致。

2.资料

1. Readme：包含简介，软件架构，目录结构，下载安装（编译构建），接口说明，使用示例，约束限制，开源协议，参与贡献等内容；

2. Changelog，三方库版本需包含基本的修改说明。

3.标准遵从性（可选），三方库实现需满足对应协议或行业标准，举例

1. appquth：支持对OAuth 的PKCE扩展；

2. icu4j：支持unicode标准库，通用字符集ISO/IEC 10646。

4.性能目标

1. 性能敏感三方库接口运行性能持平对标三方库

5.开源协议遵从，必须包含License文件

1. 放置合适的开源License协议，建议Apache License Version 2.0；

2. 引用或参考开源三方库，需遵从开源协议。

6.网络安全要求

1. 满足基础的网络安全红线及隐私要求，符合安全编码规范。

过程质量要求