ds4.c 学习笔记

Appearance

ds4.c 学习知识地图 ​

项目概览 ​

  • DwarfStar（ds4.c）：antirez 编写的原生推理引擎，首要支持 DeepSeek V4 Flash，也支持 GLM 5.2 和（大内存机器上）DeepSeek V4 PRO——不再 DeepSeek 专用
  • ~65,000 行 ds4.c 核心（C），加上 Metal / CUDA / ROCm 后端共 ~240K 行（C + Objective-C + MSL + CUDA + HIP）
  • 零外部依赖：JSON、HTTP、分词器全部手写
  • 目标平台：Apple Silicon Mac（Metal）、NVIDIA GPU（CUDA，含多卡与 DGX Spark）、AMD GPU（ROCm，Strix Halo）
  • 扩展能力：分布式流水线并行、张量并行（Mac RDMA + CUDA）、SSD streaming、会话批处理、多 GPU 放置
  • GGUF 量化工具：gguf-tools/ 提供 imatrix 收集和 HF-to-GGUF 量化
  • 贡献指南：CONTRIBUTING.md + QA_BEFORE_RELEASES.md 含回归测试流程（make test、CUDA regression、质量评分）

知识索引 ​

C 语言知识点 ​

概念主题对应文件
Makefile / 编译流程Part 1Makefile
malloc/free / xmallocPart 1ds4.c
mmap 零拷贝Part 1ds4.c
__thread TLSPart 1ds4.c
struct 对齐 / static_assertPart 1ds4.c
字节序 / 二进制解析Part 1ds4.c
哈希表（开放寻址）Part 2ds4.c
字符串操作Part 2ds4.c
浮点运算 / softmaxPart 2ds4.c
union 类型转换Part 2ds4.c
opaque type 设计Part 3ds4.h
位操作 / 量化Part 3ds4.c
多维数组索引Part 3ds4.c
指针数组Part 3ds4.c
volatile / 信号Part 4ds4.c
pthread 线程池Part 4ds4.c
mutex / condvarPart 4ds4.c
POSIX socketPart 5ds4_server.c
poll I/O 多路复用Part 5ds4_server.c
文件 I/O / SHA1Part 5ds4_server.c
JSON 手写解析Part 5ds4_server.c
ObjC 互操作Part 6ds4_metal.m

LLM 知识点 ​

概念主题对应文件
推理引擎是什么Part 1README.md
模型文件格式 (GGUF)Part 1ds4.c
BPE 分词Part 2ds4.c
采样策略Part 2ds4.c
Transformer 权重结构Part 3ds4.h
模型量化Part 3ds4.c
imatrix 重要性矩阵—gguf-tools/
GGUF 量化工具—gguf-tools/
Self-AttentionPart 3ds4.c
KV CachePart 3ds4.c
MLA (压缩注意力)Part 3ds4.c
MoE (混合专家)Part 3ds4.c
SwiGLU 激活Part 3ds4.c
RoPE 位置编码Part 4ds4.c
prefill vs decodePart 4ds4.c
自回归生成Part 4ds4.c
推理并行性Part 4ds4.c
SSE 流式响应Part 5ds4_server.c
Responses API (/v1/responses)Part 5ds4_server.c
KV Cache 持久化Part 5ds4.c
OpenAI/Anthropic APIPart 5ds4_server.c
Tool CallingPart 5ds4_server.c
Live Tool ContinuationPart 5ds4_server.c
KV Cache 命中衰减与驱逐Part 5ds4_server.c
KV Cache 用量报告Part 5ds4_server.c
ds4-eval 能力评估Part 5ds4_eval.c
DeepSeek V4 模型卡Part 1MODEL_CARD.md
GPU 加速 / Flash AttentionPart 6metal/ ds4_cuda.cu
CUDA Managed KV CachePart 6ds4_cuda.cu
分布式流水线并行术语表ds4_distributed.c
张量并行（Mac RDMA / CUDA）术语表ds4_tp.c
会话批处理（--batched-session）术语表ds4_server.c
DSpark 推测解码术语表ds4.c
多 GPU 放置 / 层打包Part 6ds4_layer_pack.c ds4_gpu_args.c
GLM 5.2 多模型支持Part 3ds4.c

学习进度 ​

天日期状态对应主题
12025-05-09已完成Part 1: 构建与加载
22025-05-09已完成Part 1: 构建与加载
32025-05-09已完成Part 1: 构建与加载
42025-05-09已完成Part 2: 分词与采样
52025-05-09已完成Part 2: 分词与采样
62025-05-09已完成Part 3: 模型架构
72025-05-09已完成Part 3: 模型架构
82025-05-09已完成Part 3: 模型架构
92025-05-09已完成Part 3: 模型架构
102025-05-09已完成Part 4: 推理流程
112025-05-09已完成Part 4: 推理流程
122025-05-09已完成Part 5: 服务层
132025-05-09已完成Part 5: 服务层
142025-05-09已完成Part 5: 服务层
152025-05-09已完成Part 6: GPU 加速

出链