ds4.c 学习笔记

Appearance

ds4.c 学习知识地图 ​

项目概览 ​

  • ds4.c：antirez 编写的 DeepSeek V4 Flash 推理引擎
  • ~58,000 行代码（C + Objective-C + Metal Shading Language + CUDA）
  • 零外部依赖：JSON、HTTP、分词器全部手写
  • 目标平台：Apple Silicon Mac（Metal）、NVIDIA GPU（CUDA）、AMD GPU（ROCm 分支）
  • GGUF 量化工具：gguf-tools/ 提供 imatrix 收集和 HF-to-GGUF 量化（~3000 行）
  • 贡献指南：CONTRIBUTING.md（142 行）含回归测试流程（make test、CUDA regression、质量评分）

知识索引 ​

C 语言知识点 ​

概念主题对应文件
Makefile / 编译流程Part 1Makefile
malloc/free / xmallocPart 1ds4.c
mmap 零拷贝Part 1ds4.c
__thread TLSPart 1ds4.c
struct 对齐 / static_assertPart 1ds4.c
字节序 / 二进制解析Part 1ds4.c
哈希表（开放寻址）Part 2ds4.c
字符串操作Part 2ds4.c
浮点运算 / softmaxPart 2ds4.c
union 类型转换Part 2ds4.c
opaque type 设计Part 3ds4.h
位操作 / 量化Part 3ds4.c
多维数组索引Part 3ds4.c
指针数组Part 3ds4.c
volatile / 信号Part 4ds4.c
pthread 线程池Part 4ds4.c
mutex / condvarPart 4ds4.c
POSIX socketPart 5ds4_server.c
poll I/O 多路复用Part 5ds4_server.c
文件 I/O / SHA1Part 5ds4_server.c
JSON 手写解析Part 5ds4_server.c
ObjC 互操作Part 6ds4_metal.m

LLM 知识点 ​

概念主题对应文件
推理引擎是什么Part 1README.md
模型文件格式 (GGUF)Part 1ds4.c
BPE 分词Part 2ds4.c
采样策略Part 2ds4.c
Transformer 权重结构Part 3ds4.h
模型量化Part 3ds4.c
imatrix 重要性矩阵—gguf-tools/
GGUF 量化工具—gguf-tools/
Self-AttentionPart 3ds4.c
KV CachePart 3ds4.c
MLA (压缩注意力)Part 3ds4.c
MoE (混合专家)Part 3ds4.c
SwiGLU 激活Part 3ds4.c
RoPE 位置编码Part 4ds4.c
prefill vs decodePart 4ds4.c
自回归生成Part 4ds4.c
推理并行性Part 4ds4.c
SSE 流式响应Part 5ds4_server.c
Responses API (/v1/responses)Part 5ds4_server.c
KV Cache 持久化Part 5ds4.c
OpenAI/Anthropic APIPart 5ds4_server.c
Tool CallingPart 5ds4_server.c
Live Tool ContinuationPart 5ds4_server.c
KV Cache 命中衰减与驱逐Part 5ds4_server.c
KV Cache 用量报告Part 5ds4_server.c
ds4-eval 能力评估Part 5ds4_eval.c
DeepSeek V4 模型卡Part 1MODEL_CARD.md
GPU 加速 / Flash AttentionPart 6metal/ ds4_cuda.cu
CUDA Managed KV CachePart 6ds4_cuda.cu

学习进度 ​

天日期状态对应主题
12025-05-09已完成Part 1: 构建与加载
22025-05-09已完成Part 1: 构建与加载
32025-05-09已完成Part 1: 构建与加载
42025-05-09已完成Part 2: 分词与采样
52025-05-09已完成Part 2: 分词与采样
62025-05-09已完成Part 3: 模型架构
72025-05-09已完成Part 3: 模型架构
82025-05-09已完成Part 3: 模型架构
92025-05-09已完成Part 3: 模型架构
102025-05-09已完成Part 4: 推理流程
112025-05-09已完成Part 4: 推理流程
122025-05-09已完成Part 5: 服务层
132025-05-09已完成Part 5: 服务层
142025-05-09已完成Part 5: 服务层
152025-05-09已完成Part 6: GPU 加速

出链