ds4.cDwarfStar 推理引擎学习笔记

6 大主题掌握 ~85K 行零依赖 LLM 推理引擎 —— DeepSeek V4/V4.1 Flash / Qwen3.8 Flash Next / GLM 5.3（含视觉多模态、盘上 Engram/n-gram 记忆与 GDN 递归架构），从 C 基础到 Metal/CUDA/ROCm 与多机多卡

开始学习

知识地图

纯 C 实现

零外部依赖 —— JSON 解析、HTTP 服务器、BPE 分词器全部手写，从头理解每一行代码

LLM 内核原理

Self-Attention、KV Cache、RoPE、MoE、KDA/GDN 递归线性注意力、视觉编码器 —— 用代码讲清 Transformer 与多模态

多后端 GPU 加速

Metal / CUDA / ROCm 三后端，张量并行、分布式、SSD streaming、会话批处理——从单机到多机多卡

85K 行代码走读

逐函数注释关键路径（ds4.c 从 65K 长到 ~85K 行），配合 Mermaid 流程图和术语表，让大型 C 项目不再 intimidating

按主题学习

6 大主题覆盖构建加载、分词采样、模型架构、推理流程、服务层、GPU 加速，按需查阅

术语表 & 知识链接

Obsidian 风格双向链接，悬浮预览 + 反向引用，构建个人知识图谱