Part 3: 模型架构

Transformer 的核心组件：权重结构、量化、Self-Attention、MoE 混合专家。这是理解"模型怎么算"的关键主题。

涵盖内容

章节	核心主题
1. 公共 API 与权重结构	opaque type、weights_bind、Transformer 权重、LoRA、GLM 5.3（kda）、视觉编码器
2. 量化与矩阵运算	位操作、block 布局、非对称量化、matvec
3. 注意力机制	Self-Attention、kv-cache、滑动窗口、MLA、Attention Sink
4. moe 混合专家	路由（hash/top-k）、swiglu、专家前向传播

核心概念

• kv-cache — 注意力历史状态缓存
• moe — 混合专家路由
• quantization — 模型权重压缩
• rmsnorm — 归一化层
• swiglu — MoE 专家的激活函数
• attention-sink — 注意力锚点机制
• mla — 多头潜在注意力（压缩 KV）
• kda — Kimi Delta Attention（GLM 5.3 的递归线性注意力，无 KV cache）
• vision — 视觉编码器与多模态输入

前置知识

• Part 1（GGUF 格式、mmap）
• Part 2（softmax）
• 矩阵乘法基础

学习路径

读完本主题后，你将理解：

1. Transformer 权重在内存中的组织方式
2. 量化如何将 32-bit 浮点数压缩到 2-bit
3. Self-Attention 的计算流程和 KV Cache 的作用
4. MoE 如何用"宽度换深度"实现 284B 参数但低计算量

→ 下一步：Part 4: 推理流程