Part 2: 分词与采样

文本如何变成数字？模型输出如何变回文本？本主题覆盖 BPE 分词器和采样策略——LLM 的输入和输出边界。

涵盖内容

章节	核心主题
1. bpe 分词器	哈希表、BPE 合并规则、GPT-2 字节编码、Chat 模板
2. 采样策略	softmax、temperature、top-k、top-p、xorshift64 PRNG

核心概念

• bpe — Byte Pair Encoding 分词
• softmax — logits → 概率分布
• prng — 伪随机数生成（推理中的采样随机性）

前置知识

• Part 1: 构建与加载（项目结构、内存管理）
• 哈希表基础
• 浮点数运算

学习路径

读完本主题后，你将理解：

1. 模型如何将文本拆分为 token 序列
2. 如何从 129280 个 logits 中采样下一个 token
3. temperature、top-k、top-p 等采样参数的实际效果

→ 下一步：Part 3: 模型架构