Part 5: 服务层

从单用户 CLI 到多用户 HTTP 服务：POSIX socket、poll I/O 复用、SSE 流式、KV 持久化、OpenAI/Anthropic API 兼容。让推理引擎变成可编程的服务。

涵盖内容

章节	核心主题
1. HTTP 服务器	POSIX socket、poll()、sse 流式、Worker 架构
2. KV Cache 持久化	文件 I/O、SHA1、序列化、原子写入、前缀匹配
3. API 兼容层	JSON 手写解析、OpenAI/Anthropic API、Tool Calling、DSML

核心概念

• sse — Server-Sent Events 流式响应
• kv-cache — 持久化到磁盘的 KV 缓存
• hash-table — DSML replay map 中的 radix tree

前置知识

• Part 4: 推理流程（线程池、prefill/decode）
• 基本的网络编程概念（socket、HTTP）

学习路径

读完本主题后，你将理解：

1. ds4-server 如何用单线程事件循环 + Worker 线程池处理并发请求
2. KV Cache 如何序列化到磁盘并按前缀匹配复用
3. 如何兼容 OpenAI 和 Anthropic 两种 API 协议

→ 下一步：Part 6: GPU 加速