知识点列表 · 进阶
人工智能
底层原理与训练 / 推理工程。当前共 18 个知识点，分布在 5 个章节。
01
底层原理
5 topicsTransformer 与 Attention
现代大模型的底层架构 —— 用「注意力机制」让 AI 看清上下文里所有词的关系。
Emergent Abilities (涌现能力)
模型规模大到一定程度时突然出现的「顿悟」 —— 量变引发质变的直观证据。
MoE (Mixture of Experts 混合专家)
用「稀疏激活」把模型做大但成本不爆 —— DeepSeek / Mixtral / GPT-4 的关键。
Attention 变体（MQA / GQA / FlashAttention）
推理瓶颈不在算力而在显存带宽 —— 这些变体把它从瓶颈里抠出来。
KV Cache（推理性能的命门）
为什么长上下文越聊越慢、越聊越贵 —— 因为 KV cache 在不停长。
02
高级推理
2 topics03
训练与微调
6 topicsPre-training (预训练)
从零开始用海量无标注数据让模型学会语言 —— LLM 一切能力的源头。
SFT (有监督微调)
用少量高质量「输入-期望输出」对教模型做特定任务的最直接方式。
RLHF (基于人类反馈的强化学习)
用「人类偏好」校准模型 —— 让 AI 不只是会答，而是会答得「合人意」。
LoRA (低秩微调)
用极少的参数微调大模型 —— 普通开发者也能用一张卡调出专属模型。
Knowledge Distillation（知识蒸馏）
让小模型学大模型的「输出分布」 —— 把 70B 的能力压进 7B。
DPO（直接偏好优化）
RLHF 的简化替代 —— 不需要 reward model 和 PPO，照样对齐人类偏好。
04
量化与本地推理
3 topics05