量化与精度

📅 4周学习计划

1. 精度格式对比

格式	位宽	范围	精度	适用场景
FP32	32-bit	±3.4×10³⁸	高	训练默认
FP16/BF16	16-bit	±65504/±3.4×10³⁸	中	混合精度训练
TF32	19-bit	同FP32	中	A100+
FP8 (E4M3)	8-bit	±448	低	H100推理
INT8	8-bit	-128~127	低	推理量化
INT4	4-bit	-8~7	极低	极致压缩

2. 量化方法

PTQ (Post-Training Quantization)

• 原理: 训练后量化，无需重新训练
• 优点: 快速、简单
• 缺点: 精度损失可能较大

QAT (Quantization-Aware Training)

• 原理: 训练时模拟量化误差
• 优点: 精度更好
• 缺点: 需要重新训练

3. 量化技术

SmoothQuant

• 问题: 激活值分布不均匀，难以量化
• 方案: 将量化难度从激活转移到权重
• 效果: INT8量化，精度损失<1%

GPTQ

• 原理: 逐层量化，最小化重建误差
• 特点: 支持INT4/INT3，需校准数据

AWQ (Activation-aware Weight Quantization)

• 原理: 识别重要权重通道，保护其精度
• 优势: 比GPTQ更快，精度更好

GGUF

• 定位: llama.cpp使用的格式
• 特点: CPU推理优化，多种量化级别

4. 实战对比