量化
Quantization
学到 会用 就够：能亲手用起来
你可能会说
“我为本地读文献选择四位量化模型，它省了什么资源，又可能损失什么？”
量化用较少比特表示权重或其他数值，通过离散近似减少存储和部分计算开销。四位、八位等名称说明表示精度的一部分，不能独自决定最终速度与质量。
使用 AI
科研里的例子
量化模型整理政策年份时，平均摘要质量看似接近，却可能增加数字误写；应单独抽查日期、比例与主体名称。
连续范围内的数会映射到有限离散级别，通常配尺度等辅助信息。位数降低会引入误差，不同层和异常值对误差的敏感性不同，因此方法可能需要校准资料或特殊处理。实际推理还涉及激活、缓存与运行库支持；权重文件缩小不等于总显存同比下降。科研使用应在目标数据上比较量化前后结果，尤其检查小概率、数值和边界样本，而非只看模型能否加载。
判断
亲手检查一次
记录同一模型两种量化版本的文件大小、峰值内存与固定样本错误，检查节约资源是否伴随任务上可接受的变化。
它做不到的
量化不等于参数数量减少，也不等于剪枝；“四位”常只描述权重，不能假定全部数值、缓存和运算都是四位。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。