交叉熵
Cross-Entropy
学到 认得 就够：听到能明白
你可能会说
“我看论文里的交叉熵指标，模型很自信地猜错和犹豫地猜错会受到不同评价吗？”
交叉熵衡量预测分布对目标数据的不匹配程度，常用来训练分类和语言模型。对单一正确类别，模型给它的概率越小，受到的负对数惩罚越大。
使用 AI
科研里的例子
模型给正确政策类别 0.8 与 0.2 的概率，会产生不同交叉熵；但给真实标签高概率仍取决于标注是否合理。
当目标是一个类别时，损失可写为负对数预测概率；因此错得很自信通常比错得犹豫受更大惩罚。语言模型把真实后续词元作为目标，对许多位置求平均。这个目标能推动概率预测，却不直接检查所生成句子是否真实。不同词元化、遮罩、样本权重与平均单位也会影响数值，所以比较实验必须固定口径，避免把平均交叉熵下降过度解读为推理能力或事实可靠性上升。
判断
亲手检查一次
用计算器比较 -ln(0.8)、-ln(0.2) 与 -ln(0.01)，再把一个误标样本代入，观察算法为何会朝错误目标学习。
它做不到的
交叉熵基于给定目标分布，目标标签错也会被认真优化；其低值不保证输出被校准，更不等于因果识别。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。