近日，来自成都大学的邓晴、周楠老师、罗文军、施开波老师等在国际期刊 Neurocomputing 上发表了题为 “Correntropy based label loss for multi-classification on deep neural networks” 的研究论文，针对深度神经网络在噪声标签环境下性能显著退化这一关键难题，提出了一种全新的鲁棒损失函数—基于相关熵的标签损失（Correntropy-based Label Loss, CLL）。

深度学习模型在图像分类等任务中依赖大规模人工标注数据，但现实场景中难免存在标注错误。传统交叉熵（CE）损失函数对噪声标签敏感，易导致模型 “记忆错误”、泛化性能下降。为此，研究从信息论学习出发，引入对异常值不敏感的相关熵思想，设计了全新多分类损失函数 CLL。下图为CE与CLL在含60%对称噪声标签的 MNIST 数据集上学习到的表征

图1

该方法核心优势在于：利用相关熵局部相似性度量特性，对预测分布与真实标签误差进行非线性建模；通过高斯核带宽参数抑制噪声样本对梯度更新的干扰；结合 Softmax 输出与 one-hot 标签结构，兼顾线性可分性与抗噪性；经归一化处理使损失值稳定在 [0,1] 区间，提升训练稳定性。同时采用 “交叉熵预热 + CLL 切换” 的训练策略，兼顾可靠模式学习与噪声抑制。

在理论层面，研究证明了核带宽无穷大时 CLL 与均方误差的等价性，验证了其在对称与非对称噪声下的噪声容忍性，并通过梯度分析揭示其对高置信度错误预测的梯度衰减机制。

图2

在实验层面，研究团队在 MNIST、CIFAR-10、CIFAR-100、Animal-10N 以及 Clothing1M 等多个公开数据集上进行了大量对比实验。结果表明相比其他方法，CLL 在训练后期性能下降更小，体现出更强的稳定性与泛化能力。

图3 不同方法在 CIFAIR -10数据集上的准确率变化

该研究的主要贡献为：提出无需修改网络结构、可直接应用的鲁棒损失函数；完成理论证明、梯度分析与实验验证的全方位论证；在合成噪声与真实噪声场景中均取得优异性能；为噪声标签学习提供简单通用、易于落地的解决方案。该成果为深度学习在复杂数据环境中的可靠应用提供重要支撑，也为鲁棒学习损失函数设计提供新思路。

论文链接：https://doi.org/10.1016/j.neucom.2025.130500

一  审： 周   楠

二  审： 罗浚溢

三  审： 施开波