近日，智能康复感知与控制国际联合研究中心师生与国外专家Witold Pedrycz联合研究在人工智能领域国际一区top期刊《Engineering Applications of Artificial Intelligence》发表重要研究成果，提出了一种面向噪声标签问题的全新损失函数——Correntropy-Inspired Cross-Entropy（CICE）。Witold Pedrycz（维托尔德·佩德里兹）为加拿大阿尔伯塔大学电气与计算机工程系教授，波兰科学院外籍院士、加拿大皇家学会会士、加拿大皇家科学院院士、IEEE终身会士。

在深度学习实际应用中，数据标注往往存在不可避免的错误，这些“噪声标签”会严重影响模型性能。传统广泛使用的交叉熵损失函数（Cross-Entropy）在面对噪声数据时容易过拟合错误信息，导致模型泛化能力下降。针对这一问题，研究团队创新性地将信息论中的相关熵（correntropy）理论引入损失函数设计，提出CICE损失函数。该方法针对实际数据标注中普遍存在的噪声标签问题，解决了传统交叉熵损失函数对错误标签高度敏感、易导致模型性能下降的难题，通过融合相关熵理论构建新型鲁棒损失函数，实现了对噪声样本的有效抑制与对有效信息的强化学习。

下图为采用CE和 CICE 损失函数在含60%对称性标签噪声的 MNIST 数据集上训练的模型中，倒数第二层密集层提取的深度特征通过t-SNE投影至二维空间的结果。CICE 损失函数能够有效抑制噪声标签的负面影响，学习到类内紧凑、类间分离的判别性特征表示.

图1

实验结果表明，在MNIST、CIFAR-10、CIFAR-100等多个基准数据集上，CICE在不同噪声比例条件下均优于13种现有先进方法，尤其在高噪声场景下表现出更强的稳定性和泛化能力以及不同学习方法在多种噪声率下的训练损失曲线。

图2

图3

该方法具有显著的创新性与实用价值：一方面，无需改变原有神经网络结构，仅通过替换损失函数即可实现性能提升，具备良好的通用性与易部署性；另一方面，通过引入可调参数，实现了对不同噪声强度场景的自适应调节，在复杂环境下依然能够保持稳定表现。同时，所提出的训练策略兼顾特征学习与噪声抑制，有效避免模型对错误标签的过拟合问题。总体而言，该成果为噪声标签学习提供了一种高效、灵活且易于推广的新范式，为解决实际数据标注不完美问题提供了一种高效、灵活的新思路。

论文链接：https://www.sciencedirect.com/science/article/abs/pii/S0952197626001119

一 审： 周   楠

二 审： 罗浚溢

三 审： 施开波