近日，智能康复系统感知与控制国际联合研究中心周楠老师、吉佧拉根同学、王文昊老师、谢远伦老师、新加坡Soh院士合作完成的研究论文“BERN: A Novel Framework for Enhanced Emotion Recognition Through the Integration of EEG and Eye Movement Features”在国际知名学术期刊 IEEE Transactions on Cognitive and Developmental Systems（TCDS）正式发表。周楠老师为第一作者，王文昊老师和谢远伦老师为通讯作者。

情绪识别是情感计算领域的重要研究方向，对智能交互与心理健康监测等应用具有重大意义。为突破现有方法依赖单一模态、信息表达不足等局限，该研究提出了 双模态情绪识别框架BERN（Bimodal Emotion Recognition Network），通过融合EEG与眼动数据，实现了情绪识别性能的显著提升（如图1所示）。

图1 BERN整体模型示意图

BERN模型分别采用3D卷积与改进残差结构提取EEG与眼动特征（图2、图3），并引入跨模态注意力机制实现信息的高效融合（图4），充分挖掘模态间的互补关系，从而显著提升了识别准确性与鲁棒性。

图2 脑电特征提取网络框架示意图

  图3 眼动特征提取网络框架示意图

图4 跨模态注意力示意图

本研究的主要贡献包括：提出了双模态情绪识别框架BERN，通过独立的前馈神经网络分别提取EEG与眼动特征，并采用跨模态注意力机制结合残差连接实现信息的有效融合，充分挖掘模态间的互补关系。同时，模型利用维度扩展与ResNet18结构增强EEG特征表示能力，从而显著提升情绪识别的准确性与鲁棒性。

IEEE TCDS是中科院SCI三区期刊，当前影响因子约为4.9，在认知科学、发展系统、脑-机接口、情感计算等领域具有较高学术影响力。该期刊广泛涵盖认知与发展系统、智能交互、心理健康监测、脑-机接口、情绪识别等研究方向。

该成果不仅提升了我院在情感计算与脑-机接口研究领域的影响力，也为智能交互、心理健康监测等应用提供了新的技术路径，具有良好的研究推广与应用前景。

论文链接：https://doi.org/10.1109/TCDS.2025.3590031

一  审： 周   楠

二  审： 罗浚溢

三  审： 施开波