全面地分析基于面部表情识别技术在应用中可能遇到的问题，提出了一系列面部表情识别技术的新算法

一、简介

大多数面部表情识别算法的研究是在理想的实验条件下进行，导致了在实际应用中出现一系列缺点：比如，在昏暗的室内环境下，其识别率会大幅度下降，达不到在理想的实验条件下的性能；比如，当人们用手挡住脸部，面部表情识别系统会误判表情或者无法识别表情，从而导致系统的性能下降。针对这些问题，课题组结合计算机视觉和机器学习，提出了一系列鲁棒性地面部表情识别算法，使得识别系统能更好地适应外界环境（光照变化、姿态变化与遮挡）的变化。主要科研成果发表于国际期刊论文（共四篇）、国际会议论文（共七篇）和博士论文（http://jultika.oulu.fi/Record/isbn978-952-62-0656-1）。

二、成果归纳

成果1 国际首个近红外频谱面部表情数据库

       课题组采集了国际上首个近外红频谱的面部表情数据库（已发表于2011年Image and Vision Computing国际期刊，论文标题为“Facial expression recognition from near-infrared videos”）。其主要创新成果是采用近红外摄像头捕捉人脸信息，大幅度增强表情识别对光照变化的稳定性，从而使得表情识别系统不受光照变化的影响，进而可以在昏暗的环境下进行实际使用。该数据库得到了同领域的许多研究学者的申请使用，并且作为表情识别算法性能比较的基准表情数据库之一。目前该文献获得53次SCI引用（数据来自Web of Science）和137次Google引用（数据来自Google Scholar）。

成果2 结合多通道信息与近红外技术的面部表情模型

通过将图像的多通道信息和方向尺度的结合，课题组提出了具有鲁棒性的面部表情特征描述子，并将提出的面部表情特征描述子与近红外摄像头相结合，进一步提升面部表情识别的性能，在光照较差的条件下，获得90%以上的准确率，使得面部表情识别在低光照条件下具有更好的性能（已发表于2012年IEEE Signal Processing Letters，论文标题为“Spatiotemporal local monogenic binary patterns for facial expression recognition”）；该科研成果得到了本领域多位知名专家（比如，Dimitris N. Metaxas等）认可并引用，并且作为2015年申报中国教育部自然科学奖的工作之一（2016年获得中国教育部自然科学二等奖，东南大学为主要申报单位）。

成果3 突破遮挡难题：整合算法大幅提升表情识别准确率

        针对遮挡对表情识别造成严重影响，通过稀疏算法和区域纹理描述子的深入研究，本人提出了遮挡区域检测器和区域加权算法的整合算法，从而降低遮挡所带来的噪声对表情特征提取的影响（已发表于2012年Pattern Recognition Letters，论文标题为“Towards a dynamic expression recognition system under facial occlusion”）；其主要贡献是，当面部被遮挡50%的情况下，其性能可以达到80%准确率，经过算法比较，所提出的算法性能提升近50%的识别率。

成果4 融合脑电与人脸信息：构建全新双模态自发情绪分析系统，突破环境限制

        以往的情绪分析技术都是基于面部纹理信息，其识别精度在很大程度上受到了外界环境以及图像质量的影响。本人将脑电信号与人脸信息相结合，构建了一个全新的双模态的长时段的自发情绪分析系统。其优点在于脑电信号提供了额外而且稳定地信息给面部表情算法，使得脸部图像即使受到光照影响，系统性能依旧保持良好且稳定的性能。研究成果首次发表于2012年Engineering in Medicine and Biology Society（EMBS）医学领域的国际会议，被选作EMBS的大会报告论文，并获得同行的好评。之后，本人对脑电信号和人脸信息的双模态模型进一步分析，进一步扩展2012年EMBS的研究成果，重点分析地特征融合和分类器融合对于双模态的影响，提出了具有良好识别率的长时段的自发情绪分析系统，该研究成果发表于Computer Vision and Image Understanding国际期刊（见论文[3]）和作为芬兰科技局资助项目（AFFECT: multimodal emotion recognition for affective computing）的结题材料。

主要成果：

1. Xiaohua Huang. Methods for facial expression recognition with applications in challenging situations. Acta Univ Oul C 509. University of Oulu Graduate School, Faculty of Information Technology and Electrical Engineering, Department of Computer Science and Engineering, Infotech Oulu.

2. Jim Gribble, Xiaohua Huang, Guoying Zhao. Interactive Facial Emotion Recognition Game for Children with Autism. Twelfth International Conference on e-Learning & Innovative Pedagogies, 2019.

3. Xiaohua Huang. Anchor-free face detection in the wild with an application to facial expression recognition. International Conference on Image, Vision and Computing, pp. 256-262, 2022.

4. Xiaohua Huang, Jukka Kortelainen, Guoying Zhao, Xiaobai Li, Antti Moilanen, Tapio Seppänen and Matti Pietikäinen. Multi-modal emotion analysis from facial expressions and electroencephalogram. Computer Vision and Image Understanding, Volume 147, pp. 114-124, 2016. 

   Xiaohua Huang, Guoying Zhao, Wenming Zheng and Matti Pietikäinen. Robust facial expression recognition using revised canonical correlation. Proceedings of 22nd International Conference on Pattern Recognition, pp. 1-6,2014.

5. Xiaohua Huang, Guoying Zhao and Matti Pietikäinen. Emotion recognition from facial images with arbitrary views. Proceedings of British Machine Vision Conference, pp. 1-11, 2013. 

6. Xiaohua Huang, Guoying Zhao, Wenming Zheng and Matti Pietikäinen. Towards a dynamic expression recognition system under facial occlusion. Pattern Recognition Letters, Vol. 33, No. 16, pp. 2181-2191, 2012.

7. Xiaohua Huang, Guoying Zhao, Matti Pietikäinen and Wenming Zheng. Spatiotemporal local monogenic binary patterns for facial expression recognition. IEEE Signal Processing Letters, Vol. 19, No. 3, pp. 243-246, 2012.

   Jukka Kortelainen, Suvi Tiinanen, Xiaohua Huang, Xiaobai Li, Seppo Laukka, Matti Pietikäinen, and Tapio Seppänen. Multimodal emotion recognition by combining physiological signals and facial expressions: a preliminary study. Proceedings of the 34th Annual International Conference of the IEEE EMBS, San Diego, USA, pp. 5238-5241, 2012.