人脸表情的研究始于19世纪，Darein阐述了人类人脸表情与表情之间的联系和区别；20世纪70年代，Darein首次表述了人脸表情在不同性别和不同种族人群中具有某种特定的一致性的观点。1971年，心理学家Ekman和Friesen提出了6种基本人脸表情类型定义：惊讶(surprise)、高兴(happy)、愤怒(anger)、恐惧(fear)、悲伤(sadness)及厌恶(disgust)，确定了表情识别的对象类别，为后来人脸表情识别研究打下了良好的基础；1978年，他们又开发出面部动作编码系统(Facial Action Coding System，FACS)，通过人脸面部动作和表情的关系，实现人脸面部表情的识别；而人脸面部动作是由系统中一系列标准的人脸肌肉动作单元(Action Unit，AU)组成的，在描述人脸面部的动作过程中，FACS将人脸划分成44个AU，并且各种基本表情信息分别用其中的若干个AU来表示；最终，根据这些表征人脸面部动作的AU与相应表情的对应关系，实现人脸表情的识别，为以后人脸表情识别的科研工作奠定了重要基础。
国际上，20世纪70年代，Mattew N.Dailey等人通过Gabor小波变换方法提取静态人脸表情图像特征，最后通过集成神经网络完成识别；Hal Hong等人分别建立了不同人的人脸表情库，每个人的表情库都包含七种不同的表情，每种表情又各有四幅不同强度的表情图像，将表情库作为训练集，最后通过弹性匹配方法进行人脸表情识别；Suwa等人在一段包含人脸的视频中进行了最早的人脸表情识别实验，得到相关20个关键点的运动趋势，最后将之与预先定义的人脸表情运动模型进行比较，实现人脸表情在视频序列上的识别。1991年，A.Pentland和K.Mase等人开发出基于光流算法的人脸表情识别系统，利用光流对人脸肌肉的主要运动方向进行判断，然后计算人脸局部区域的光流值作为表情特征，最后利用提取到的表情特征向量实现人脸表情的识别。1997年，CMU机器人研究所，Tian和Kanade等人基于永久性和暂时性的面部特征对人脸表情进行分析，开发了自动人脸分析系统。1998年，卡内基梅隆大学的Lien通过采用区别3个上部和6个下部人脸表情单元来理解人脸面部肌肉动作，实现人脸表情的自动识别。2003年，麻省理工大学的Kapoor等人开发出了一种新型的面部动作分析系统，该系统在通过红外相机检测出瞳孔后，采用主成分分析(Principal Component Analysis，PCA)提取人脸表情特征，并采用支持向量机(Support Vector Machine，SVM)实现人脸表情分类。2008年，Ilonen等人先用贪婪算法对人脸特征点进行定位，然后计算其高斯混合模型(Gassian Mixture Model，GMM)响应，发现表情识别率高于Gabor实值响应。2009年，Park等人采用主动表观模型(Active Appearance Model，AAM)算法提取人脸特征点，并估计特征点的运动，通过运动放大技术实现对精细表情的识别。2010年，Lajevardi等人采用Zernike矩提取人脸表情特征，采用NB算法对表情进行分类，实现在噪声和人脸图像大幅度旋转的情况下的人脸表情识别。2011年，Tahseen等人采用局部单调模式(Local Monotonic Pattern，LMP)对人脸表情的局部微模式信息进行特征提取，采用SVM进行表情分类，对于SVM采用不同的核函数均取得了较好的识别结果。
我国对人脸表情识别的研究始于20世纪90年代。1997年，哈尔滨工业大学以高文教授为核心的团队进行了国内首次对人脸表情识别技术的研究。2003年，北京科技大学以王志良教授为首的科研团队，在机器人的情感控制研究中首次引入了人脸表情识别算法，并发表了关于人脸表情识别研究进展的综述性文献。2004年，东南大学的郑文明博士提出了基于偏最小二乘回归和核典型相关分析等多种人脸表情识别方法，领导了人脸表情自动识别系统的研究开发工作。2005年，首届国际情感计算及智能交互的会议在我国北京召开后，促进了包括中科院自动化研究所、哈尔滨工业大学、清华大学、南京理工大学和中国科技大学等很多研究机构进行人脸表情识别的研究。2006年，人脸表情识别国家自然科学基金项目开始正式建立，并且项目数目在逐年增长。2008年，徐琴珍等人对传统的SVM分类方法进行改进，将SVM与树型模块结合，算法复杂度较低，一定程度上提高了表情特征的分类精度。2009年，徐文晖等人是将k近邻法与SVM结合，将近邻信息集成到SVM构建中，提出了局部SVM分类器，取得了较好的表情分类效果。2010年，赵浩等人针对传统主动形状模型(Active Shape Model，ASM)不能充分提取如眼角、嘴角、眉尖等某些特殊点的灰度向量，提出了基于ASM和AAM的联合模型的表情识别算法，不过该算法在动态图像的识别效果还有待验证。2011年，谢尔曼等人针对Adaboost在使用Haar特征时的局限性，提出了Turbo-Boost算法，该算法经过两轮Adaboost迭代，从原始的Haar特征空间中筛选出主要的特征子空间，再从中训练大于特征子空间维数数目的弱分类器，最终实现人脸表情的分类。 |