深度分析智慧化金融服务中必备的“黑科技”：微表情识别

来源：轻金融

作者：中国农业银行研发中心 陈亮、徐荣亚

作为金融科技领域的最新进展之一，由多学科融合形成、支持线上面对面沟通、助力理解客户真实意图的微表情识别技术，正受到越来越多的金融机构关注。

当服务用户的模式，从传统线下面对面方式转为远程屏对屏方式时，金融机构对交易的真实性及环境的安全性方面均提出了更高的要求。

引入微表情识别技术，通过微表情的蛛丝马迹，感知客户情绪，读懂客户的真实意图，在提升客户体验和服务能力的同时，增强银行的风险防控能力。

解密微表情识别

2020年2月15日，银保监会办公厅印发了《关于进一步做好疫情防控金融服务的通知》，提出各银行保险机构要积极推广线上业务，强化网络银行、手机银行、小程序等电子渠道服务管理和保障，优化丰富“非接触式服务”渠道，提供安全便捷的“在家”金融服务。

在有效防控风险的前提下，探索运用视频连线、远程认证等科技手段，探索发展非现场核查、核保、核签等方式，切实做到应贷尽贷快贷、应赔尽赔快赔。因疫情防控常态化促进了“非接触”金融服务的发展，支撑银行业务线上化处理的高科技手段层出不穷。

在这些新科技中，微表情识别技术的重要性日趋凸显。何为微表情识别技术？

微表情是短而不自觉的面部表情，是无意识出现在面部的，在人们试图掩盖某些情感时产生，它的开始和结束不受主观控制，能够在不知不觉中反映出人内心的心理状态。

微表情有如下特点：持续时间极短，最长不超过0.2秒，它的运动幅度微小，非常难以捕捉，以至于很难被发现。不过，可以通过分析注意力、眼部、额头、鼻翼、唇部等21种脸部表情特征的组合，反映人的开心、伤心、紧张、生气、惊讶、讨厌和藐视共7种脸部情绪。

作为心理学和人工智能的交叉学科，微表情识别是目前极具前瞻性的研究领域。人工智能深度学习模型的引入，极大提升了微表情识别性能，加速了微表情识别的应用进展。

微表情识别技术分为基于手工设计特征的机器学习方法和基于自学习特征的深度学习方法。机器学习方法通过设计一种特征提取算子，提取到面部的微表情特征后再利用分类器（随机森林、支持向量机、极限学习机等）进行分类。

目前特征提取算子主要分为两大类：一种是基于表现特征的算法，其中较为典型的是LBP-TOP（Local Binary Pattern on Three Orthogonal Plane）；另一种是基于几何特征的算法，这类算法一般不考虑像素值，而是考虑某些特征点或特征区域的位移。

深度学习的出现打破了传统的微表情识别算法中先进行提取特征后模式识别的模式，可以同时进行特征提取和微表情分类，且由于深度学习提取特征的过程会通过反向传播算法与误差优化算法迭代更新网络模型中各层的参数值，因此能够提取出人类预想不到的关键点和特征。

深度学习在微表情识别中的应用多基于VGG Net、ResNet、DenseNet等特征提取主干网络。在利用数据预处理手段去除图像中的背景、头发、衣服等干扰信息后，将捕获的感兴趣人脸区域直接输入到特征提取主干网络提取面部表情特征，最后直接利用Softmax分类器完成情绪分类。

基于深度学习的微表情识别算法可能会因缺乏足够的训练样本而导致出现过拟合问题，解决方法主要有两种：一是利用迁移学习，从普通表情识别模型向微表情识别迁移，用以解决深度学习中缺少足够训练数据集的问题；二是跨数据集学习，通过在一个数据集训练，另一个数据集验证的方式模拟复杂的现实应用场景，在一定程度上也能够缓解训练样本不足的问题。

微表情识别应用价值高

微表情识别在医疗、测谎和安全等方面都具有重要意义。如在临床心理治疗中，它可以帮助医生判断患者的真实心理状态，从而对症治疗；在刑事讯问中，它可以帮助警察得到正确的案件信息；在公共安全中，它可以帮助识别潜在的危险信息，减少人员物品的损失；在司法领域，它可以帮助判断嫌疑人是否撒谎。

在金融行业，对微表情识别的应用也越来越广泛：

1、2016年，平安普惠在业内率先将微表情识别应用于贷款申请审批场景，通过智能微表情面审辅助系统助力解决线上贷款面审难、风险高的问题，全面提升了线上面审的风控水平。据统计，平安普惠微表情识别欺诈准确率已超过80%，有效减少了信贷损失。

2、2020年8月，工商银行在网点智能机器人迎宾场景中应用了微表情识别。机器人“工小智”通过捕捉人脸微表情，感知客户情绪，做到个性化“温暖迎宾”。9月，工商银行运用微表情识别打造的非接触式抵押贷款线上视频面审场景进行了试点，着力于满足客户“短频快”的贷款需求，提升客户体验，推动金融服务快速转型。

3、某国有行在无人审核、客户满意度自动评测、金融活动效果评测等众多和客户打交道的场景中，基于微表情识别，搭建了多模态智能互动分析系统，着重关注对客户情绪的认知与分析，用心感知客户的服务需求。

微表情远程面审能力建设

传统线下贷款业务需在网点提交材料，通过线下人工审核，预约客户经理进行线下尽职调查。分散的审批人员导致效率低下，较长的审批周期影响了业务扩容，高额的门店建设成本阻碍了业务拓展。审批人员主观判断的差异会直接影响风险度的评定，且线下审批还可能存在欺诈等其他风险。

金融机构通过引入微表情识别技术，搭建微表情面审辅助系统，设立远程面签中心，可实现信贷面审流程线上化。客户可通过多种终端发起远程面审请求，无需多次前往门店，实现贷款申请“最多跑一次”。

同时，系统可以根据用户维度、坐席状态等信息按照相应的路由排队策略，将用户的通话请求分配到空闲面审坐席上。用户和面审人员的通话过程中面审人员可以进行应答、保持、咨询、转接、会议、挂断等操作。面审团队集中管理能够实现更高效的运转、更标准化的面审流程，节约人力，减少门店建设成本。

在智能微表情面审辅助系统中，利用基于知识图谱技术构建的全面的问题库，基于专家经验构建的提问逻辑。进行远程面审问答时，能够实时解析的客户情绪，并结合推荐算法智能给出推荐提问建议，同时利用语音识别、自然语言处理等技术，深度挖掘用户的真实需求。

最终，根据被提问者回答问题的准确率，情绪变化情况，个人信用报告等信息，微表情面审辅助系统识别出客户的真实意图，自动判断风险等级，自动生成面审评估报告，辅助信贷决策，减少因审批人员主观判断差异导致的风险偏差，强化风险防控。

金融业务落地设想

在非接触式业务办理需求的驱动下，微表情识别已在远程面审场景中落地。未来微表情识别可应用到更多的线上业务中，同时可进一步推广到线下非接触业务中，在空中柜台、智能迎宾、智慧营销和无人网点等领域，融合技术创新，优化业务流程，降低运营成本，全面加速银行金融服务智慧化转型。

1、赋能空中柜台，提升服务质量。目前越来越多的银行设立了空中柜台，通过视频远程为客户办理业务。利用远程视频与客户沟通最大的问题是无法及时获取客户业务办理过程中的情绪变化。利用微表情识别技术，实时解析客户情绪，客观地了解客户对服务的满意度，可全面提升空中柜台的服务质量。

2、赋能智能迎宾，提升服务能力。随着人们对服务需求及服务模式要求的转变，银行业也逐渐由传统的人工服务向智能化服务转变。在网点迎宾场景中，利用微表情识别技术识别客户情绪，结合语音识别、语义理解等为客户提供更个性化、贴心化的服务，可提升服务能力，做“有温度的银行”。

3、赋能智慧营销，提升营销水平。在智慧无人银行以及产品营销场景中，利用微表情识别，结合大数据分析等技术及时感知客户对金融产品的兴趣度，有针对性的向客户推荐其感兴趣的金融产品，可达到智慧营销、千人千面的效果，提升营销水平。

4、赋能无人网点，增强安全防控。在无人值守网点中，通过自助机具上方的摄像头实时解析客户面部微表情变化，分析客户真实的取款意愿，识别客户是否存在被劫持的风险。同时可以分析周边人员的情况，如果发现可疑人员在近处徘徊、停留等异常情况，进行告警提示，更进一步可以自动报警，增强安全防控。

引入微表情识别的思考

微表情是一种较新的智能能力，在引入微表情识别技术时，应该遵循统一集成、统一管理、统一接口、统一分配的服务原则。建立样本数据集积累，模型组件等基础资产，形成微表情模型构建、标注、训练、测试、评价、修改的全闭环，为后续不同业务场景的应用提供数字资产。

作为一种底层基础能力，在微表情识别能力具体的业务场景应用中，需要结合大数据平台进行业务场景算法模型搭建，然后对数据收集做情绪异常分析。该模型搭建存在非普适性，与业务场景高度耦合等特点。在业务模型搭建过程中，需要对不同场景区别对待。

微表情识别作为心理学和人工智能的交叉学科，发展较快，专业性较强，需要较强的理论功底和工程实践经验。金融行业应加强培养心理学分析、人工智能领域的相关人才，紧跟行业前沿，不断优化理论知识，并通过实践内化为自身能力。

展望未来，在更多的金融业务场景中，加快微表情识别技术落地，通过不断的实践探索，助推金融服务智慧化转型。同时，金融业应不断加强培养具备专业化技术能力和前瞻性视野的人才，搭建成熟完备的创新体系，推动科技创新工作向体系化、专业化等方向发展，推动金融行业数字化、智慧化工作迈向新阶段。

说明：本文仅代表作者个人观点，不代表所在单位