你的情绪又被“偷窥”了！这个AI耳机靠面部肌肉轮廓定位表情，准确率达88%
雷峰网leiphone2020-10-14 17:01
当你用耳机听歌时，有人已经在用它表达情绪了。
这听起来有点神奇，不过它真的被AI实现了。最近小编发现了一款AI黑科技-C-Face耳机，它可以在虚拟环境中传递人的“喜怒哀乐”。
到底怎么传递？先来看一张效果图。
当你微信聊的正嗨，不用辛苦去找表情包，系统就会根据面部表情自动匹配发送出去。
皱个眉头也能一秒识别，感觉聊天效率都高了。
重要的是，它的功能还不止于此。当你摊在沙发上听音乐，懒得动还想切歌或暂停时，只需要隔空说一句“Stop”或者“Next Song”，播放设备就会自动执行。
有网友可能会说，耳机的语音唤醒功能早已经不是新鲜事了。但是C-Face采用的并不是语音识别技术，用户只需要动动嘴唇，无需发出声音，系统就能够自动识别。
看到这里，细心的网友可能已经发现，无论情绪识别和语音唤醒功能，都有一个共同的特点，即人脸面部肌肉的移动。
事实上，C-Face正是通过跟踪面部肌肉的“人脸识别”技术来识别情绪或无声语音命令的。
“人脸识别”AI耳机
提到人脸识别，大家可能再熟悉不过了，很多智能可穿戴设备都融入了这项技术。
但特地的是，C-Face可以说是其中最便捷且功能强大的一个。它没有安装复杂的传感器设备，也不仅限于识别部分离散面部表情。
到底是一款怎样的黑科技产品呢？
C-Face，全称Contour-Face，是一款耳挂式可穿戴传感设备，有耳塞式和头挂式两种。这两种设备中均内置了两个微型RGB摄像头，一种用于捕获红色，绿色和光带的数码相机。
当我们做出面部表情时，会引起面部肌肉的拉伸和收缩，从耳朵的角度来看，这种效果会使脸颊轮廓发生变化。C-Face内置微型相机正是用来记录佩戴者这种脸颊轮廓变化的。
至于效果怎么样，我们先来看一组3D动图。
虽然看起来稍有迟缓，但几乎能够与佩戴者的唇形和面部表情保持一致。
那如果带上口罩呢？毕竟疫情之下，口罩和耳机成了出行时的标配。但从结果来看也并没有什么影响。
据了解，C-Face之所以能够准确最终面部移动，是采用了计算机视觉和深度学习模型。
在微型相机捕获图像后，视觉技术和深度学习模型会对其进行重建。在重建的过程中，卷积神经网络卷积网络进一步将面部特征转换为42个面部关键点，包括佩戴者的嘴巴，眼睛以及眉毛的位置和形状。
这些关键点将主要决定面部情绪的所属类型。
据了解，C-Face可以将这些关键点识别为八个表情符号，比如自然、生气、亲亲、大哭等，涵盖了愉快、中性以及愤怒三种情绪类型。另外，8个表情符号也可以用来控制音乐设备上的播放选项，例如“播放” ，“下一首”或者“音量增大”。而其他的用途，还可能包括在虚拟游戏中使用来化身表达情感，帮助老师在云课堂中了解学生状态等。
目前，这些情绪的识别效果已经过实际检测。在9位参与检测者提供的数据中，C-Face的表情识别准确度超过了88％，无声语音的准确度接近85％。
康奈尔大学出品，华人教授参与研究
C-Face黑科技产品出自康奈尔大学的研究团队，谈起这项研究的初衷，负责人 Francois Guimbretiere表示，
远程办公或学习逐渐成为一种主流趋势，他们希望利用最常用的耳挂式设备，能够协助人们在虚拟环境中进行无障碍的交流、协作或表达情感。
从该校未来智能交互与计算机接口实验室（SciFi Lab）官网显示来看，关于这项研究的论文《C-Face：通过深度学习面部轮廓重建面部表情》，将会在10月20日至23日举行的计算机用户界面软件和技术研讨会（UIST2020）上发表。
论文地址：https://ad164934-109c-47d8-a0fd-ee214ece47db.filesusr.com/ugd/2311aa_832c9241fdd74d7296976cefeccb43b4.pdf
值得关注的是，这篇论文的作者还包括一名华人教授张铖。他目前是康奈尔大学计算机与信息科学学院助理教授，也是未来交互智能计算机接口实验室（SciFi Lab）的负责人。
他的研究方向是智能传感系统与人机交互（HCI）。具体地说，是研究如何收集有关人体及周围信息来应对各应用领域的现实挑战，比如智能交互、健康感知和活动识别等。
张铖最先接触这一领域是在南开大学和中国科学院读书期间，在这里他积累了有形用户接口、儿童人机接口、音乐接口等方面的研究经验。
之后他进入佐治亚理工学院读博，期间研究了10多种不同的可穿戴设备的新输入技术，涉及自下而上构建传感系统、物理建模、硬件原型设计、数据及算法处理等。
目前，他已经在人机交互和普适计算领域的顶级会议和期刊上发表了十多篇论文（包括两个最佳论文奖），获得了超过10项的美国和国际专利。
对于C-Face设备，张铖表示还存在一定的局限性，比如耳机的电池容量，之后团队会计划开发更低功耗的传感技术，同时也会进行更多实际应用场景的测试。
引用链接：
https://news.cornell.edu/stories/2020/10/earphone-tracks-facial-expressions-even-face-mask
https://techxplore.com/news/2020-10-earphone-tracks-facial-mask.html
https://www.engadget.com/earphone-facial-expression-mask-emoji-emotion-175327792.html?utm_campaign=fullarticle&utm_medium=referral&utm_source=inshorts
雷锋网雷锋网雷锋网
举报/反馈
0
0
收藏
分享
