来源:DeepTech深科技
无需打字、无需搜索表情,只需对着手机微笑,就能发出微笑表情包。
同样的,对着手机皱眉,就能发出皱眉表情包。
以上功能来自一款名为 C-Face 耳机的设备,它诞生于康奈尔大学华人科学家张铖的 SciFi 实验室。他近日以通讯作者身份在 UIST 2020(User Interface Software and Technology)会议上发表了这项研究,论文名为《即使戴着口罩耳机也可以跟踪面部表情》(Earphone tracks facial expressions, even with a face mask)。
图 | 张铖(来源:受访者)除张铖之外,论文第一作者还有来自北京大学、目前在康奈尔大学访问的本科生陈拓潮。
论文表示,该耳机可通过观察脸颊轮廓,来连续跟踪面部表情,并能把表情转换为表情符号、或无声语音命令。DeepTech 联系到张铖,并就该耳机和其进行了深入交流。
他表示,C-Face 耳机是实验室系列研究的其中一款设备。该系列研究主要探索信息的获知,如果缺乏信息,计算机就很难理解人类动机和行为。而 SciFi 实验室的长期工作,是致力于提升人机交流,但是第一步,计算机需要获取到信息。
摄像头是获取信息的最常用手段之一,比如在室内外布置摄像头,并且摄像头必须没有遮挡,这就导致传统的 “摄像头方法” 会在某些场景中失灵。比如,在获取脸部表情时,是用摄像头直接 “捕捉” 人脸,但用户在外面时,不可能时刻脸部对着摄像头。
而本次的 C-Face 耳机,正是一款可用于实时获取脸部信息的耳机。其原理是,由于人脸有很多肌肉,肌肉之间相互连接,脸部在做不同表情时,其他肌肉也会被牵动,嘴巴、眼睛和眉毛的位置与形状也会发生变化。基于此,经该实验室的设计后,耳机可通过比较容易捕捉到的肌肉变化来推测出面部表情。
图 | 不戴口罩时戴着耳机做表情由于新冠疫情的影响,研究人员只能在 9 名参与者的情况下测试耳机。尽管如此,表情符号的识别准确度仍然超过 88%,面部提示的准确度超过 85%。
图 | 戴口罩时戴着耳机做表情具体来说,耳机内置两个迷你摄像头,它们可以捕捉到侧面脸颊形状,并通过脸颊形状来判断你的脸部表情。因为人在执行面部特征时,面部肌肉组织就会拉伸和收缩,进而推动和拉动毛孔和皮肤,并对面部肌肉组织的紧绷产生影响,这种影响会导致脸颊轮廓发生改变。
图 | 黑色部分为摄像头在耳机中,摄像头可以传输数据,数据会传输到微处理器(Raspberry Pi),微处理器收集数据,并把它发到计算机上,这时深度学习算法就能开始工作。
深度学习在耳机中的应用
很多情况下,深度学习在数据上的效果,比传统机器学习的效果更好。本次耳机之要想实现根据侧脸和脸颊形状来推断整个面部表情,其实并不容易,因为每个人的侧脸都不一样。
因此,就得通过深度学习来采集训练数据,具体做法是先采集到用户脸颊变化情况,并结合前置摄像头来捕捉面部表情,以标记出相对应的脸部表情。
这相当于摄像头每一帧图片,都有一个对应的面部表情。采集到训练数据后,研究人员就能发掘出不同脸颊形状与面部表情间的复杂对应关系。
图 | 训练深度学习张铖表示,深度学习的好处是能通过复杂学习,来学习一些人类不擅长的技能。有的技能人类很擅长,比如一眼就能识别某些物体。但有些技能人类并不擅长,比如只根据侧面脸颊,我们很难判断出脸部全部形状。
深度学习的能力是,可通过算法找出事物间的复杂联系,从而根据侧部面颊,准确推断出面部表情。
具体工作时,在摄像机捕获图像后,计算机视觉和深度学习模型会对其进行重建。由于原始数据是二维的,因此卷积神经网络(一种擅长对图像进行分类、检测和检索的人工智能模型)有助于将轮廓重构为表达式。
此外,该模型可将脸颊图像转换为 42 个面部特征点,它们分别代表受表情变化影响最大的部位,如嘴巴、眼睛、眉毛等。
这 42 个特征点代表的面部表情,也可用于推测出 8 个表情符号,包括 “无表情”“生气” 和 “ Kissy-face”,另外还有 8 个可用于控制音乐设备的静音语音命令,如 “播放” ,“下一首” 和 “音量增大” 等。
图 | 静音语音命令相比传统方法用前置摄像头来识别表情,C-Face 耳机的独特优势是戴着口罩也能被耳机捕捉到表情,即摄像机无需对着人脸,只需观察从耳朵到侧面脸颊的形状就能识别表情。
因为即使你戴着口罩(超大口罩除外),侧面脸颊形状并不会发生巨大改变,这时深度学习仍然可以工作。
图 | 带上口罩时,深度学习依然可以工作做个嘴型就能发出指令
本次研究还展示了 C-Face 耳机的两大功能:无声语音识别和前文的输入表情包。
无声语音识别指的是,一般的语音识别,都是通过声音来识别。如果不通过声音,是否也能识别?因为,假如你在开会、看电影等场合,突然说话就会很奇怪。再就是,当周围有很多噪音,即便说话也无法识别。
而 C-Face 耳机可通过分析用户表情,来识别沉默的语音指令。这一功能的常见应用场景有,当你跑步时只需做个嘴形,相关智能设备就能以非常私密的方式,来获悉你的指令。
另一个可以想象的应用场景是健康预测,张铖表示,未来该耳机有望连续记录表情。获得大量表情数据后,就可获知用户每天的心情状况。这样大量的情绪信息,还可帮助计算机了解用户的精神健康状况。
两款耳机:入耳式和头戴式
本次耳机分为两款:入耳式和头戴式,功能上它们非常类似。张铖表示,它们所属项目都叫 C-Face,该项目并不局限于某一种特定的设备,只是在本次论文中展示了入耳式耳机和头戴式耳机。
唯一的区别是,两种耳机的摄像头位置略微不同。头戴耳机相对大一点,有较大空间放摄像头。
谈及耳机是否可用于 VR 游戏,张铖表示,经常有人问他这个问题,而他的答案一直是 Yes or NO。
即当然可以用在 VR 上面,但以他了解到的最新技术来说,VR 眼镜已有更好的解决方案。
VR 眼镜本身已经很大,通过在上面加设备来捕捉人的表情,此前已经有人做过。而 C-Face 耳机的好处是它非常小,日常可以进行穿戴。因此,他觉得 VR 眼镜不一定是 C-Face 耳机最核心的爆点。
他举例称,该实验室的耳机可以潜在地提供视频聊天功能。现在的视频聊天,都需要用户面前放置一个摄像头 (桌子上或者手举着)。
但如果用耳机来聊天,耳机自己就能捕捉你的面部表情,你也不需要把摄像头对着脸,你的朋友时时刻刻都能看到你的脸,包括走路时、开车时、甚至做饭时都可以跟人聊天。
解决功耗问题,就能加速落地
谈及商业落地,张铖表示本次论文发表后,有厂商已经和他们联系讨论一些初步的合作可能性。但想在短期内实现到现有设备,最需要解决的仍然是可穿戴设备上的功耗问题。而这一难题,超出了该实验室的能力,因此需要工业界投入资金去优化功耗问题。
目前的耳机,是研究人员买来零件组装的,摄像头可以选配,只是价钱和分辨率会有区别。在零件的选择上,他们未做过高要求,目的是让设备更快速落地成产品。
他认为,该实验室做这款设备,更多是着眼于未来。他们做研究的目的,更多是描述研究人员眼中的未来可能性。
张铖表示,未来的摄像头可能会变得非常小、功耗也非常低。尽管现在的耳机只是实验室设备,但是如果能耗问题得以解决,它有可能在 5 到 10 年后实现应用。
如果想把小型摄像头利用到现有设备上,能耗是个很大的问题。因为,摄像头会耗电,处理摄像头数据也会耗电,这是该设备的最大局限性。
就落地为产品来说,头戴式耳机短期内可能相对方便一点,因为它可以放置更大的电池。对于入耳式耳机,该实验室未来也会寻找更加低功耗的方法来解决问题。
因为如果把摄像头装在耳机上,那么摄像头的耗电量肯定比耳机多。这种情况下,无论产品有多么酷炫,如果使用十分钟就没电了,也不会有人愿意购买。
如果想快速推出该耳机,可能只能先实现一部分功能,因为工业界做产品都有一个提前周期,比如要想现在发布一款产品,可能两年前就得开始规划。
与此同时,该实验室并不局限于耳机,他们关注的是 “无处不在的计算和人机交互”,未来还有可能研发出智能耳环、智能衣服,而他们的愿望就是让似乎无法智能的物体也变得智能起来。
- 1 重磅:大佬刘益谦重仓坚守这只股4年
- 2 50场创业板上市会问得最多的是什么?“上...
- 3 阿里健康:上半年营收增长74%至71.6...
- 4 第二波医用耗材集采风暴要来?这些上市公司...
- 5 小米Q3业绩创历史新高 却为何股价大跌?
- 6 国际油价创下近3个月新高 后市能否延续强...
- 7 险资前三季股票投资收益1361亿元 收益...
- 8 侃财:老美真的不识货
- 9 押注理想汽车暴赚90亿 浙江资本大佬王相...
- 10 不缺钱的中公教育 为何仍定增发债60亿?
- 11 每日复盘:北上资金净流出15.69亿元 ...
- 12 酿酒行业领跌 大单抛出超10亿元五粮液
- 13 政策驱动特高压板块或迎跨年度行情 逾1....
- 14 沪指回调失守3400点 机构建议把握结构...
- 15 人工智能背后的“人工”:数据标注时薪缩水...
- 16 摩根大通因财富管理部门不当行为被罚2.5...
- 17 机构调研季最新总结:内资依旧偏爱科技医药...
- 18 美国第三季度GDP环比折合年率修正值为3...
- 19 中数智汇无专利“闯”科创板 旗下公司却连...
- 20 当事人辟谣:网传《致福晟集团全体跟投员工...
- 21 这家卖保温杯的“夫妻店”闯关创业板 主要...
- 22 新氧发布Q3财报:平均月活跃用户870万...
- 23 1200亿汽车巨头3个月股价翻倍 长安汽...
- 24 粤开策略:周期回调 后续关注两方面因素
- 25 芯片股大豪科技买红星二锅头:消息发布前涨...
- 26 北京将出台户外广告、牌匾标识新规:拒绝“...
- 27 趣活将于12月3日美股盘前公布Q3业绩
- 28 年报审计违规突显管理漏洞 积重难返的苏泊...
- 29 年报审计违规突显管理漏洞 积重难返的苏泊...
- 30 天音控股:拟对星盟信息增加投资金额至5亿...
- 31 2020年11月26日涨停板早知道:七大...
- 32 暴跌!黄金考验1800美元支撑,四个月下...
- 33 华为罕见发声:不造整车 A股小伙伴嗨了
- 34 大豪科技一杯二锅头 呛得股民眼泪流
- 35 高盛:预计新冠疫苗最快12月获紧急使用授...
- 36 如涵控股收到初步非约束性私有化要约 盘前...
- 37 济南多个楼盘都有人脸识别 看房“避免被拍...
- 38 康跃科技闪崩20%跌停:拟并购切入健康产...
- 39 大连圣亚1.79亿诉讼 牵出原商业管理部...
- 40 红星二锅头借壳上市?提前上涨被指内幕交易...
- 41 A股资金“醒酒”了?14天翻倍妖股青青稞...
- 42 南方轴承高位跌停 百亿私募嘉恳资产为第四...
- 43 红星二锅头拟借壳大豪科技 公布前日放量涨...
- 44 小米高管称“得屌丝者得天下” 小米回应:...
- 45 闻达于资本市场 中国物业企业凭什么?
- 46 沙钢股份跌停 国盛证券今日刚给"...
- 47 研报不是想发就能发 行业首张未审核发研报...
- 48 证监会:完善证券行业反洗钱监管体制机制
- 49 苏宁30亿回购债券、年内二次涨薪 能否化...
- 50 深圳一天卖地340亿占年度财政收入3.6...
- 51 IPO材料错27处公司的投行东莞证券 年...
- 52 美国服饰零售商Gap跌超10%,当季净利...
- 53 中概股云集涨超30%,宣布与抖音签署合作...
- 54 北京航空航天大学蔡维德:数字货币带来科技...
- 55 格兰仕诉新宝侵犯其微波炉技术商业秘密 非...
- 56 53亿负债竟然变成41亿利润 雅居乐:摩...
- 57 “煤飞色舞”行情小憩 北向资金趁机抢筹这...
- 58 电子行业业绩分化明显 部分公司增长乏力
- 59 华为造车传闻又起:多股股价剧震龙头跌停 ...
- 60 大股东减持套现、关注函连夜下发 青青稞酒...
- 61 马斯克:特斯拉柏林超级工厂将成为全球最大...
- 62 美股散户继续狂欢:两日交易量同比暴增72...
- 63 国信证券总裁2021年投资策略会演讲:科...
- 64 广发宏观策略联合行业:RCEP中的机遇与...
- 65 濠江机电惊魂5分钟:超1500万股卖单 ...
- 66 内衣市场融资潮与关店潮齐飞 维密、都市丽...
- 67 蚂蚁旗下小贷公司200亿ABS融资计划获...
- 68 京沪高铁启用动态票价 哪些车次涨价了
- 69 国际航空运输协会:新冠肺炎大流行给航空业...
- 70 奇葩商标容易火?看上市公司怎么玩的
- 71 1年狂赚4.5亿却被疑收智商税 “盲盒王...
- 72 有机硅DMC再暴涨:机构看涨至2021年...
- 73 汇丰控股:董事会批准自12月22日从巴黎...
- 74 稀土价格持续上涨 相关公司或受关注(附股...
- 75 卖火盆年收1.5亿 雅艺科技能否成功冲刺...
- 76 医用耗材板块持续下跌中 专家:未来采集会...
- 77 数字化浪潮来了:头部券商都在提"...
- 78 周黑鸭续跌8%创逾三个月新低 暂现三连阴...
- 79 天信投顾:区间压力 短线上再度进入轮回周...
- 80 爱康医疗跌逾13% 人工膝关节集采进度和...
- 81 创业板指下跌2.22% 两市成交额超86...
- 82 半年提价四次、累涨1600元 白卡纸还能...
- 83 "聪明钱"午后转流出...
- 84 新能源车概念大热龙头八天七板 造车新势力...
- 85 卖手机重回前三的小米 能否拿稳欧洲市场这...
- 86 沪指收跌1.19% 汽车整车板块涨幅居前
- 87 药明巨诺-B现跌超9% 较招股价仅高不足...
- 88 物业股连续多日暴跌:第一服务跌9% 世茂...
- 89 康芝药业:IPO募投项目几乎全部折戟 画...
- 90 智飞生物:疫苗龙头名不副实 本质上是一家...
- 91 套牢BAT巨头三年的联通混改 问题出在哪...
- 92 李子园:经营业绩依赖单一产品 对恒天然的...
- 93 逾25家个股跌幅超9%:高位股延续退潮 ...
- 94 红星二锅头、北冰洋拟曲线上市 80亿大豪...
- 95 17.93亿元难倒国瑞置业 放弃增资8家...
- 96 体育用品股普跌 李宁跌近6%安踏跌超5%
- 97 高盛:将阿里巴巴列入确信买入名单 目标价...
- 98 119期老铁双色球预测奖号:红球胆码推荐
- 99 张继科工作室回应恋情传闻:是好朋友 散了...
- 100 Netflix持续加码印度市场 能否为其...