分享热点新闻
打造优质自媒体!

CVPR峰会选择了网易伏羲,的三项研究:人工智能感知表达的能力将达到人类水平

2月28日,人工智能顶级会议CVPR 2021(计算机视觉与模式识别大会)公布论文录取结果,在网易伏羲,选出3篇论文

其中,网易伏羲,虚拟人团队发布的一项研究引起了人们的关注。本研究提出了一种创新的人类表情编码提取方法,大大提高了人工智能对人类表情感知的准确性。随着这项技术的发展,AI感知人类表情的能力甚至有望在未来超过人类感知的平均水平。

这项技术的应用场景非常广泛,包括测谎、人格评估、自闭症检测、绩效评估等诸多与面部表情相关的领域。

CVPR峰会选择了网易伏羲,的三项研究:人工智能感知表达的能力将达到人类水平 科学快报 第1张

过去学术界对人的表情的认识和描述一般起源于两种传统理论:一种起源于150年前的达尔文时期,学者们从心理学出发,基于快乐、惊讶、愤怒、悲伤等有限的情感范畴来描述人的表情;另一个起源于20世纪70年代末。著名心理学家保罗艾克曼博士从解剖学的角度,根据面部肌肉运动,用27种动作单位描述了人类的表情。

从数量上看,传统理论对人的表达的描述极其有限。伏羲, 网易,的人类表达编码提取方法借助人工智能进一步突破了这一瓶颈。AI通过学习大量的面部表情数据,可以无止境、无限制地感知人类的表情。

为了让AI更好地理解人类的喜怒哀乐,技术人员还需要大量细粒度的、人工标注的面部表情数据作为迭代算法参数,以进一步提高表情编码的准确性。因此,伏羲,网易正在开发一个基于游戏的注释小程序,使普通用户能够在游戏过程中轻松参与表情注释,加快了人工智能在人类表情领域的研究和应用。

网易伏羲成立于2017年,是中国从事游戏和文化AI研究和应用的顶级机构。其研究兴趣包括强化学习、图像动画、自然语言、虚拟人、用户画像、大数据平台等领域。据了解,CVPR论文展示的部分科研成果已成功登陆网易多个产品,未来网易伏羲市将继续以科技落地为导向,以科研成果推动产品创新。

附|网易伏羲三篇入选CVPR2021论文简介:

1、 《去ID信息的表情编码》

Learning a Facial Expression Embedding Disentangled from Identity

论文简介:

本文的主要目的是获得一个与身份信息无关的紧凑的面部表情表示。

为此,本研究中,网易伏羲虚拟人团队首次提出,将表情特征建模为从ID身份特征出发的一个差值向量,以这种显式方式去掉ID的影响设计了一个伪孪生结构的网络来学习这种差异。同时,为了加强网络在深层的学习能力,本研究采用高阶多项式方法代替一般的全连接层来完成从高维到低维的映射。此外,考虑到不同的标注器有一定的标注噪声,本研究增加了众包学习不同标注器的偏差,使学习到的表达式表示更具鲁棒性

定性和定量实验结果表明,该方法超越了前向纠错数据集的前沿水平。同时,在情感识别、图像检索和面部表情生成等方面都有很好的效果。

CVPR峰会选择了网易伏羲,的三项研究:人工智能感知表达的能力将达到人类水平 科学快报 第2张

(文件管道)

下图显示了表达式表示编码在这项工作中的效果。输入查询表达式,通过比较表达式编码的距离,从足够大的人脸数据集中检索一些最相似的表达式。下图显示了TOP5的结果。

CVPR峰会选择了网易伏羲,的三项研究:人工智能感知表达的能力将达到人类水平 科学快报 第3张

(本研究中表达表征的效果)

从图中可以看出,检索到的图像与目标表情非常接近,这表明本研究提出的表情表示编码能够有效地识别目标表情

2、 《基于稠密运动场的高清说话人脸视频生成》 Flow-based One-shot Talking Face Genaration with a High-resolution Audio-visual Dataset

一次性语音人脸合成的目的是给出任意人脸图像和任意语音,合成语音口型同步、眉眼运动自然的高清语音人脸视频。论文简介:之前工作合成的视频分辨率之所以一直受到限制,主要有两个原因:1http://

为了解决上述问题,本研究首先采集了一个野外高清人脸数据集YAD 音视,该数据集的清晰度高于以前的无约束数据集,并且包含的人物标识也多于以前的实验室数据集。

本研究基于高清数据集YAD,将整个方法分为两个阶段:表情参数合成和视频图像合成;在面部表情参数合成阶段,采用多任务方法合成嘴唇运动参数、眉眼运动参数和头部运动参数。在视频图像合成阶段,用密集的运动场代替人脸关键点来指导人脸图像的生成。定性和定量结果表明,与以前的工作相比,本研究可以合成更多的高清视频。下面两张图分别展示了该方法的流程图和视频合成效果。

CVPR峰会选择了网易伏羲,的三项研究:人工智能感知表达的能力将达到人类水平 科学快报 第4张

(文件管道)

CVPR峰会选择了网易伏羲,的三项研究:人工智能感知表达的能力将达到人类水平 科学快报 第5张

(实验合成结果)

目前没有合适的高清视听数据集。2.之前的工作使用人脸

特征

伏羲,网易,与密歇根大学合作,提出了从图像到绘画的转换方法。这种方法可以生成风格可控的生动绘画。与神经风格转移法不同,网易和伏羲在参数化的条件下处理这一艺术创作过程,产生一系列具有物理意义的笔刷参数。

CVPR峰会选择了网易伏羲,的三项研究:人工智能感知表达的能力将达到人类水平 科学快报 第6张

(借助神经微分渲染器,AI可以创作出相似度高、风格独特的画作)

由于经典的矢量绘制是不可微的,我们设计了一种新的神经可微绘制器。它可以模仿矢量渲染器的行为,然后将画笔预测转化为参数搜索过程,即最大化输入和渲染输出的相似度。

实验表明,该方法生成的图像在整体外观和局部纹理上具有较高的保真度。该方法还可以与神经风格迁移一起优化,进一步迁移其他图像的视觉风格。