|
竞技宝官网app·逼真到恐怖小姐姐挤眼挑眉五官乱飞3D化身全新算法秒杀谷歌【新智元导读】谁能想到,某天和你聊天的那个人竟是一个AI。来自TUM等研究人员提出了一种全新算法NPGA,能够生成高保线D头像,表情逼真到让你怀疑自己的眼睛。 如此厉害的3D头像生成,完全不输小扎此前带着Quest 3 Pro做客「元宇宙」播客的逼真数字化身。 最近,来自德国慕尼黑工业大学、伦敦大学学院等研究团队提出了全新算法——NPGA,可生成高质量3D头像。 而NPGA的创新在于,采用了高斯点云的方式,即通过无数个点组成3D人像形状,让渲染更加高效、逼真。 另外,研究的另一个创新在于,利用了神经网络模型——「神经参数化头模型」(NPHM)来捕捉人脸细微表情的变化,由此3D数字化身可以更真实模拟人类表情。 最后,为了增强数字化身的表现力,研究人员还对潜在特征和预测动态提出了「拉普拉斯项」(Laplacian terms)。 实验评估结果显示,NPGA比起之前SOTA模型,在自我重现任务中,大约有2.6PSNR提升。 这是谷歌团队新提出的ChatDirector算法,按谷歌宣传的线D虚拟头像可以让在线会议更具「沉浸感」 虽然视频的效果看起来如此逼真,但其实,从现实世界捕获图像并重建3D头像是一个极具挑战性的课题。既需要计算机视觉(CV)准确的识别功能,也需要计算机图形学(CG)的高保真和实时渲染性能。 近年来这两项技术的交叉,让虚拟世界的3D化身越来越逼真。然而,有一个核心问题还没被解决——如何实现控制性。 谷歌ChatDirector的视频之所以十分奇怪,主要原因不在画面渲染,而在面部动作和表情的控制性差,说话时嘴动了但其他部位没有动,有「皮笑肉不笑」的感觉。 Reddit评论区有网友发问,「我什么时候能看到这个模型的开源版本,这样只需要几张照片就能生成类似的3D化身了?」 团队使用的训练集NeRSemble是一个视频数据集,用16个机位拍摄了220多个头部的4700多个高分辨率、高帧率的多视图视频,包含了各种丰富头部运动、情绪、表情和口语。 温馨提示,想点进去看示例视频的话可能需要比较强大的心理素质,里面收录的各种夸张表情可以称之为人类抽象行为大赏。 a) 以MonoNPHM模型为基础,在NeRSemble数据集上使用COLMAP计算的点云追踪MonoNPHM,从而实现几何精确的模型追踪。 b) 提出循环一致性目标来反转MonoNPHM的后向变形场,由此产生的前向变形场可以直接兼容基于光栅化的渲染。 c) NPGA由规范高斯点云和MLP组成,包含蒸馏过的先验网络F进行前向变形,以及网络G学习细粒度的动态细节。 d) 通过为每个基元(primitive)附加潜在特征,将变形场的输入提升到一个更高维的空间,从而可以更准确地描述每个基元的变形行为。 之前的头部重建工作大多会使用3D可形变模型(3D Morphable Model),使用主成分分析(PCA)学习几何图形的表示,将面部识别和表情变化的参数空间分开。 尽管3DMM的参数空间足够紧凑,但论文作者认为,其底层的线性本质限制了表达空间能够实现的保真度。 论文同时表示,底层表达空间对于虚拟人的质量有至关重要的作用,不仅影响可控性,而且决定细节清晰度的上限。如果底层的表达不充分,很有可能在优化模型时导致过拟合。 因此,团队使用了3DMM的改进版——NPHM(Neural Parametric Head Models,神经参数化头部模型),从多视角的图像序列中追踪并提取身份识别的隐向量z_id和表情代码z_exp。 比较遗憾的是,这项研究只专注于重建头部,屏蔽了数据集中的躯干部分,因为没有包含在NPHM提取出的z_exp的表达空间内。 ,虽然它本身是一个静态特征,但可以为每个基元的动态行为提供语义信息,起到了一种类似于位置编码的作用。 其中,模型F的训练和使用是这篇文章的核心创新之一。首先让F在NeRSemble数据集中20个人的图像序列上进行训练,之后会将这个网络运用在所有虚拟化身的重建中。 基于A_p完成屏幕空间的渲染后,团队还提出使用一个CNN网络提升潜在图像的细节表达,取代了用超分辨率处理。之后的消融实验也证明了CNN对性能提升的有效性。 其二是自适应密度控制(Adaptive Density Control),这是3DGS成功的核心因素。使用启发式的方法,在静态场景下,对可能冗余的高斯点云密度进行剪枝处理。 有趣的是,GHA_NPHM的性能比GHA稍差,这表明仅使用MonoNPHM表达代码,并不能立即提升性能。 相反,研究人员假设如果没有NPHM的运动作为初始化,NPHM的潜在表达分布可能会,提供比BFM的线性混合形状更复杂的训练信号。 为了证明算法的现实世界适用性,图6显示了,研究人员利用MonoNPHM的单目RGB,来追踪高保真化身动画。 在最后的消融实验中,为了验证NPGA的几个重要组成部分,研究人员通过使用三个受试者进行了消融实验。消融的定量和定性结果分别见表2和图5。 如果不利用全高斯特征(Vanilla),3D头像就无法呈现出非常精细的表情,包括眼睛和下齿等复杂区域。 此外,实验还证明了,默认的点云密集化策略,会抑制细节的重建,因此使用自适应密度控制(ADC)的策略非常必要。 下表说明了,使用正则化策略可以显著缩小训练序列(NVS)和测试序列(自我重现任务)之间的泛化差距。 研究人员表示,NPGA创建的虚拟化身的可控性、重建质量,从根本上讲,会受到底层3DMM表达空间的限制。 竞技宝官网app |