Audio2Face

52次阅读

Audio2Face,一款由ai驱动的应用程序,通过语音生成富有表现力的3D面部动画。Audio2Face 简化了 3D 角色的动画,以匹配任何画外音轨道,无论您是为游戏、电影、实时数字助理制作角色动画,还是只是为了好玩。您可以将该应用程序用于交互式实时应用程序或作为传统的面部动画创作工具。

Audio2Face是如何工作的?

Omniverse Audio2Face 应用基于 NVIDIA Research 的原创论文。Audio2Face 预装了“数字标记”——一个 3D 角色模型,可以用您的音轨制作动画,因此入门很简单。只需选择您的音频并将其上传到应用程序中即可。该技术将音频输入输入到预先训练的深度神经网络中,网络的输出实时驱动角色的面部动画。用户可以选择编辑各种后处理参数以编辑角色的表演。然后,网络的输出驱动角色网格的 3D 顶点以创建面部动画。您在此页面上看到的结果大多是 Audio2Face 的原始输出,几乎没有编辑任何后期处理参数。

Audio2Face 的实际应用:

语言

Audio2Face将能够轻松处理任何语言。我们会定期添加越来越多的语言。查看这些英语、法语、意大利语和俄语的测试。

Misty 动画聊天机器人

在 GTC Spring 2020 上展示的 Misty 是一个交互式天气机器人,在运行时由 Audio2Face 驱动。我们演示了从逼真的人类网格到风格化角色网格的重定向,以用作交互式服务代理。

Omniverse 机械

Audio2Face 在 GeForce 30 系列发布会上亮相,出现在 Omniverse Machinima 演示中。众所周知,面部动画非常复杂且成本高昂。Audio2Face 可自动执行详细的面部动画,使 3D 内容创建过程民主化。

人脸

Audio2Face可以使用任何对话驱动的音轨,并最终能够重新定位到任何3D人脸,无论是逼真的还是风格化的。观看此测试,我们将从 Digital Mark 重新定位到 Rain。

实验角色

生物和外星人

此功能允许您重新定位和驱动奇幻生物和外星人的面部动画。在这里,我们有数字标记推动了外星人的性能。

Audio2Face
收录说明:
1、本网页并非 Audio2Face 官网网址页面,此页面内容编录于互联网,只作展示之用;2、如果有与 Audio2Face 相关业务事宜,请访问其网站并获取联系方式;3、本站与 Audio2Face 无任何关系,对于 Audio2Face 网站中的信息,请用户谨慎辨识其真伪。4、本站收录 Audio2Face 时,此站内容访问正常,如遇跳转非法网站,有可能此网站被非法入侵或者已更换新网址,导致旧网址被非法使用,5、如果你是网站站长或者负责人,不想被收录请邮件删除:i-hu#Foxmail.com (#换@)

正文完
 
Ai开源项目
版权声明:本站原创文章,由 Ai开源项目 2024-02-01发表,共计1106字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。