百度新专利:虚拟对象驱动方法、深度学习网络训练方法及装置
近日,北京百度网讯科技有限公司的“虚拟对象驱动方法、深度学习网络的训练方法及装置”专利获授权(申请公布号:CN115345968A)。
根据专利摘要显示的信息,则以专利涉及人工智能相关的深度学习、计算机视觉、虚拟 / 增强现实和图像处理技术领域,可应用于虚拟数字人、元宇宙等场景。
具体实现方案包括:响应于获取的语音数据,确定初始语音特征;对初始语音特征进行时序增强处理,得到目标语音特征;基于目标语音特征和目标虚拟对象的基准面部图像,生成唇形图像序列;根据唇形图像序列,对目标虚拟对象进行驱动,使目标虚拟对象执行与语音数据匹配的唇部动作。
简单来说,依靠该专利,基于人工智能深度学习,虚拟数字人在发声时,嘴唇部分的肌肉动作能够更为贴近真人,从而实现整体拟真度的提升。
在后续,基于这一技术,以及百度公布的类ChatGPT项目文心一言(ERNIE Bot),百度有望推出高度拟真,且可以与用户自然对话的虚拟形象。