当前位置:资讯 > 社会 > 正文
陈根:精确复制任何声音,以假乱真只要3秒
2023-01-12 12:39:39 来源: 观察未来科技


(资料图片)

文/观察未来科技

近日,微软研究人员发布了一种新的语音合成AI模型 VALL-E,给出3秒样音就可以精确地模拟一个人的声音。一旦它学会了一个特定的声音,VALL-E可以复制说话者的情绪和语气,即使说话者本人从未说过的单词也可以模仿。

微软称VALL-E为“神经编解码器语言模型”,它建立在Meta于2022年10月宣布的一项名为EnCodec的技术之上。

与其他通常通过操作波形合成语音的文本转语音方法不同,VALL-E从文本和声学提示生成离散音频编解码器代码。它基本上分析一个人的声音,通过EnCodec将这些信息分解成离散的组件,并使用训练数据来匹配它“知道”的声音。

为了合成个性化语音,VALL-E生成相应的声学令牌,条件是3秒注册录音和音素提示的声学令牌,分别约束扬声器和内容信息。最后,使用生成的声学标记与相应的神经编解码器解码器合成最终波形。

简单来说,相比传统模型采用梅尔频谱提取特征,VALL·E直接将语音合成当成了语言模型的任务,前者是连续的,后者是离散化的。传统语音合成流程往往是“音素→梅尔频谱→波形”这样的方式。但VALL·E将这一流程变成了“音素→离散音频编码→波形”。

微软在Meta组装的名为LibriLight的音频库上训练了VALL-E的语音合成能力。它包含来自7000多名演讲者的60000小时的英语演讲,其中大部分来自LibriVox公共领域的有声读物。为了使VALL-E生成良好的结果,三秒样本中的语音必须与训练数据中的语音紧密匹配。

一方面,包括微软语音合成AI模型VALL-E在内的AI语音合成技术的进步,也带来了更多高质量的文本转语音应用程序、语音编辑的应用。合成人声的用途相当广泛,我们熟知的便是手机中的语音助手,用户可通过简单的人机对话,获知天气、路况等实时信息,也可命令手机完成拨号、查询等任务。而如果将VALL·E和ChatGPT结合起来,我们或许很快就能拥有一个更具人性的聊天机器人。

另一方面,由于VALL-E可以合成符合说话人身份的语音,因此滥用模型可能会带来潜在风险,比如,欺骗语音识别或冒充特定说话人。

可以预见,伴随着相关技术的发展,智能语音在个人及商业领域中的应用场景将更加丰富,不断细分的合成语音服务也会给我们带来更多的体验和惊喜。但与此同时,技术在进步的同时也需要预防可能出现的风险,包括从技术角度给技术使用留有余地和退路。

责任编辑:zN_1254