今日跨境指数:微软推出文本转语音化身工具 Azure AI Speech

作者:微软、PYMNTS 责任编辑:Peak 发布时间:2023-11-16

美国时间11月15日,微软宣布推出文本转语音化身工具Azure AI Speech公共预览版,可用于培训视频、产品介绍、广告、虚拟销售代理、人工智能教师、虚拟人力资源(HR)助理等场景。

美国时间11月15日,微软宣布推出文本转语音化身工具Azure AI Speech的公共预览版,该技术允许用户通过文本输入创建会说话的化身视频,并使用人类图像构建实时交互机器人。

据微软介绍,文本转语音化身系统是一项具有视觉功能的文本到语音功能,使得客户能创建2D逼真化身说话的合成视频。其神经文本转语音化身模型是通过基于人类视频录制样本的深度神经网络进行训练,化身声音由文本转语音时使用的语音模型提供。为此,其文本转语音化身功能可用于培训视频、产品介绍、广告、虚拟销售代理、人工智能教师、虚拟人力资源(HR)助理以及其他应用程序和用例。

微软表示,传统的视频内容创作需要大量时间与预算,包括搭建视频拍摄环境、拍摄视频、编辑等。通过文字转语音化身,用户可以更高效地创作视频——用户只需通过文字输入即可使用头像构建培训视频、产品介绍、客户感言等内容,能够较大地提升用户创作速度。而且,随着 Azure OpenAI 服务和神经文本语音转换的发布,交互式对话比以前更加自然。

如以创建虚拟交互化身充当户外装备在线商店的虚拟销售代理为例,可以提供以下功能:

支持客户使用多种语言与虚拟销售代理进行口头对话;利用Azure 开放AI服务 GPT -3.5模型可响应客户查询;自动确定何时在产品知识库中启动搜索或使用Azure OpenAI服务函数调用执行数据库事务;只要有足够的库存,虚拟销售代理会实时执行业务交易(例如订购产品)等。

(来源:微软)

又如以视频内容创作应用为例:

借助微软的Azure AI Speech新工具,用户可以从使用纯文本格式或语音合成标记语言 (SSML) 的化身说话脚本开始。SSML 允许用户微调化身的声音,包括发音、品牌名称等特殊术语的表达,以及挥手或指向某个项目等特定手势。Speech Studio的音频内容创建工具则提供了直观的用户界面,可以为用户化身视频创建 SSML 输入文件。

准备好说话脚本后,用户可以继而使用 Azure TTS 3.1 API 来合成想要的化身视频。除了 SSML 输入之外,用户还可以指定化身的性格和风格(例如站立或坐着)以及所需的视频格式(例如透明背景)。Speech Studio上的文本到语音化身工具还提供了一个无代码选项来创建化身视频。

到了内容素材组合创作层面,Azure AI Speech支持用户将内容图像或带有文本、插图、动画等的视频添加到最终的化身视频中,并支持高分辨率视频导出。

最后,该工具还支持结合用户资产(包括化身视频、内容和背景音乐等可选元素)构建丰富的视频体验。用户可以使用 FFmpeg 工具或 Microsoft Clipchamp 等视频编辑器来完成,以获得更多控制,且使用视频编辑器还提供了一种直观的方法来微调视频的时间、添加引人入胜的效果和动画。

(来源:微软)

据了解,微软Azure AI Speech提供了两种单独的文本到语音化身创建类型:预构建的文本到语音化身和自定义文本到语音化身。

其中,在预先构建的文本转语音化身功能上,Microsoft 在 Azure 上为其订阅者提供预构建的文本语音化身作为开箱即用产品,这些化身能够根据文本输入说不同的语言和声音,用户可以从各种选项中选择一个头像,并用它来创建具有实时化身响应的视频内容或交互式应用程序。

在自定义文本转语音化身功能上,客户能够为其产品或品牌创建个性化化身——可以上传自身虚拟人物视频,该功能将使用客户上传视频来训练自定义虚拟人物说话的合成视频。客户还可以为他们的化身选择预先构建的或自定义的神经语音,且如果同一个人的声音和肖像同时用于自定义神经语音和自定义文本语音化身,则化身将与该人非常相似。

但当前微软有意限制用户对该工具的访问。微软表示,其致力于推行负责任的人工智能工具,该工具还仅在某些用例中可以通过注册,旨在保护个人和社会权利,并防止有害的深度伪造与误导性内容。

(来源:微软)

【原创申明】为了更好保护支持原创内容和对忠实读者负责,本网站跨境阿米SHOW(网站地址:www.amishow.com)及公众号跨境阿米SHOW(微信号:amishow321)刊载的包括文字、图片、音频、视频等所有内容,除签署正式付费转载协议伙伴外,禁止任何形式的复制、转载、修改或者以其他方式使用本网站或本公众号的内容。本网站或本公众号部分引用资料只代表原作者意见,不代表本网站www.amishow.com或者本公众号『跨境阿米SHOW』任何立场,如发现本站文字存在版权疑问,请联系我们「微信号:amishow01」「邮箱copyright@amishow.com」处理。

发表评论

请先登录后参与评论

已有

{{ item.user_info.display_name }}

{{ item.comment_content }}
{{ item.show_time }}

推荐视频