霉霉特朗普飙中文、郭德纲说英文相声……近期,AI应用领域刮起一阵“名人换声”的旋风。网传热门视频中,明星、演员们操着一口流利、地道的“外语”,不仅音色以假乱真,口型也几乎吻合,神情自若,有的甚至讲起方言。
继“AI孙燕姿”“妙鸭相机”之后,“声音克隆”成为AI应用的新名词,而这一次对口语翻译和口型同步的融合,则带来了新变革。梳理发现,市面上已经出现了多款视频语音翻译或口型同步的工具平台,还有语音识别、口型匹配类的开源模型。
据悉,该产品的初衷是为了“消除语言障碍”。不过,专家指出,在开发相关工具应用时,需注意训练数据来源的合法性、模型的透明度、算法的可解释性、违法信息监测等,从合规层面而言,也需警惕生成内容被滥用于“深度造假”、生产虚假信息、个人信息泄露以及被非法利用等产生的伦理风险。
名人AI换声风靡:
声称3分钟生成“没有译制片的腔调翻译”
在哔哩哔哩、视频号、抖音等短视频平台上,“霉霉说中文”“AI郭德纲用英文说相声”等成为热门搜索词,相关视频中,不仅有特朗普、泰勒·斯威夫特、憨豆、埃玛·沃森等等一众国外政客、明星,也不乏蔡明、赵本山、郭德纲等国内知名的相声小品演员。
*各大社交平台上出现的名人换声视频
视频中,有的国内演员操起一口地道的“伦敦腔”,有的外国明星被设定为带有南方口音的普通话,除了中英互换之外,还能转换为日语、西班牙语等多种语言。
声称“没有译制片的腔调翻译”“3分钟,就能让XXX说中文”的,怎么做到的?据了解,这些视频背后指向的则是一款名为HyGn的AI视频工具,创作者只需要上传视频并选择要翻译的语言,就能实现自动翻译、调整音色、匹配嘴型。
南都记者登录该平台尝试翻译一段视频,根据引导,首先上传一段30s~5min的视频,点击翻译视频的按钮就能实现一键生成。上传视频支持英语、西班牙语、法语18种语言,输出视频可以支持英式/美式英语、德语、日语等14种语言。