翻译官

首页 » 常识 » 问答 » 百度大脑强势领跑,AI技术红利加速行业智
TUhjnbcbe - 2023/5/29 21:20:00

北京时间8月20日,百度发布了二季度财报,财报数据显示,百度APP、智能小程序、小度助手等各项业务保持了快速增长。

正如百度董事长兼CEO李彦宏所言:「AI领域,我们提前布局并持续投入多年。在产业智能化浪潮来临之际,百度正处于前所未有的最佳位势」,百度各项业务的快速增长,离不开AI技术的加持,而百度AI技术也在过去一个月里加速前进,继百度AI开发者大会展示各种AI新技术之后,短短一个多月,百度又在自然语言处理、机器翻译、深度学习开源平台等方面取得一系列突破进展。

根据媒体报道,MRQA阅读理解国际评测在上周落下帷幕,百度最终以平均F1值72.55%,超出第二名近两个百分点的绝对优势夺得冠*;与此同时,令行业惊艳的ERNIE2.0全新发布,全球首个上下文感知的机器同传模型DuTongChuan(度同传)也正式亮相;而在刚刚结束的WMT国际机器翻译大赛上,百度机器翻译团队获得中英文翻译的冠*。

这一系列技术突破反映了百度在AI基础技术研究领域的攻坚能力,更重要的是,这些技术不仅将赋能百度系的产品,也通过开源、开放平台等方式释放技术红利,赋能各行各业。

AI基础研究的重磅突破

比尔·盖茨曾将自然语言处理(NLP)比作「AI皇冠上的明珠」,而在自然语言处理的范畴里,问答阅读理解(MachineReadingforQuestionAnswering)与机器翻译(MachineTranslation)则是近年来两个热门的研究领域,前者要解决机器如何理解人类语言的行业难题,后者则肩负着「重建巴别塔」的重任,打破不同语言之间隔阂,无论技术突破难度还是产业价值都吸引着行业巨头们的注意。

百度在这两个热门技术领域取得不小的突破。

首先,在自然语言处理领域顶级学术会议EMNLP举办的MRQA(问答阅读理解)竞赛中,增加了一个极其困难的挑战:阅读理解模型的泛化能力。

所谓模型泛化能力,也就是考察参赛团队模型对于未知数据的预测能力,这不仅提升了测试难度,也将过往只能停留在实验室特定场景的能力延伸到了工业界应用之中。

规则要求,参赛团队需要综合利用6个训练集训练一个统一的阅读理解模型,之后在12个分布各异的数据集上测试模型效果,其中包括6个在训练阶段完全没见过的未知来源数据集,简言之,它考验的是哪一支团队的模型具备真正落地的潜力。

百度在此次竞赛中采用「预训练-微调」的模型训练架构,整个过程中,百度飞桨(PaddlePaddle)起到重要作用,比如在利用大规模无标签语料对语言模型进行预训练的过程里,采用飞桨深度学习框架预训练模型,能够获得比官方基线更好的效果。

另外,该团队还将飞桨多任务学习框架应用到模型微调过程中,利用其它自然语言处理任务标注数据提升问答效果,同时还引入了防止灾难性遗忘的机制以及提升模型多领域适应性的机制,在提升模型速度的同时,也大大提升了问答的准确率。

正是这一系列技术创新,百度深度问答团队从包括哈工大讯飞联合实验室、苹果等一众知名公司(团队)里脱颖而出,最终以平均F1值、超出第二名近两个百分点的绝对优势获得第一名,同时,在全部12个测试数据集中的10个上均排名第一。

其次,百度在机器翻译,尤其是同传领域取得重磅突破。其发布最新语音到语音的机器同传系统DuTongChuan(度同传),将机器翻译的技术突破应用到了特定领域。

度同传基于百度自研的全球首个上下文感知机器同传模型,这个模型的一大突破是提出了语义信息单元(InformationUnit,简称为IU)的概念,可以将实时语音对话进行IU切分并作为翻译单元进行翻译。据媒体报道,这一灵感来自于人类同传译员,在翻译的时候,同传人会将听到的内容以语义块为单位进行翻译。

在相关测试中,百度翻译团队邀请了3个具有不同工作年限(3-7年)的同传译员,模拟真实的同传场景,利用百度发布的全球首个中文-英文演讲场景语音翻译数据集(BSTC)进行测试,与三位人类同传译员相比,度同传的表现令人眼前一亮。

百度机器翻译的技术突破还体现在最新的业界公认的国际顶级机器翻译比赛WMT(全称是WorkshoponMachineTranslation)中。根据媒体报道,在此次比赛中,百度的机器翻译团队击败了微软、字节跳动、爱丁堡大学等国内外知名团队,凭借在数据处理、模型架构、数据增强、模型集成等方面的创新性突破,获得中文——英文翻译的第一。

细心去看这次比赛,参与中文——英文翻译的团队最多,竞争也更激烈,百度能够傲视群雄的根本还是其强大的技术积累。特别是在翻译模型方面的创新,在行业主流的神经网络翻译模型Transformer基础之上,创新性地提出了三个改进模型,包括用于预训练的「Pre-trainedTransformer」、提取更多维度特征的「DeeperTransformer」以及增加前向网络节点的「BiggerTransformer」,这三个模型显著提升了翻译质量,成为此次比赛的一大决胜利器。

开源开放赋能行业升级

上文所展现的各种技术突破,无疑将成为百度产品线升级、创新的技术保障,但评价一家AI公司的标准并非局限在其AI技术到底有多先进,还需要加入另一个重要标准:这家AI公司是否对行业发展有贡献,比如是否愿意分享自己的技术成果?是否愿意将研究成果开放出来?是否愿意提供技术开放平台从而加速行业发展?

而百度在AI领域的众多举措,则进一步强化了其作为行业技术创新者的责任。

还是以自然语言理解领域为例,年3月,百度推出NLP模型ERNIE,其在中文任务中全面超越当时的行业标杆模型BERT,引发行业

1
查看完整版本: 百度大脑强势领跑,AI技术红利加速行业智