GLUE榜单世界首次突破90大关百度ERNIE超谷歌微软问鼎第一( 二 )_刷屏一整年的AI技术

2018年底以来，以BERT为代表的预训练模型大幅提升了自然语言处理任务的基准效果，取得了显著技术突破，基于大规模数据的预训练技术在自然语言处理领域变得至关重要。众AI公司纷纷发力预训练领域，相继发布了XLNet、RoBERTa、ALBERT、T5等预训练模型。百度也先后发布了ERNIE 1.0、ERNIE 2.0 ，在16个中英数据集上取得了当时的SOTA 。

从GLUE排行榜上来看， BERT使用预训练加微调的方式，相对过往的基线成绩大幅提升各任务的效果，首次突破了80大关。百度ERNIE此次登顶，成为首个突破90大关的模型。相对BERT的80.5的成绩，提升近10个点，取得了显著的效果突破。

ERNIE 2.0 持续学习的语义理解框架支持增量引入不同角度的自定义预训练任务，通过多任务学习对模型进行训练更新，每当引入新任务时，该框架可在学习该任务的同时，不遗忘之前学到过的信息。此次登顶的模型主要基于ERNIE 2.0持续学习语义理解框架下的系列优化。

据悉，百度ERNIE 2.0的论文（https://arxiv.org/abs/1907.12412）已被国际人工智能顶级学术会议AAAI-2020收录， AAAI-2020将于2020年2月7日-12日在美国纽约举行届时百度的技术团队将会进一步展示近期的技术成果。