人工智能|全球首个知识增强千亿大模型鹏城-百度·文心发布

作为当前人工智能发展的重要方向 , 预训练大模型已成为 AI 领域的技术新高地 。
12月8日 , 鹏城实验室与百度联合召开发布会 , 正式发布双方共同研发的全球首个知识增强千亿大模型——鹏城-百度·文心(模型版本号:ERNIE 3.0 Titan) 。 该模型参数规模达到2600亿 , 是目前全球最大中文单体模型 , 在60多项任务上取得最好效果 。 同时 , 百度产业级知识增强大模型“文心”全景图首次亮相 , 从技术自主创新和加速产业应用两方面 , 推动中国 AI 发展更进一步 。
现场 , 中国工程院院士、鹏城实验室主任高文 , 百度首席技术官、深度学习技术及应用国家工程实验室主任王海峰共同启动发布仪式 。

人工智能|全球首个知识增强千亿大模型鹏城-百度·文心发布
文章图片

▲中国工程院院士、鹏城实验室主任高文(左)、百度首席技术官王海峰(右)联合发布鹏城-百度·文心
高文院士在致辞中表示 , “预训练模型对整个科学的发展、社会的发展、创新的发展都是非常重要的工具 。 运用这个工具 , 可以帮助做很多人工智能的赋能 , 不局限于某个领域 , 这对人工智能的发展都是一个福音 。 ”
王海峰介绍 , 百度知识增强大模型从大规模知识和海量数据中融合学习 , 效率更高、效果更好 , 具有良好的可解释性 。 从2019年3月发布文心 ERNIE 1.0 , 到最新的产业级知识增强大模型文心全景图 , 既包含基础通用的大模型 , 也包含面向重点领域、重点任务的大模型 , 以及丰富的工具与平台 , 有助于促进技术创新和产业发展 。

人工智能|全球首个知识增强千亿大模型鹏城-百度·文心发布
文章图片

▲百度首席技术官、深度学习技术及应用国家工程实验室主任王海峰发布百度产业级知识增强大模型“文心”全景图
此次重磅发布的鹏城-百度·文心是“全球首个知识增强千亿大模型” , 在机器阅读理解、文本分类、语义相似度计算等60多项任务取得最好效果 , 并在30余项小样本和零样本任务上刷新基准 。
鹏城-百度·文心成功发布的背后 , 得益于鹏城实验室的算力系统“鹏城云脑 Ⅱ”和飞桨深度学习平台的强强联手 , 解决了超大模型训练的多个公认技术难题 , 使鹏城-百度·文心训练效率大幅提升 , 模型效果更优 。 “鹏城云脑 Ⅱ”是国产自主的首个 E 级 AI 算力平台 , 曾在多个国际性能测试上获得冠军 。 飞桨是我国首个自主研发的深度学习开源开放平台 , 研制了端到端自适应分布式训练框架 , 实现多硬件支持 , 并行效率高达90% , 有效支持鹏城-百度·文心千亿大模型高效、稳定地训练 。

推荐阅读