猛将|AI再添猛将，全球首个知识增强千亿大模型鹏城-百度·文心发布_模型|训练|文本属性|鹏城|知识

文章图片

这两年AI领域最热的一个词就是大模型，全球的科技巨头纷纷落子。为什么大模型这么热？
我们正在经历第四次工业革命，核心的驱动力就是人工智能。但是在产业初期，不同行业、不同场景对AI的需求既复杂且碎片，同时AI人才也相对稀缺，所以很多企业靠人工去开发AI应用，成本高、效率低、落地慢。 AI成为真正的驱动力，就需要很强的通用性，这就是大模型的价值所在——大模型已成为AI领域军备竞赛的关键。
今天，百度联合鹏城实验室重磅发布双方共同研发的全球首个知识增强千亿大模型——鹏城-百度·文心（模型版本号：ERNIE 3.0 Titan），该模型参数规模达到2600亿，相比GPT-3的参数量提升50% ，在60多项任务中取得最好效果。

文章图片
鹏城-百度·文心模型结构图
鹏城-百度·文心大模型的落地，让中国在AI军备赛中又增加一枚重要筹码。
多方优势打造“核武器” 我们知道， AI取决于算力、算法、数据三个要素，而鹏城-百度·文心大模型在这三要素上都有着不可替代的领先性。

先看算力优势。

鹏城-百度·文心由鹏城实验室提供算力。我们知道， AI对于算力的要求非常高，并不是每个企业都有能力搭建如此强大的算力中心，鹏城实验室就是在这样的背景下成立的、为行业提供强大算力的一个平台。 “鹏城云脑Ⅱ”主要提供人工智能研究必须的计算力资源、存储资源、网络资源、数据资源和研究环境，覆盖人工智能基础研究、重大应用、操作系统、数据资源共享、产业服务等专门研究实验领域。鹏城云脑Ⅱ算力集群是我国首个国产E级AI算力平台，吞吐性能国际领先，蝉联全系统输入输出和10节点规模系统两项世界冠军。如此强大的“鹏城云脑II”成为大模型研发的肥沃土地，文心大模型因为数据量大，对算力要求极高，所以选择与鹏城实验室合作。

文章图片
飞桨超大模型训练与推理

再看架构与算法优势。

大模型的训练和推理对深度学习框架带来很大的挑战，而百度自研的飞桨是国内首个自主研发、功能丰富、开源开放的产业级深度学习平台，在深度学习模型开发、训练、推理和部署等方面，飞桨已可比肩TensorFlow、PyTorch等国际主流框架。飞桨具备开发便捷的深度学习框架、超大规模深度学习模型训练技术、多端多平台部署的高性能推理引擎、产业级开源模型库四大领先技术。