技术|实现商业化部署，寒武纪发布新款AI训练卡MLU370-X8
机器之心发布
机器之心编辑部
2022年3月21日 ， 寒武纪正式发布新款训练加速卡MLU370-X8 。 MLU370-X8搭载双芯片四芯粒思元370 ， 集成寒武纪MLU-Link?多芯互联技术 ， 主要面向训练任务 ， 在业界应用广泛的YOLOv3、Transformer等训练任务中 ，8卡计算系统的并行性能平均达到350W RTX GPU的155% ， 并已实现商业化部署 。
文章图片
寒武纪训练加速卡MLU370-X8
双芯思元370架构
MLU370-X8智能加速卡提供250W最大训练功耗 ， 可充分发挥AI训练加速中常见的FP32、FP16或BF16计算性能 。 寒武纪首次将双芯片四芯粒思元370整合在MLU370-X8智能加速卡中 ， 提供了两倍于标准思元370加速卡的内存、编解码资源 ， 同时搭载MLU-Link?多芯互联技术 。 在YOLOv3、Transformer、BERT和ResNet101训练任务中 ，8卡并行平均性能达350W RTX GPU的155% 。
文章图片
MLU370-X8中整合了双芯片四芯粒思元370
MLU-Link?多芯互联技术
MLU370-X8智能加速卡支持MLU-Link?多芯互联技术 ， 提供卡内及卡间互联功能 。 寒武纪为多卡系统专门设计了MLU-Link桥接卡 ， 可实现4张加速卡为一组的8颗思元370芯片全互联 ， 每张加速卡可获得200GB/s的通讯吞吐性能 ， 带宽为PCIe 4.0 的3.1倍 ， 可高效执行多芯多卡训练和分布式推理任务 。
文章图片
MLU370-X8 MLU-Link 4卡桥接
文章图片
MLU370-X8 MLU-Link 4卡桥接拓扑
训推一体的Cambricon NeuWare交付优秀训练性能
Cambricon NeuWare支持FP32、FP16混合精度、BF16混合精度和自适应精度训练等多种训练方式并提供灵活高效的训练工具 ， 高性能算子库已完整覆盖视觉、语音、自然语言处理、搜索推荐和自动驾驶等典型深度学习应用 ， 可满足用户对于算子覆盖率以及模型精度的需求 。
文章图片
Cambricon NeuWare为思元370系列芯片提供训推一体加速
在Cambricon NeuWare SDK上实测 ， 在常见的4个深度学习网络模型上 ， MLU370-X8单卡性能与主流350W RTX GPU相当；而在多卡加速方面 ， MLU370-X8借助MLU-Link多芯互联技术和Cambricon NeuWare CNCL通讯库的优化 ， 在8卡环境下达到更优的并行加速比 。
文章图片
MLU370-X8 单机8卡部署配置
文章图片
单卡MLU370-X8性能对比
文章图片
8卡MLU370-X8性能对比
测试环境
250W MLU370-X8：NF5468M5/Intel Xeon Gold 5218 CPU @ 2.30GHz/MLU370 SDK 1.2.0
350W GPU：Supermicro AS-4124GS-TNR/Intel Xeon Gold 6130 CPU @ 2.10GHz/Cuda11.2
文章图片
MLU370-X8规格表
MLU370-X8补全思元370系列产品线
寒武纪长期秉承“云边端一体、训推一体、软硬件协同”的技术理念 。 MLU370-X8提供两倍思元370的内存带宽 ， 结合MLUarch03架构和MLU-Link多芯互联技术 ， 将思元370芯片在训练任务的优势充分发挥 。 MLU370-X8定位中高端 ， 与高端训练产品思元290、玄思1000相互结合 ， 进一步丰富了寒武纪的训练算力交付方式；并与基于思元370芯粒(chiplet)技术构建的MLU370-X4、MLU370-S4智能加速卡协同 ， 形成完整的云端训练、推理产品组合 。
MLU370-X8加速卡与国内主流服务器合作伙伴的适配工作已经完成 ， 并已对客户实现小规模出货 。
浪潮信息人工智能和高性能产品线副总经理张强表示：“浪潮跟寒武纪目前在思元370系列产品上合作顺利 ， 携手在互联网、金融、制造等领域逐步落地；MLU370-X8的性能优异 ， 我们期待双方可以继续加强合作 ， 为更多的行业和客户带来优秀的人工智能计算力 。 ”
【技术|实现商业化部署，寒武纪发布新款AI训练卡MLU370-X8】寒武纪用产品向客户印证自己的初心与决心：为人工智能技术的大爆发提供卓越的AI芯片产品 ， 让机器更好地理解和服务人类 。
推荐阅读
- 社交|21世纪的现代技术 在俄乌冲突期间发挥了相当巨大的影响力
- 通信技术|Canalys：2021年中国云基础设施服务市场增长45% 总计达到274亿美元
- 技术|全景线上展厅虚拟展厅,沉浸式和互动式体验比较不错！
- SONY|拆解索尼HT-Z9F音箱系统：采用瑞芯微音频芯片 实现无延迟无线连接
- 检测技术|草莓炭疽病早期检测技术来了
- 电网|这些技术趋势引领全球新电网
- 技术|科技助力 冬奥更精彩
- 图片|好物 | 如何开展高质量阅读？这几款实用好物帮您实现
- IT|押注无人驾驶技术 通用汽车接棒软银扩大在Cruise的股份
- 模型|康奈尔大学团队设计新型人工智能工具，助力纽约州向实现“清洁电力”过渡