海量数据|曙光技术圆桌派：分布式是新存储时代的破题密钥
3月24日 ， 在曙光举办的技术圆桌派上 ， 来自业内的多位大咖和专家就数字化转型与分布式存储发展趋势展开讨论 。
【海量数据|曙光技术圆桌派：分布式是新存储时代的破题密钥】
文章图片
从左至右依次为《海峰看科技》创始人-黄海峰、赛迪顾问业务总监-高丹、中科天玑区域拓展部总经理-刘维秦、中科曙光存储事业部副总经理-张新凤 ， 以及远程连线的中国石油化工股份有限公司石油物探技术研究院信息中心技术主管-葛鑫
支撑海量数据
分布式存储该如何应战
伴随着云计算、大数据、物联网等信息技术的快速发展和传统产业数字化的转型 ， 新技术的应用与推广带来海量数据的规模化聚集 。 用户对存储系统的稳定性、性能和弹性扩展能力有着更高的期待 ， 而传统集中式存储烟囱式的部署模式在扩展性和管理上都遇到非常多的挑战 ， 主持人黄海峰在圆桌派一开始向嘉宾们提出了这一问题 。
“2021年 ， 分布式存储和云存储在量和销售额方面的增速分别达到30%和20% ， 相较于传统存储的20%和8% ， 分布式存储远远胜于传统存储 。 ”赛迪顾问业务总监高丹对2021年的存储市场格局做出了总结 。
“面对海量爆发的数据 ， 以前传统集中式的存储已经不是最优选了 。 ”中科曙光存储事业部副总经理张新凤表示 ， “对分布式存储本身来说 ， 破解海量数据存储难题 ， 也是有非常多的挑战 。 ”
首先 ， 就是解决海量数据的存储 。 海量不简简单单的是设备的堆集 ， 技术难度是指数级的增长 。 要看厂商是否有丰富的超大部署规模和实施经验；第二是能对5G、AI、区块链等新技术有更好的支持 。 这就需要统一协议的支持 ， 打通从数据的采集、应用、分析到归档的链路 ， 做到异构数据的融合；第三 ， 针对用户实际应用 ， 在产品性能和功能上做到深度的定制 。
自研优势尽显
曙光分布式存储领跑市场
“存储的市场 ， 是一个需要很深的技术积累和很大资金投入的市场 。 曙光推出的产品是自研的 。 自研的路线 ， 对客户节约成本角度来说 ， 还是对我们自己安全的角度来说 ， 都是一套比较好的技术路线 ， 我也希望我们自己国家的自研路线走的越来越好 。 ”高丹表示 。
文章图片
“曙光做存储 ， 一开始就选择了分布式存储路线 。 ”张新凤介绍 ， 2009年 ， 曙光推出第一代全自主研发的分布式存储系统ParaStor ， 基于POSIX协议 ， 在做数据处理的时候有很好的性能体验；2013年 ， 数据中心已经开始比较规模化的部署 ， 这个时候我们完成了对NAS共享的支持；2019年 ， 基本各个行业都在普及云化 ， 我们为了解决业务上云的问题 ， 又推出分布式块协议 。 现在 ，曙光分布式存储系统ParaStor完成了对文件、块、对象和大数据协议的支持 ， 基本覆盖所有应用场景 。
基于自研优势 ， 曙光可根据不同行业用户的不同需求 ， 进行代码级的定制化设计与开发 ， 产品功能和性能指标可大大优于同类产品 。 “比如我们的分布式对象 ， 单桶就可以实现4K小文件千亿级别的存储 ， 一个系统TPS的聚合性能可以达到百万级 ， 这种水平是业内一流的 。 ”张新凤说 。
文章图片
曙光成就产业数字化转型
最佳实践
“分布式的应用越来越广泛 ， 但细化到具体的应用场景里 ， 又会发现应用需求是千差万别的 。 ”面对当前分布式存储多样化的应用需求 ， 张新凤表示“要快速的响应市场需求 ， 推出合适的产品 ， 首先要有强有力的团队支撑 ， 其次是对行业的深耕和理解 ， 基于以上两者的优势 ， 对用户推出定制化的产品及运维服务 。 ”
张新凤介绍 ， 在某科研机构气候模拟和科学研究项目中 ， 为了帮助用户解决业务流程时间过长的问题 ， 曙光集结专业研发团队为客户定制加速技术 。 在计算和存储节点之间 ， 配备了大内存和高速NVMe的性能加速节点 ， 把大量4K非对齐IO在这个节点上先做聚合 ， 再到存储上面 。 最后用户实测使用性能提升8到10倍 。 “对存储技术有了一定的积累 ， 对应用有相当的理解 ， 才能迅速抓到用户需求痛点 ， 快速响应 。 ”
“在石油勘探过程中 ， 数据存储和分析处理的需求呈几何倍增长 ， 对存储容量以及扩展性都提了很高的要求；石油勘探领域对收集上来的数据 ， 需要提供TB级及PB级的读写性能 ， 来满足我们现在前端的密集计算和模拟 。 ” ， 中石化石油物探技术研究院信息中心技术主管葛鑫提及 。
文章图片
“在舆情数据智能分析时 ， 客户要求系统架构能融合训练、分析及推理 ， 传统存算一体化的模式就不太适用 。 ”中科天玑区域拓展部总经理刘维秦在分布式存储应用中谈到 ， “曙光原生HDFS协议的支持 ， 在存算分离的基础上 ， 保证了性能的指数级提升 ， 还可以支持更多大数据高级功能 。 ”
文章图片
“未来的存储系统要很好地支撑应用 ， 无论是性能的极致优化 ， 或者是功能的定制” ， 张新凤对存储市场的未来发展演进做出判断 ， “没有一蹴而就的捷径可以走 ， 更多的是天长日久的积累和演进” ， 作为国内第一批做自研分布式存储的厂商 ， 曙光将以更扎实的科研技术、更先进的存储产品、更优质的存储服务 ， 助力产业升级和数字化转型 。
推荐阅读
- 甘肃|“云上看非遗”：甘肃非遗大数据平台上线 首批入选630个项目
- 平台|数据整合利用 蜘点与企业打造新模式
- 数据|江苏：数字科技 5G网络赋能健身步道智慧升级
- 飞行数据|第二个黑匣子正在全力搜寻！波音飞机的两部黑匣子有何区别？
- 数据|75.3%受访者曾被算法推荐服务困扰
- 数据|算法新规施行 53.8%受访者表示会选择关闭算法推荐
- 手机|欧盟进口数据库列表中发现一加10和Nord 2T身影
- 数据|找到的这个黑匣子记录了什么？接下将要做什么？
- 方面|联想新款小新笔记本测试数据公布：i5-1240P CPU 核显提升 25%
- 事故|东航失事飞机黑匣子损毁严重，会影响数据解读吗