8月24日,在第七届未来网络发展大会开幕式上,刘韵洁院士发布了由花儿数据、网络编码关键技术及应用重点实验室、江苏省未来网络创新研究院联合推出的“全球首个跨广域网网络编码分布式存储系统”重大成果。试验基于网络编码分布式存储跨广域网协同修复关键技术,在国家重大科技基础设施未来网络CENI骨干网北京、南京和武汉节点布署了跨广域网网络编码分布式存储系统,开展了确定性链路、互联网专线和常规网络下网络编码/再生码读写和单节点/多节点故障修复等多场景对比传统纠删码的测试。首次获得再生码跨广域网多节点协同修复性能数据,并在上述多场景验证了协同修复技术的优越性。初步试验结果表明:协同故障数据修复速度是传统纠删码修复性能的3.25倍;CENI确定性链路为修复性能带来大约87%网络增益;当网络带宽为系统性能瓶颈时,数据修复性能提升更为明显。基于不同类型链路的试验结果表明,确定性网络相比互联网专线和常规链路具备明显的性能优势,将在“东数西算、东数西存”等国家级战略中发挥重要价值。

跨广域网网络编码分布式存储系统成果发布

《“十四五”数字经济发展规划》 指出,以数据资源为关键要素,以现代信息网络为主要载体,以信息通信技术融合应用、全要素数字化转型为重要推动力的数字经济已成为重组全球要素资源、重塑全球经济结构、改变全球竞争格局的关键力量。到2025年,数字经济核心产业增加值占我国GDP比重将由2020年的7.8%增加到10%,数字化创新引领发展能力大幅提升。随之带来的必将是数据量的爆炸性增长,在“东数西算、东数西存”国家重要战略背景下,超大规模跨广域网多数据中心部署的分布式存储系统成为不可避免的技术选择。但是,现有的跨广域网分布式存储部署存在诸多挑战:广泛采用多副本,带来高昂的服务器采购、维护成本和能耗;跨数据中心网络流量为稀缺资源,且网络性能不均衡,给存储系统设计带来复杂性,影响系统读写和修复性能;传统或经典纠删码作为多副本的替代,具备高存储效率/低成本、高可靠性等优势,但在大规模集群中,故障为常态,当数据中心大规模采用纠删码时,故障修复流量可塞满整个集群网络,严重影响存储访问性能,降低系统预期可靠性。为应对上述挑战,花儿数据设计研发了跨广域网部署的架构感知网络编码分布式存储系统,并且在CENI 确定性网络下验证了其性能优越性。

跨广域网网络编码分布式存储系统成果发布

试验所采用的跨广域网网络编码分布式存储系统融合了网络编码和确定性网络的各自优势,具备如下特点:支持多副本、经典纠删码和多种网络编码/再生码;支持多级故障域,包括数据中心级、机架级、服务器主机级、存储设备级等,即使整个数据中心故障,数据仍可正常访问和修复;采用跨(故障)域协同修复框架,减少或均衡跨域网络流量,提升系统整体性能。基于网络编码的存储再生码实现存储效率与修复带宽的最优均衡。网络编码基本概念是上世纪九十年代末由包括新晋香农奖获得者香港中文大学杨伟豪教授在內的创始人提出,其创立被喻为 “信息技术的一场变革”。不同于计算机网络数据传送一直沿用的“存储转发”方法,网络编码允许数据在传送过程中进行适当组合处理,使网络通信更加高效可靠,提供更高的吞吐量。花儿数据网络编码分布式存储 NCDS 技术突破了传统存储系统(多副本、经典纠删码)局限,全面提高了存储效率和提升了吞吐性能,具备高可用和高可靠特性。CENI确定性网络具备低时延、低抖动、低丢包率、高可靠的优势,可实现最逼近网络编码理论值的故障修复性能。跨确定性广域网部署的大规模分布式存储系统将能提供最高等级可靠性服务质量,满足“东数西算”对提升“数据中心跨网络、跨地域数据交互能力”和“绿色、低碳、集约、高效”的原则要求。

花儿数据核心团队​

网络编码分布式存储系统在CENI试验的成功,是在确定性网络下验证花儿数据存储系统性能的重要里程碑,论证了跨广域网网络编码分布式存储系统的首创性和先进性,以及跻身东数西算和东数西存国家战略的重要性,有望推进分布式存储技术的创新演进,为“东数西算、东数西存”国家战略提供核心基础设施关键技术支撑。

(通讯员:王春生)

By shiyidi