深信与巨人Mellanox携手突破存储延迟的瓶颈
浏览:40 时间:2024-3-11

我深信,企业级分布式存储EDS和Mellanox Technologies这两个全球领先的端到端以太网和InfiniBand智能互连解决方案巨头,已经携手加快了ESF-以太网存储结构和RDMA(远程直接内存访问)技术在分布式存储系统中的应用,从而将延迟降低了20%,性能比传统光纤通道网络提高了5倍。(数据来自EDS R&D团队的测试结果。※。)数据处理速度快且牢不可破,但网络延迟已成为数字时代的路障,这就对数据处理速度提出了更高的要求。数据中心任何部分的延迟都会对用户体验产生巨大影响。近年来,随着计算能力和NVMe存储技术的快速发展,影响数据中心性能的瓶颈无疑转移到了网络端。▲数据源《FMS 2019》根据《FMS 2019》的数据,已经批量生产的NVMe固态硬盘的写入时间已经降低到10us级,而普通以太网的传输延迟约为100us。网络延迟能否降低,是软件定义存储和整个数据中心的性能能否达到新水平的关键。与Mellanox携手,加速RDMA技术在分布式存储产品中的落地。为了解决网络延迟问题,RDMA技术已经成为存储通信的首选。事实上,RDMA技术已经被证明并广泛应用于高性能计算、人工智能培训、云计算等领域。然而,在中国的分布式存储领域,部署很少。主要有两个原因:首先,早期的RDMA网卡需要在InfiniBand网络下发挥其性能,对传统网络进行了很大的改造;第二,RDMA需要修改应用程序接口,技术门槛很高。我深信,EDS一直致力于为用户提供高性能和高性价比的存储解决方案。当面对三种不同的支持RDMA技术的网络协议,——InfiniBand(具有最高的性能和良好的性价比,但传统网络必须改造)、RoCE(具有高性能,可在传统的TCP网卡上运行,应用范围广)和iWARP(具有较低的性能、较高的价格和较大的CPU消耗)时,选择Mellanox端到端。然而,RoCE不是一个通用标准。虽然它与以太网兼容,但与现有应用程序不直接兼容。我深信EDS R&D团队在一年的时间里为RDMA网卡做了大量的软件移植开发,并且已经开发了几十个