存算分离技术介绍:数据处理需要计算设备和存储设备
2023-10-25 09:36:34
描述
存算分离技术介绍:数据处理需要计算设备和存储设备。传统存储是集存算于一体的部署策略。数据在本地领域的优点是数据离开 CPU 相对较近,能够快速读写数据;缺点是计算和存储资源绑定,不利于大数据时代的数据管理。而且可
[本文共字,阅读完需要分钟]

存算分离技术介绍:

数据处理需要计算设备和存储设备。传统存储是集存算于一体的部署策略。数据在本地领域的优点是数据离开 CPU 相对较近,能够快速读写数据;缺点是计算和存储资源绑定,不利于大数据时代的数据管理。而且可能会出现可靠性问题,因为计算和存储都在一起,所以服务器问题会导致数据问题。当地数据存在时,一般采用一主多备。如果要保持数据一致性,需要大量的数据同步。存算一体化的缺点:1)可靠性不好;2)同步程序复杂;3)资源消耗大;4)数据利用效率低。

存算分离是大势所趋。常见的计算由服务器完成,数据通过集中、分布式或其他形式存储,特别是在大数据中。AI 时代的数据量迅速膨胀,因此采用了分离架构。在分离结构下,计算和存储可以以最好的形式进行,如集群或分布式计算;数据也可以以最有利的方式存储,结构化、非结构化、分布式,提高数据读写效率,减少资源占用,提高数据安全。优点:可靠性提高、资源灵活分配、专业灾难容忍、数据再利用。

典型的产品是企业的外部存储设备,现有的主流制造商有华为、浪潮、同一、新华社。

Q:存算分离技术难点?为什么以前不用?

A:以前数据量小,存算一体化方便,计算和存储非常接近,集中架构简单。

存算分离的难点:1)数据量需要外部,数据需要网络,早期网络带宽低,网络没有服务器内部总线快,外部读写效率低;2)存储介质不如现在好 SSD的性价比,以前 SSD 很难规模化,只有最热的数据使用系统盘,大量的数据使用机械硬盘,导致可靠性问题。外部机械硬盘故障率大,整体可靠性降低;3)当时没有使用 MPP 包括大数据在内的分布式架构 Hadoop 在数据到达时,架构可以支持操作更大的数据 PB 以后必须存算分离,层层分离,专人管理。

Q:冷数据是否分离?热数据仍然集成管理?

A:对。数据一般分为冷热温三种,最特殊的数据一般放在服务器内存中,甚至放在服务器内存中 CPU 高速缓存层操作。建议将温冷数据存算分离,并在外部存储设备中管理。随着热数据扩展到一定规模,服务器内部的高速缓存可以实现 T 级别。也有热数据是外置的,这取决于提高速度。例如,内存是直接的 RDMA,虽然外部数据实际上可以接近 CPU 直接内存的效果,确保数据足够快。总的来说,最热的数据是离开的 CPU 最近,它被放置在高速缓存或内存中,其次是服务器附带的闪存盘,其次是硬盘。

Q:随着分布式存储市场份额的增加,存算分离是否更适合分布式存储?

A:分布式存储必须是存算分离,集中存储更方便管理各种数据,但会带来扩展问题。只有分布式才能更大,而不需要通过系统。分离架构可以考虑并发操作,读写更大的数据。在数据爆炸的时代,存算分离是不可避免的。

Q:存算分离场景?

A:数据库,早期是存算一体化,现在是分布式的,比如金融业,现在从集中到分布式的转型。

传统数据库是大数据,规模更大 TB 等级,大数据一般都是 PB 等级。使用存算一体化会造成大量的计算资源浪费。

云计算、云数据包括客户数据和自己的虚拟数据、数据和虚拟机绑定,因此管理必须分开。

高性能计算 HPC,数据量大,需要根据数据密度进行分离。Web 应用程序将前端客户应用程序操作与后端数据分离。

Q:拆下产业链和玩家?行业有哪些困难?

A:有华为、浪潮、同行和新华社。困难在于技术门槛相对较高:1)存储分离架构需要通过软硬件构成整体效率、稳定性和可靠性,多年的研发经验和技术积累,全面了解介质、存储协议、芯片和算法。要达到最佳状态,需要长期的积累。有的玩家会开发控制芯片和介质芯片,提高产品的自主可控能力,达到自身结构的最佳效果

2)算法偏向于软件层面,如落盘算法。数据读写是效率、可靠性和稳定性,最大限度地减少性能波动对业务的影响。有许多算法。需要大量的技术积累。

整个产业链的制造商可以做更多的存算分离设备。例如,同样面向行业的产品是最好的,在军事、保密行业存储,独特的加密算法也非常精致,但也可以在细分市场上实现极端。

Q:市场空间的存算分离?

A:中国企业外部存储市场的规模大概在中国。 600 超过1亿,年平均增长率约为1亿 20%。

Q:如何评价华为的产品?

A:由于数据量的扩大,金融业需要对数据库进行改造。利用本地分布式数据库,可以通过存算分离提高整体能力,满足金融核心数据库演变的需要。华为、浪潮、同行和新华社都在进行这样的研发。

Q:存储增量会增加吗?

A:是的,随着数据的扩展,相应的存储设备必然会增加。例如,金融业的许多银行数据基本上需要 50 年以上意味着市场一直在增长。市场增长意味着可以销售更多的存储设备和更多的存储介质,如以金融业为代表的行业,越来越多的本地独立和可控的存储设备和介质,对制造商有利。政府、金融、教育、医疗、中央国有企业和运营商在国内存储领域也有很多机会。还有更多的机会进入国家相关名录,包括信创工程。储存介质也应该从国产化、长江和紫光中受益。纪要私享圈