停车场管理系统
主页 > 停车场管理系统 >

【傲腾观察室】基于英特尔傲腾持久内存的大内存技术如何打破IO墙

发布日期:2021-12-11 09:35   来源:未知   阅读:

  ‘年味大数据’来袭盘点老贵阳的春节家常菜,IDC曾发出预测,预计到2025年,全球数据量将达到175ZB,当数据量加速增长,当企业对数据价值挖掘的需求越来越高,人们对于存储和计算效率也提出了更高要求,当有越来越多的数据无法被利用,越来越多的技术专家开始将问题归咎于经典冯诺依曼架构的局限性。

  如何突破冯诺依曼架构的局限性,业内有许多思考和尝试,其中以英特尔®傲腾™持久内存的做法最具代表性。

  在11月18日,百易传媒(DOIT)举办的一场名为“傲腾观察室”的在线直播活动中,作为数据存储产业的资深观察者,DOIT总编宋家雨在与业内多位技术专家沟通中得到一个结论。

  宋家雨表示,目前,应对冯诺依曼架构局限性问题,业内出现了两类解决方案:一类是存算一体化架构,它让存储具备计算的能力,从而解决数据反复搬迁导致的效率低下问题。一类是改良性的方案,把内存做得更大,把更多数据放到靠近核心的地方,从而解决数据搬迁的问题。

  从目前来看,存算一体化方案在成熟度上还需要更多验证,而依赖于新型存储介质打造的傲腾持久内存方案,可以以更低的成本提供更大的内存空间,缓解内存不足的问题。而且,由于对架构的变化相对较小,所以,这是目前市场上接受度更高,成熟度更高的实践方案。

  站在2021年来看英特尔®傲腾™,与几年前英特尔®傲腾™刚推向市场时已有很大不同,彼时,都在谈论傲腾是什么。而现在,人们对于傲腾持久内存的讨论已变为实际应用场景的实践分析,谈论傲腾如何提高效率、降低成本,帮助企业塑造竞争力。

  英特尔®傲腾™持久内存有两种使用模式,一种是内存模式,它将DRAM作为其高速缓存使用,两者结合构成大的内存资源池,从而以较低的成本提供较大内存容量,在许多场景中有不逊色于原来纯DRAM内存方案的表现。

  英特尔®傲腾™持久内存技术的另外一种模式叫做App Direct,它对于操作系统和应用程序都提出了一定要求,用户想使用这种模式需要应用层面上做出一些调整,这大大提升了用户的使用门槛和使用难度。

  MemVerge是一家大内存技术方案的代表性企业,它基于英特尔®傲腾™持久内存技术开发了一套软件技术架构,MemVerge可以帮助用户屏蔽傲腾持久内存技术本身的复杂度,让用户能更轻松地用上傲腾持久内存,获得更大的内存空间。

  MemVerge的创始人兼CEO范承工是数据存储领域的传奇人物,他曾是EMC中国卓越研发集团创始人、VMware中国研发中心创始人,他还是著名分布式存储VMware vSAN的带头人,他对于数据存储架构本身有深入的实践经验,而他所开创的大内存技术正在成为新的技术潮流。

  范承工在直播中介绍称,在以前,计算架构的瓶颈往往在于计算和网络,而当数据越来越多,如何快速高效处理,其瓶颈转变为存储部分,在于存储和内存,大内存技术的出现就是为了解决计算架构中的存储瓶颈。

  理想的计算架构中,需要参与计算的数据都存放在内存中,这里所说的内存既包括L1、L2、L3缓存,也包括DRAM,系统访问内存数据时几乎可以不用等待。然而,能存在内存里的数据是非常有限的,DRAM相对于L3、L2、L3缓存要大的多,但仍有许多数据不能放在内存里。

  于是,剩下的数据就只能放在外部存储里,外部存储包括常见的磁盘、SSD等外部存储设备和外部存储系统等,当系统需要访问外存上的数据时,需要把数据搬迁到内存里,这需要明显的等候时间,当数据量越来越大时,等候时间也越来越长,这种现象就叫做IO墙。

  大内存技术的做法是将内存和外存合二为一,将两者组合成大内存,既利用了内存的高性能优势,又利用了外存的非易失性(掉电不丢数据),从而省去了数据在外存和内存之间的搬迁时间,从而消除IO墙,消除存储瓶颈。

  2019年,英特尔推出了傲腾持久内存,它可以作为大内存的核心硬件,作为业内第一款商用的SCM(Storage Class Memory,存储级内存)解决方案,它比传统DRAM内存的容量更大,同时兼具非易失性,性能接近于传统内存,这使得大内存方案的落地成为可能。

  MemVerge的大内存软件可以将不同的内存硬件虚拟为一个大的内存池,在应用看来,大内存软件构建的内存池与原来的DRAM没有任何区别,应用无需做出任何改变即可使用大内存池。另外,大内存软件还提供了各种常见的数据服务,比如快照、复制以及安全功能。

  宋家雨认为,MemVerge大内存软件的设计非常巧妙,它构建了一个傲腾内存与应用软件之间的中间层,屏蔽了背后复杂的技术实现,让实际环境中许多旧有的成熟的应用软件无需做任何修改即可利用以英特尔®傲腾™构建的大内存方案,这为大内存技术的普及打下了良好基础。

  在将MemVerge大内存软件推向市场的一年多时间以来,已经在包括金融行业,高性能计算,以及云服务等领域得到了许多应用,而且,许多场景的具体用法都有所不同。

  金融行业中,一些银行和交易市场将大内存技术用于内存数据库,不仅提供了更大容量的内存,同时还利用了快照技术,从而能在宕机时快速重启并恢复业务服务,比起传统方式的速度快了约1500倍,极大提升了系统的容错性和服务的连续性。

  在高性能计算领域,特别是在涉及生物基因计算场景中,大内存技术可以帮助生物信息科学家更高效地进行基因分析,能将获取结果的速度提高30%-60%,这无论是对于新冠病毒的研究,还是对于癌症治疗的研究,诸多生物基因相关研究工作都大有裨益。

  云服务商利用大内存技术提高单台设备的内存容量,从而提高单台设备的虚拟机密度,用一样的硬件提供更多虚拟机服务,这意味着单个虚拟机成本的降低,也意味着竞争力的提升。

  以英特尔®傲腾™打造的大内存技术要打破IO墙,突破存储瓶颈,解决真实的用户痛点,拥有令人向往应用前景,但以傲腾为代表的SCM要做的事情还远不止于此,我们也看到,一场技术架构变革正在数据中心里有序进行。

  2019年,英特尔牵头成立了名为CXL(Compute Express Link)标准组织,以实现CPU与GPU、FPGA等各种专用加速件的高速互联,对于突破存储瓶颈也意义重大。

  对于存储来说,CXL是一种新的内存接口,与原来的DDR相比,CXL具有更高的可扩展性,更高的带宽。CXL支持包括英特尔®傲腾™以及SSD等各种存储方案,它的架构设计不局限于单个系统,而且可以在多机之间进行连接,可以实现多机之间的共享。

  范承工表示,CXL是一个改变游戏规则的新技术,它可以实现内存和计算的相对独立,可以实现多机之间的内存池化共享,可以实现真正的可组合基础设施,可以动态地为系统添加计算、内存、存储资源。

  这意味着,CXL将有助于实现计算、存储和网络资源的机架级解耦,将改变未来的数据中心计算架构形态,一个大的内存池将出现,而傲腾持久内存在未来数据中心架构中也将扮演更重要的角色。手机报码直播