Bulletin#66D7A9931D843D70545FFC9DA3AB4E0D
orCmWKnKpoNGs5gJXA3tkxwWKv8j8KYxxp#2620
@2024-02-21 16:00:00
orCmWKnKpoNGs5gJXA3tkxwWKv8j8KYxxp#2620
@2024-02-21 16:00:00
# 如何为数据中心装上更大的内存？
原创 海兰云UDC [ 新潮沉思录 ](javascript:void\(0\);)
__ _ _ _ _
分享一篇介绍IT技术新动向的文章， 文章由公众号 海兰云UDC 团队提供，对IT技术领域感兴趣的读者们可以帮忙关注 下这个公众号。
▽
在过去的一年里，以ChatGPT为首的一众大模型爆火，导致整个市场都关注起数据中心和算力设施建设，对于一众非传统信息产业上市公司而言，不参合大模型，不参合算力中心建设，不参合数据中心的运营，仿佛就是被时代抛弃的弃儿，只要花费几百万到几亿不等，就瞬间拥有了绩优蓝筹股的可能性。在这股热潮当中，有几项存储技术成为数据中心版图上的焦点，今天和大家花一点时间回顾一下这几项技术，以及它们对整个行业的影响。
**HBM：传统内存的最高级形态**
时间追溯到10年前，彼时GDDR5作为DDR3的孪生兄弟已经存在了6-7年之久，即使GDDR5的传输带宽翻了2倍有余，最大容量一路增长到当初的48倍，但是还是有很多人在疑问，内存(显存)不够怎么办？显存的传输带宽不足怎么办？
AMD和SK海力士提出了最早的HBM概念，这是一种集成在芯片边的独特的高带宽内存技术，配合还在PPT上的CoWoS封装技术，理论上能在一块显示芯片周围堆叠4堆4片2Gb(256MB)的内存堆栈，下面的一块专用芯片负责提供1024位的通信带宽，这样就能够在30平方厘米的大小下，集成一颗当时还算先进的28纳米制程的fiji
GPU芯片，以及4G的显存，显存的带宽历史性地达到了512GB每秒。
随后的两年，HBM吸引了更多的厂商运用在不同的场景，也吸引了一系列的目标用户，特别是英伟达tesla和昇腾这两大巨头带来的重磅产品线加入，使得HBM和COWOS一夜起飞。
另一方面单机算力的瓶颈已经被业内证实是由存储性能，特别是存储传输带宽的限制。所以各家芯片设计，特别是IP核公司开始着手研发更高频率的高位宽HBM专用接口，HBM2的堆栈规模也增大到了8+1片，单片的容量也上升到8Gb(1GB)。
随后就是OpenAI和GPT大模型。最初OpenAI拿到的第一代DGX，配置还是只有16G
HBM显存的P100，而随着AI模型规模和复杂度的逐步提升，对存储容量的渴望在6年间与日俱增。先是从12-16G翻倍到32G，然后是80G，再然后是96G，最后是目前水平下的141和188G，集群的规模也在从几百片迅速飙升到上万片乃至几万片计算卡，一下子释放出了上百倍的存储需求。
现在能提供HBM的厂商只有SK，三星和美光三家巨头，这也是目前仅有的三家主要的内存颗粒供应商。随着HBM进入第三代，制程方面已经进入了第四代乃至第五代的10纳米级工艺，甚至EUV光刻机和复杂的HKMG+工艺已经被广泛使用，这就给后来者想要追赶提供了巨大的难度。
使用HBM内存的DGX H100系统
目前SK海力士已经提出，下一代的HBM4，将会直接键合在主芯片的表面，进一步减少存储颗粒和主芯片之间的数据传输功耗和时延,这就进一步提高了内存颗粒与主芯片晶圆代工厂，以及封装厂合作的密切度与紧迫性，也等于事实上竖起让后来者追赶难度更高的技术壁垒。
**CXL：传统内存的最高级形态**
对于服务器来说，HBM还是太贵了，而且作为强耦合的存储技术，HBM过于依赖主芯片的原始设计，其容量也有明显的上限，不能和采用插槽式内存的传统服务器内存方案相对比。
不过，从云计算和数据中心用户的角度，插槽式内存的方案自由度依然不够高，依靠虚拟化软件分配的内存池资源依然不能够完美进行跨核通信，于是intel提出了一个新的设想，
** 这就是在2018-2019年开始崭露头角的CXL互联技术。 **
CXL的底层建立在当时正在推动的PCle协议的第五个世代，也就是PCle
5.0。同时可以兼容多种存储，以及各类外设，但是跨CPU的存储通信标准则等到了2020年才姗姗来迟，也就是CXL 2.0。而之后发布于2022年的CXL
3.0 建立在PCIe 6.0规范之上，带宽得到了翻倍的提升。
CXL
3.0不但可以更好地在一个机柜内实现计算资源和存储资源的池化和解耦，而且还可以在多个机柜之间建立更大的资源池，如此一来，对于云计算服务商的资源管理效率和成本优化都会带来很大帮助，
** 毕竟财大气粗如微软都抱怨过自己购买的服务器当中的内存有四分之一都没有实际运用上，造成了巨大的资源浪费。 **
CXL大致可以分成三类协议，分别是io，cache，和mem。
CXL.io：该协议本质上是PCIe
5.0协议的扩展，用于设备的发现、配置、寄存器访问和中断等。注意，CXL.io并非代表落后，实际上所有CXL设备都会支持CXL.io，这是设备可管理性的一部分。
CXL.cache：该协议定义了设备对主机内存的访问，允许设备使用请求/响应机制以极低的延时访问主机内存中的数据，类似于DMA（Direct Memory
Access）。
CXL.mem：该协议用于支持主机处理器访问设备内存，主机CPU充当主设备，而被访问设备充当从设备。CXL.mem协议同时支持易失性和非易失性存储。
纵然说起来有诸多优势，但CXL这个标准能不能普及，关键还是在于有没有厂商跟进。在CXL技术推出的那一年，CXL联盟也随之成立，由英特尔牵头，联合阿里巴巴、戴尔EMC、Meta、谷歌、HPE、华为和微软共同建立，随后AMD、Arm也加入其中，这就让它成为了一个跨平台的标准方案。
当下，CXL联盟的成员，几乎涵盖了所有主要的CPU、GPU、内存、存储和网络设备制造商。从当前服务器市场情况来看，低核心数的CPU依然会继续使用原生DDR通道来配置DIMM内存。而只有高核心数CPU上，再根据系统成本、容量、功耗和带宽等参数来灵活应用CXL内存，因为这才是CXL的核心优势。
使用CXL控制器的三星可配置DRAM
未来，我们将看到更多支持CXL的技术推向市场，CXL将继续为高性能存储和服务器间数据通信提供助力，并以更大规模去部署。更多的设备厂商也在考虑设计兼容CXL的PCIe设备，以利用池化的算力，相关的芯片设计企业，正在努力地推动模块控制芯片和数据交换芯片的量产和推广工作。
**高层数nand：内卷没有极限**
作为服务器主要存储介质的NAND存储器，也就是我们通常所说的固态硬盘的存储颗粒，在最近几年中得到了突飞猛进的进步，自从NAND体系平面微缩能力走到尽头之后，各个厂商内卷的方向变成了
** 更多的单位信息存储量，更高的立体层数，更好的通信带宽。 **
在今年的ISSCC上，三星希望推出迄今为止数据密度最高的新型NAND 闪存。据了解，三星届时将会分享一篇题为《A 280-Layer 1Tb 4b/cell
3D-NAND Flash Memory with a 28.5Gb/mm² Areal Density and a 3.2GB/s High-Speed
IO Rate》的演讲，披露其下一代V9闪存。
在此之前已经商用化的固态硬盘当中密度最高的来自国产长江存储的一款232层QLC方案，密度接近20Gb/mm2，两者的差距除了在层数上有20%的差异之外，在单位密度上，长江存储的方案也稍微逊色一筹。而英特尔当年用于炫技的192层PLC闪存和SK海力士的300层超级闪存的密度实际上也不如三星方案。
上文当中我们已经说到，新的服务器正在推动CXL技术的上机，而各个大厂本身也在逐步替换掉原有的服务器级2280或者22110规格的固态硬盘，同时传统U.2规格的固态硬盘则受制于传输总线带宽的问题，会逐步在未来几年里被替换。
因此各家厂商的高层数NAND存储方案的IO能力也在飞速提升，从最早的400-800MB到后来的1200-1600MB。目前主流方案已经到了需要2400-3200MB单片接口速率的情况了，而后续的CXL3.0时代，整块固态硬盘的读写速度有望突破12GB每秒，而这个对整条链路上的数据交互能力都有了更高的要求，而基于固态产品本身的花活也会更多。
按各个巨头之前的预估， ** 到2030年会实现1000层的NAND颗粒， **
目前距这个时间节点还有6年，届时其复杂度和密度的要求将会远超现在的想象。预估到那个时候，需要4-5片Die才能完整键合出一整片颗粒，到时候的封装方案和高密度存储技术会发展成什么样，就让人非常期待产业界的新思路和行动。
据IDC预计， ** 2024年全球每年所产生的数据量会高达160ZB， **
如何处理这些数据是一个巨大的挑战，但这也是我们不得不迎难而上，努力突破的。从最早的纸带开始，人类的存储工具也是在一步一步的变革当中走到今天这一步的。如何更高效的存储和运用数据，将会是信息与AI时代人们始终需要面对的问题。
本文由海兰云UDC团队原创出品。海兰云专注于绿色低碳，节能环保的算力基础设施创新赛道，研发建设了全球第一家商用海底数据中心，并投入商业应用。在海兰云UDC公众号中，我们会分享海底数据中心和UDC行业的技术干货，行业动态，并且将持续聚焦于IT与信息行业的前沿动态，深度洞察。点击下方海兰云UDC公众号名片，持续获得更多优质行业信息。
**
**
预览时标签不可点
微信扫一扫
关注该公众号
****
****
× 分析
收藏
# 如何为数据中心装上更大的内存？
原创 海兰云UDC [ 新潮沉思录 ](javascript:void\(0\);)
__ _ _ _ _
分享一篇介绍IT技术新动向的文章， 文章由公众号 海兰云UDC 团队提供，对IT技术领域感兴趣的读者们可以帮忙关注 下这个公众号。
▽
在过去的一年里，以ChatGPT为首的一众大模型爆火，导致整个市场都关注起数据中心和算力设施建设，对于一众非传统信息产业上市公司而言，不参合大模型，不参合算力中心建设，不参合数据中心的运营，仿佛就是被时代抛弃的弃儿，只要花费几百万到几亿不等，就瞬间拥有了绩优蓝筹股的可能性。在这股热潮当中，有几项存储技术成为数据中心版图上的焦点，今天和大家花一点时间回顾一下这几项技术，以及它们对整个行业的影响。
**HBM：传统内存的最高级形态**
时间追溯到10年前，彼时GDDR5作为DDR3的孪生兄弟已经存在了6-7年之久，即使GDDR5的传输带宽翻了2倍有余，最大容量一路增长到当初的48倍，但是还是有很多人在疑问，内存(显存)不够怎么办？显存的传输带宽不足怎么办？
AMD和SK海力士提出了最早的HBM概念，这是一种集成在芯片边的独特的高带宽内存技术，配合还在PPT上的CoWoS封装技术，理论上能在一块显示芯片周围堆叠4堆4片2Gb(256MB)的内存堆栈，下面的一块专用芯片负责提供1024位的通信带宽，这样就能够在30平方厘米的大小下，集成一颗当时还算先进的28纳米制程的fiji
GPU芯片，以及4G的显存，显存的带宽历史性地达到了512GB每秒。
随后的两年，HBM吸引了更多的厂商运用在不同的场景，也吸引了一系列的目标用户，特别是英伟达tesla和昇腾这两大巨头带来的重磅产品线加入，使得HBM和COWOS一夜起飞。
另一方面单机算力的瓶颈已经被业内证实是由存储性能，特别是存储传输带宽的限制。所以各家芯片设计，特别是IP核公司开始着手研发更高频率的高位宽HBM专用接口，HBM2的堆栈规模也增大到了8+1片，单片的容量也上升到8Gb(1GB)。
随后就是OpenAI和GPT大模型。最初OpenAI拿到的第一代DGX，配置还是只有16G
HBM显存的P100，而随着AI模型规模和复杂度的逐步提升，对存储容量的渴望在6年间与日俱增。先是从12-16G翻倍到32G，然后是80G，再然后是96G，最后是目前水平下的141和188G，集群的规模也在从几百片迅速飙升到上万片乃至几万片计算卡，一下子释放出了上百倍的存储需求。
现在能提供HBM的厂商只有SK，三星和美光三家巨头，这也是目前仅有的三家主要的内存颗粒供应商。随着HBM进入第三代，制程方面已经进入了第四代乃至第五代的10纳米级工艺，甚至EUV光刻机和复杂的HKMG+工艺已经被广泛使用，这就给后来者想要追赶提供了巨大的难度。
使用HBM内存的DGX H100系统
目前SK海力士已经提出，下一代的HBM4，将会直接键合在主芯片的表面，进一步减少存储颗粒和主芯片之间的数据传输功耗和时延,这就进一步提高了内存颗粒与主芯片晶圆代工厂，以及封装厂合作的密切度与紧迫性，也等于事实上竖起让后来者追赶难度更高的技术壁垒。
**CXL：传统内存的最高级形态**
对于服务器来说，HBM还是太贵了，而且作为强耦合的存储技术，HBM过于依赖主芯片的原始设计，其容量也有明显的上限，不能和采用插槽式内存的传统服务器内存方案相对比。
不过，从云计算和数据中心用户的角度，插槽式内存的方案自由度依然不够高，依靠虚拟化软件分配的内存池资源依然不能够完美进行跨核通信，于是intel提出了一个新的设想，
** 这就是在2018-2019年开始崭露头角的CXL互联技术。 **
CXL的底层建立在当时正在推动的PCle协议的第五个世代，也就是PCle
5.0。同时可以兼容多种存储，以及各类外设，但是跨CPU的存储通信标准则等到了2020年才姗姗来迟，也就是CXL 2.0。而之后发布于2022年的CXL
3.0 建立在PCIe 6.0规范之上，带宽得到了翻倍的提升。
CXL
3.0不但可以更好地在一个机柜内实现计算资源和存储资源的池化和解耦，而且还可以在多个机柜之间建立更大的资源池，如此一来，对于云计算服务商的资源管理效率和成本优化都会带来很大帮助，
** 毕竟财大气粗如微软都抱怨过自己购买的服务器当中的内存有四分之一都没有实际运用上，造成了巨大的资源浪费。 **
CXL大致可以分成三类协议，分别是io，cache，和mem。
CXL.io：该协议本质上是PCIe
5.0协议的扩展，用于设备的发现、配置、寄存器访问和中断等。注意，CXL.io并非代表落后，实际上所有CXL设备都会支持CXL.io，这是设备可管理性的一部分。
CXL.cache：该协议定义了设备对主机内存的访问，允许设备使用请求/响应机制以极低的延时访问主机内存中的数据，类似于DMA（Direct Memory
Access）。
CXL.mem：该协议用于支持主机处理器访问设备内存，主机CPU充当主设备，而被访问设备充当从设备。CXL.mem协议同时支持易失性和非易失性存储。
纵然说起来有诸多优势，但CXL这个标准能不能普及，关键还是在于有没有厂商跟进。在CXL技术推出的那一年，CXL联盟也随之成立，由英特尔牵头，联合阿里巴巴、戴尔EMC、Meta、谷歌、HPE、华为和微软共同建立，随后AMD、Arm也加入其中，这就让它成为了一个跨平台的标准方案。
当下，CXL联盟的成员，几乎涵盖了所有主要的CPU、GPU、内存、存储和网络设备制造商。从当前服务器市场情况来看，低核心数的CPU依然会继续使用原生DDR通道来配置DIMM内存。而只有高核心数CPU上，再根据系统成本、容量、功耗和带宽等参数来灵活应用CXL内存，因为这才是CXL的核心优势。
使用CXL控制器的三星可配置DRAM
未来，我们将看到更多支持CXL的技术推向市场，CXL将继续为高性能存储和服务器间数据通信提供助力，并以更大规模去部署。更多的设备厂商也在考虑设计兼容CXL的PCIe设备，以利用池化的算力，相关的芯片设计企业，正在努力地推动模块控制芯片和数据交换芯片的量产和推广工作。
**高层数nand：内卷没有极限**
作为服务器主要存储介质的NAND存储器，也就是我们通常所说的固态硬盘的存储颗粒，在最近几年中得到了突飞猛进的进步，自从NAND体系平面微缩能力走到尽头之后，各个厂商内卷的方向变成了
** 更多的单位信息存储量，更高的立体层数，更好的通信带宽。 **
在今年的ISSCC上，三星希望推出迄今为止数据密度最高的新型NAND 闪存。据了解，三星届时将会分享一篇题为《A 280-Layer 1Tb 4b/cell
3D-NAND Flash Memory with a 28.5Gb/mm² Areal Density and a 3.2GB/s High-Speed
IO Rate》的演讲，披露其下一代V9闪存。
在此之前已经商用化的固态硬盘当中密度最高的来自国产长江存储的一款232层QLC方案，密度接近20Gb/mm2，两者的差距除了在层数上有20%的差异之外，在单位密度上，长江存储的方案也稍微逊色一筹。而英特尔当年用于炫技的192层PLC闪存和SK海力士的300层超级闪存的密度实际上也不如三星方案。
上文当中我们已经说到，新的服务器正在推动CXL技术的上机，而各个大厂本身也在逐步替换掉原有的服务器级2280或者22110规格的固态硬盘，同时传统U.2规格的固态硬盘则受制于传输总线带宽的问题，会逐步在未来几年里被替换。
因此各家厂商的高层数NAND存储方案的IO能力也在飞速提升，从最早的400-800MB到后来的1200-1600MB。目前主流方案已经到了需要2400-3200MB单片接口速率的情况了，而后续的CXL3.0时代，整块固态硬盘的读写速度有望突破12GB每秒，而这个对整条链路上的数据交互能力都有了更高的要求，而基于固态产品本身的花活也会更多。
按各个巨头之前的预估， ** 到2030年会实现1000层的NAND颗粒， **
目前距这个时间节点还有6年，届时其复杂度和密度的要求将会远超现在的想象。预估到那个时候，需要4-5片Die才能完整键合出一整片颗粒，到时候的封装方案和高密度存储技术会发展成什么样，就让人非常期待产业界的新思路和行动。
据IDC预计， ** 2024年全球每年所产生的数据量会高达160ZB， **
如何处理这些数据是一个巨大的挑战，但这也是我们不得不迎难而上，努力突破的。从最早的纸带开始，人类的存储工具也是在一步一步的变革当中走到今天这一步的。如何更高效的存储和运用数据，将会是信息与AI时代人们始终需要面对的问题。
本文由海兰云UDC团队原创出品。海兰云专注于绿色低碳，节能环保的算力基础设施创新赛道，研发建设了全球第一家商用海底数据中心，并投入商业应用。在海兰云UDC公众号中，我们会分享海底数据中心和UDC行业的技术干货，行业动态，并且将持续聚焦于IT与信息行业的前沿动态，深度洞察。点击下方海兰云UDC公众号名片，持续获得更多优质行业信息。
**
**
预览时标签不可点
微信扫一扫
关注该公众号
****
****
× 分析
收藏