北京2024年7月26日 /美通社/ -- 生成式AI快速發展，AI算力作為人工智能發展的重要支撐，正以驚人的速度滲透至每一個計算設備。一切計算皆AI，為了支撐千行百業最廣泛的場景，通用服務器也在"智變"。

不久前，浪潮信息的研發工程師基于2U4路旗艦通用服務器NF8260G7，采用領先的張量并行、NF4模型量化等技術，實現服務器僅依靠4顆CPU即可運行千億參數 "源2.0" 大模型，成為通用AI算力的新標桿。

NF8260G7在2U空間搭載4顆32核英特爾至強處理器，主頻2.4GHz，支持8個內存通道，3路UPI總線互聯，采用32根32G的DDR5內存，內存容量1024GB，實測內存讀帶寬995GB/s，運行效率82.94%。框架和算法方面，NF8260G7支持PyTorch、TensorFlow等主流AI框架和DeepSpeed等流行開發工具，滿足用戶更成熟、易部署、更便捷的開放生態需求。浪潮信息算法工程師還基于Yuan2.0千億參數大模型的研發積累，為NF8260G7部署張量并行環境，提升4倍計算效率，并通過NF4等量化技術，將1026億參數的Yuan2.0大模型容量縮小至1/4，首次實現單機通用服務器，即可運行千億參數大模型，為千億參數AI大模型在通用服務器的推理部署，提供了性能更強，成本更經濟的選擇。

【出題】
算力智變：通用服務器挑戰「千億參數」大模型

科技的進步，最終目的是"落入凡間"。AIGC正以超乎想象的速度滲透進千行百業，對企業的算力基礎設施也提出了更高的要求。為了滿足最廣泛的通用業務與新興AI業務融合的需求，目前金融、醫療等許多行業用戶正在基于通用算力構建AI業務，實現了通用算力的"AI進化"。從效果來看，目前通用服務器單機已能夠承載幾十到幾百億參數規模的AI模型應用。

但算力需求仍在爆發式增長，隨著大模型技術的不斷發展，模型參數量不斷攀升，千億級參數是智能涌現的門檻，通用算力能否運行千億參數AI大模型，是衡量其能否支撐千行百業智能涌現的關鍵。

千億參數大模型要在單臺服務器中高效運行，對計算、內存、通信等硬件資源需求量非常大，如果使用以GPU為主的異構加速計算方式，千億參數大約需要200~300GB的顯存空間才放得下，這已經遠超過當前業界主流的AI加速芯片的顯存大小。放得下只是基礎，千億參數大模型在運行過程中，對數據計算、計算單元之間及計算單元與內存之間通信的帶寬要求也非常高。千億參數大模型按照BF16的精度計算，運行時延要小于100ms，內存與計算單元之間的通信帶寬至少要在2TB/s以上。

不同參數規模服務器硬件資源需求對比

除了硬件資源的挑戰，為了讓通用服務器運行千億大模型，軟硬協同優化也是一大難題。比如AI大模型一般基于擅長大規模并行計算的AI加速卡設計，通用服務器的處理器雖然擁有高通用性和高性能的計算核心，但沒有并行工作的環境。AI大模型需要頻繁地在內存和CPU之間搬運算法權重，但通用服務器默認模型權重只能傳輸給一個CPU的內存，由該CPU串聯其他CPU進行權重數據的傳輸。這就導致CPU與內存之間的帶寬利用率不高，通信開銷大。

通用服務器要運行千億參數大模型面臨重重挑戰。要填補這一空白，浪潮信息研發工程師亟需提升通用服務器AI計算性能，優化CPU之間、CPU與內存之間的通信效率，建立通用服務器的大規模并行計算的算法環境等軟硬協同技術，系統釋放通用服務器的AI能力。

【解題】
軟硬協同創新，釋放通用服務器的智算力

首先，硬件資源方面，為支撐大規模并行計算，浪潮信息研發工程師采用2U4路旗艦通用服務器NF8260G7，對服務器處理器、內存、互連以及框架和算法的適配性等方面進行了全面優化。

本次運行千億參數大模型的通用服務器NF8260G7采用如下配置：

NF8260G7在2U空間搭載4顆英特爾至強處理器6448H，具有AMX（高級矩陣擴展）AI加速功能，核心數達到了32核心，基準主頻2.4GHz，L3 Cache 60MB，支持8個內存通道，3路UPI總線互聯，功耗250W。內存方面，NF8260G7配置32根32G DDR5 4800MHZ的內存，內存帶寬實測值分別為995GB/s（讀帶寬）、423GB/s（寫帶寬）、437GB/s（讀寫帶寬），為滿足千億大模型低延時和多處理器的并發推理計算打下基礎。

在高速信號互連方面，浪潮信息研發工程師優化了CPU之間，CPU和內存之間的走線路徑和阻抗連續性，依據三維仿真結果調整過孔排列方式，將信號串擾降低到-60dB以下，較上一代降低50%，通過DOE矩陣式有源仿真找到通道所有corner的組合最優解，充分發揮算力性能。框架和算法方面，浪潮信息通用服務器也支持PyTorch、TensorFlow等主流AI框架和DeepSpeed等流行開發工具，滿足用戶更成熟、易部署、更便捷的開放生態需求。

僅依靠硬件創新還遠遠不夠。算法層面，浪潮信息算法工程師基于Yuan2.0的算法研發積累，將1026億參數的Yuan2.0大模型卷積算子進行張量切分，把大模型中的注意力層和前饋層的矩陣計算的權重分別拆分到多個處理器的內存中，為通用服務器進行高效的張量并行計算提供了可能。這種權重的拆分改變了傳統CPU串聯傳輸的模式，4顆CPU可以與內存實時傳輸獲取算法權重，協同并行工作，計算效率提升4倍。

同時，千億參數大模型在張量并行計算過程中，參數權重需要200-300GB的內存空間進行存儲和計算，在100ms的時間內，完成CPU與內存數據的通信，內存帶寬需求至少在2T/s。而4路通用服務器的內存帶寬極限值為1200GB/s，還差一半左右。面對巨大的內存帶寬瓶頸，浪潮信息算法工程師需要在不影響模型精度的情況下對模型進行量化"瘦身"。浪潮信息研發工程師們嘗試了不同精度int8、int4、NF4等先進量化技術，最終選擇了更高數據精度的NF4量化方案，將模型尺寸瘦身到原來的1/4，在滿足精度需求的條件下，大幅度降低大規模并行計算的訪存數據量，從而達到實時推理的解碼需求。

【交卷】
填補行業空白，樹立AI算力新標桿

通過系統優化，浪潮信息NF8260G7在業界首次實現僅基于通用處理器，支持千億參數大模型的運行，讓通用算力可支持的AI大模型參數規模突破千億，填補了行業空白，成為企業擁有AI的新起點。

人工智能的發展，是算力、算法和數據三要素系統突破的結果。浪潮信息研發工程師基于通用服務器NF8260G7的軟硬件協同創新，為千億參數AI大模型在通用服務器的推理部署，提供了性能更強，成本更經濟的選擇，讓AI大模型應用可以與云、大數據、數據庫等應用能夠實現更緊密的融合，從而充分釋放人工智能在千行百業中的創新活力，讓人工智能真正"落入凡間"，推動社會和經濟的發展。