北京2025年8月8日 /美通社/ -- 8月7日，浪潮信息發(fā)布面向萬億參數(shù)大模型的超節(jié)點AI服務(wù)器"元腦SD200"。該產(chǎn)品基于浪潮信息創(chuàng)新研發(fā)的多主機低延遲內(nèi)存語義通信架構(gòu)，以開放系統(tǒng)設(shè)計向上擴展支持64路本土GPU芯片。元腦SD200可實現(xiàn)單機內(nèi)運行超萬億參數(shù)大模型，并支持多個領(lǐng)先大模型機內(nèi)同時運行及多智能體實時協(xié)作與按需調(diào)用，目前已率先實現(xiàn)商用。在實際評測中，元腦SD200運行DeepSeek R1和Kimi K2等全參模型的64卡整機推理性能實現(xiàn)超線性擴展。
當(dāng)前，混合專家模型(MoE)的高效架構(gòu)正在驅(qū)動大模型參數(shù)規(guī)模持續(xù)擴展，國內(nèi)外前沿大模型的參數(shù)量快速突破萬億規(guī)模，這給算力系統(tǒng)架構(gòu)提出新的挑戰(zhàn)。一方面，模型參數(shù)量增加和序列長度增加帶來的鍵值緩存(KV cache)激增，需要智能計算系統(tǒng)具有超大顯存空間承載，依靠單芯片或節(jié)點的性能提升已難以為繼；且其推理過程作為通信敏感型計算，對分布式計算通信延時要求極高，需要構(gòu)建更大向上擴展(Scale up)高速互連域。另一方面，智能體AI開啟多模型協(xié)作的新范式，其推理過程需要生成比傳統(tǒng)模型多近百倍的數(shù)據(jù)詞元(token)，導(dǎo)致計算量激增。
元腦SD200超節(jié)點AI服務(wù)器是浪潮信息面向萬億參數(shù)大模型AI時代而設(shè)計，創(chuàng)新研發(fā)多主機低延遲內(nèi)存語義通信架構(gòu)，基于開放總線交換技術(shù)構(gòu)建，在單機內(nèi)實現(xiàn)了64路GPU芯片的高速統(tǒng)一互連，成功解決萬億大模型對超大顯存空間和超低通信延時的核心需求。在開放架構(gòu)之上，元腦SD200通過智能總線管理和開放的預(yù)填充-解碼(Prefill-Decoder)分離推理框架實現(xiàn)軟硬件深度協(xié)同，智能化管理復(fù)雜AI計算任務(wù)。
- 在架構(gòu)層面，元腦SD200基于自主研發(fā)的開放總線交換技術(shù)首創(chuàng)多主機三維網(wǎng)格系統(tǒng)架構(gòu)，實現(xiàn)64路本土GPU芯片高速互連；通過創(chuàng)新遠端GPU虛擬映射技術(shù)，突破多主機交換域統(tǒng)一編址難題，實現(xiàn)顯存統(tǒng)一地址空間擴增8倍，單機可以提供最大4TB顯存和64TB內(nèi)存，為萬億參數(shù)、超長序列大模型提供充足鍵值緩存空間。同時，依托百納秒級超低延遲鏈路，構(gòu)建64卡大高速互連域統(tǒng)一原生內(nèi)存語義通信，實測結(jié)果表明，在推理過程常見的小數(shù)據(jù)包通信場景中，全規(guī)約(All Reduce)性能表現(xiàn)優(yōu)異，顯著提升計算與通信效率。
- 在系統(tǒng)層面，根據(jù)萬億參數(shù)大模型計算、通信需求特征，浪潮信息開發(fā)智能總線管理系統(tǒng)，實現(xiàn)超節(jié)點64卡全局最優(yōu)路由的自動創(chuàng)建，支持不同拓撲切換，資源按需切分。對于全規(guī)約、全聚集(All Gather)等典型通信算子，開展不同數(shù)據(jù)量大小的細粒度通信策略設(shè)計，如多層級通信機制等，實現(xiàn)通信延時進一步降低。同時依托開放的PD分離框架，支持異步KV Cache高效傳輸與差異化并行策略，在提升業(yè)務(wù)服務(wù)級別目標(biāo)的同時保持對多元算力的兼容性，實現(xiàn)計算與通信架構(gòu)的深度協(xié)同優(yōu)化。
元腦SD200超節(jié)點AI服務(wù)器通過軟硬協(xié)同系統(tǒng)創(chuàng)新，成功向上擴展突破芯片性能邊界，在大模型場景中展示出優(yōu)異的性能表現(xiàn)。結(jié)合優(yōu)化的PD分離框架，SD200超節(jié)點滿機運行DeepSeek R1全參模型推理性能超線性提升比為3.7倍，滿機運行Kimi K2全參模型推理性能超線性提升比為1.7倍。
當(dāng)前，開源模型的飛躍式進步正在加速智能時代的到來，推動研發(fā)范式從封閉走向開放協(xié)作。同時，隨著大模型參數(shù)量的持續(xù)提升，對算力基礎(chǔ)設(shè)施的建設(shè)提出了更高要求。浪潮信息通過開放系統(tǒng)架構(gòu)創(chuàng)新，為開源大模型的規(guī)模化落地和應(yīng)用創(chuàng)新提供關(guān)鍵支撐。
