北京2025年2月26日 /美通社/ -- 浪潮信息元腦R1推理服務器已完成對開源框架SGLang最新版本的深度適配，成功實現在單機高性能運行DeepSeek R1 671B模型時可最大支持超過1000路的用戶并發訪問。
DeepSeek R1參數量達到6710億，采用了MLA注意力機制和共享專家、路由專家共同組成的混合專家(MoE)架構，其創新的模型架構也帶來了在推理服務上的性能挑戰。浪潮信息團隊從AI服務器和推理框架入手開展了協同優化工作。
元腦R1推理服務器NF5688G7原生搭載FP8計算引擎，針對DeepSeek R1 671B模型部署速度快且無精度損失，1128GB HBM3e高速顯存滿足671B模型 FP8精度下不低于800GB顯存容量的需求，單機支持全量模型推理情況下，仍保留充足的KV緩存空間。顯存帶寬高達4.8TB/s，完美契合DeepSeek R1模型"短輸入長輸出、顯存帶寬敏感"的技術特征，在推理解碼階段可實現極致加速。在通信方面，GPU P2P帶寬達900GB/s，保障單機部署張量并行最佳通訊性能。
SGLang是新興的開源推理框架項目，其得到活躍的社區支持，并在工業界獲得了廣泛應用。SGlang的核心特性包括：快速的后端運行時、靈活的前端語言、廣泛的模型支持等。尤其值得關注的是，SGLang針對MLA注意力機制開展了針對性的工程優化，并在框架上對MoE架構的推理做了優化設計。SGLang也是最早適配DeepSeek v3和R1的優選推理框架之一。
目前，元腦R1推理服務器 NF5688G7已完成SGLang最新版本 0.4.3的適配優化工作。通過硬件調優、算子優化、混合并行、多token預測等多方面的工程實踐，在元腦R1推理服務器 NF5688G7上運行DeepSeek 671B R1模型，成功實現了單用戶解碼最高33 tokens/s及最大用戶并發超1000的優異性能表現。
單路并發性能測試日志，根據TPOT換算用戶解碼性能為33.3 tokens/s
DeepSeek R1 671B是一個稀疏度較高的MoE架構模型，具有模型參數量大、計算量小的特點。和Dense模型相比，在滿足KV cache的顯存占用的前提下，可以支持更高的并發訪問需求。實測數據表明，基于單臺NF5688G7，在使用DeepSeek R1進行帶思維鏈深度思考的短輸入長輸出的問答場景下，使用100/1000作為輸入輸出長度，實測在單個用戶并發時的解碼性能為33.3tokens/s；在16個用戶并發時，每個用戶有約20 tokens/s的解碼性能；在64個用戶并發時，每個用戶有約10.4 tokens/s的解碼性能。而在使用1024個用戶并發訪問的極限測試時，單臺NF5688G7實現了3975.76 tokens/s的吞吐性能，可以滿足超高并發場景下多用戶使用需求。
1024路并發性能測試日志，測試使用了1000/1000的輸入輸出長度，實現了3975.76 tokens/s的總設備吞吐
浪潮信息團隊正與業內團隊密切合作，在計算架構、算子調優、并行策略、框架適配、調度管理等多個方面持續發力，旨在為用戶帶來高性能、高效穩定、性價比高的DeepSeek大模型部署服務方案，助力大模型快速落地應用。
浪潮信息是全球領先的IT基礎設施產品、方案和服務提供商，通過發展新一代以系統為核心的計算架構，打造開放、多元、綠色的元腦智算產品和方案。浪潮信息致力于AI計算平臺、資源平臺和算法平臺的研發創新，并通過元腦生態攜手領先伙伴，加速人工智能的創新和應用落地。
