燧原科技發布首款人工智能推理產品“云燧®i10”。這是一款面向云端數據中心的高性能推理卡。云燧i10是單槽位標準卡，支持PCIe 4.0，FP32算力達到17.6TFLOPS，BF16/FP16算力70.4TFLOPS。同時，燧原科技發布了推理引擎“鑒算TopsInference”，可以為深度學習應用提供低延遲、高吞吐率的推理性能，并降低數據中心的部署成本。云燧i10將于明年第一季度上市。

“云燧i10”擁有卓越的算力、出色的通用性以及優異的價值特性。

• 高算力、多精度：FP32算力17.6TFLOPS，BF16/FP16算力70.4TFLOPS；采用自主指令集，支持從FP32到INT8等多種精度，而最大功耗僅為150W；
• 高能效、高可靠性：采用動態調頻調壓（DVFS）技術，根據負載加速應用性能，支持RAS、ECC；
• 設備虛擬化：實現多用戶支持，最大可支持4個設備實例，具備計算與存儲資源的獨享性，多用戶間安全隔離；單顆芯片上可同時部署不同的業務與負載，實現多任務并行，有效提高利用率；支持KVM、Xen等系統虛擬化平臺；
• 易編程、生態開放：開放C++和Python編程接口，支持CNN及NLP典型模型，支持主流機器學習框架，并通過SDK提供深度定制。

燧原科技同時推出針對推理產品的高性能神經網絡模型推理引擎“鑒算TopsInference”，通過計算圖優化、算子融合、模型壓縮、量化等優化技術，可以為深度學習應用提供低延遲、高吞吐率的推理性能。通過TopsInference的推理加速，配合i10 的高算力及虛擬化技術，數據中心可以高性價比地部署計算密集型深度學習工作負載。此外TopsInference除TensorFlow、PyTorch模型格式外，還支持ONNX通用模型格式，借助燧原GCU-CARA架構的可編程性，可以應對未來深度神經網絡日益多樣化、復雜的增長趨勢。

（美通社,2020年12月21日上海）