2023年9 月 29 日，由阿里云、NVIDIA 聯合主辦，阿里云天池平臺承辦的 “NVIDIA TensorRT Hackathon 2023 生成式 AI 模型優化賽” 圓滿落幕。該賽事自2020年以來，已成功舉辦三屆，本屆賽事于今年 7 月啟動，吸引了來自全國 729 支開發者團隊報名參賽，其中共有 40 支團隊晉級復賽，最終 26 支團隊于決賽中脫穎而出，分獲冠軍/亞軍/季軍及優勝獎，展現出了卓越的技術實力。

解鎖 TensorRT-LLM 挖掘生成式 AI 新需求

今年的NVIDIA TensorRT Hackathon著重提升選手開發 TensorRT 應用的能力。

在過去的一年里，生成式 AI 迎來了爆發式增長。計算機能夠批量生成大量圖像和文本，有的甚至能夠媲美專業創作者的作品。這為未來生成式 AI 模型的發展鋪平了道路，令人充滿期待。正因如此，NVIDIA TensorRT Hackathon 2023 選擇生成式 AI 模型作為比賽的主題，以激發選手的創新潛力。

今年的比賽設置了初賽和復賽兩組賽題——初賽階段，選手需要利用 TensorRT 加速帶有 ControlNet 的 Stable Diffusion pipeline，以優化后的運行時間和出圖質量作為主要排名依據；復賽為開放賽題，選手可自由選擇公開的 Transformer 模型，并利用 TensorRT 或 NVIDIA TensorRT-LLM 進行模型推理優化。

NVIDIA TensorRT™ 作為 GPU 上的 AI 推理加速庫，一直以來都備受業界認可與青睞。本次比賽的背后是 NVIDIA TensorRT 開發團隊對產品不斷進行改進和優化的結果。通過讓更多模型能夠順利通過 ONNX 自動解析得到加速，并對常見模型結構進行深度優化，極大地提高了 TensorRT 的可用性和性能。這意味著大部分模型無需經過繁瑣的手工優化，就能夠在 TensorRT 上有出色的性能表現。

TensorRT-LLM 是 NVIDIA 即將推出用于大語言模型推理的工具，目前已于官網開放試用。作為此次復賽推薦使用的開發工具之一，TensorRT-LLM 包含 TensorRT 深度學習編譯器，并且帶有經過優化的 CUDA kernel、前處理和后處理步驟，以及多 GPU/多節點通信，可以在 NVIDIA GPU 上提供出類拔萃的性能。它通過一個開源的模塊化 Python 應用 API 提高易用性和可擴展性，使開發人員能夠嘗試新的 LLM，提供最頂尖的性能和快速自定義功能，且不需要開發人員具備深厚的 C++ 或 CUDA 知識。

作為本次大賽的主辦方之一，阿里云天池平臺為參賽選手提供了卓越的云上技術支持，在阿里云GPU云服務器中內置 NVIDIA A10 Tensor Core GPU，參賽者通過云上實例進行開發和訓練優化模型，體驗云開發時代的AI工程化魅力。同時，由NVIDIA 30 名工程師組成導師團隊，為晉級復賽的 40 支隊伍提供一對一輔導陪賽，助力選手獲得佳績。

從實踐到迭代  腦力與創造力的集中比拼

本次比賽中涌現出大量優秀的開發者。在獲獎的 26 支團隊中，有不少團隊選擇借助 TensorRT-LLM 對通義千問-7B 進行模型推理優化。

通義千問-7B（Qwen-7B）是阿里云研發的通義千問大模型系列的 70 億參數規模的模型，基于 Transformer 的大語言模型，在超大規模的預訓練數據上進行訓練得到。在 Qwen-7B 的基礎上，還使用對齊機制打造了基于大語言模型的 AI 助手 Qwen-7B-Chat。

獲得此次比賽一等獎的 “無聲優化者（著）” 團隊，選擇使用 TensorRT-LLM 完成對 Qwen-7B-Chat 實現推理加速。在開發過程中，克服了 Hugging Face 轉 Tensor-LLM、首次運行報顯存分配錯誤、模型 logits 無法對齊等挑戰與困難，最終在優化效果上，吞吐量最高提升了 4.57 倍，生成速度最高提升了 5.56 倍。

而獲得此次賽事二等獎的 “NaN-emm” 團隊，在復賽階段，則選擇使用 TensorRT-LLM 實現 RPTQ 量化。RPTQ 是一種新穎的基于重排序的量化方法，同時量化了權重與中間結果（W8A8），加速了計算。從最開始不熟悉任何 LLM 模型，到后續逐步學習和了解相關技術，“NaN-emm” 團隊啟用了GEMM plugin，GPT Attention plugin，完成了 VIT、Q-Former、Vicuna-7B 模型的轉化，最終通過 40 個測試數據，基于 Torch 框架推理耗時 145 秒，而經過 TensorRT-LLM 優化的推理引擎耗時為 115 秒。

本次大賽還涌現了一批優秀的開發者，本屆參賽選手鄧順子不僅率領隊伍獲得了一等獎，還收獲了本次比賽唯一的特別貢獻獎。他表示，2022 年的 Hackathon 比賽是他首次接觸 TensorRT，這使他對模型推理加速產生了濃厚的興趣。盡管當時未能進入復賽，但那次經歷讓他深感自身技能的不足。在上一次比賽中，他目睹了頂尖選手使用 FasterTransformer 在比賽中取得領先地位，這一經歷讓他對 AI 技術有了更深入的理解和追求。隨后，他積極做 TensorRT 上的模型開發，特別是對 ChatGLM/Bloom 等新興模型進行了優化，感受到了 TensorRT 的強大。

今年，他再次參加了 TensorRT Hackathon 2023，利用 TensorRT-LLM 成功優化了 QWen 大模型，實現了自己的夢想。他感謝主辦方給予的機會，團隊的支持，以及所有參賽者的努力，他期待未來能與大家一起為 AI 技術的發展創造更多奇跡。

人工智能應用場景創新日新月異，AI 模型的開發與部署也需要注入新的動能。在此次賽事中，選手們基于 TensorRT 挖掘出更多的潛能和功能需求。未來，阿里云和NVIDIA 還將持續為開發者和技術愛好者提供展示技能和創意的平臺，天池平臺將與更多優秀的開發者一同推進 TensorRT 的發展，讓 AI 在 GPU 上更容易、更高效地部署。