人工智能大模型以其龐大的參數規模和海量的訓練數據量著稱,需要由數千塊AI芯片組成的服務器集群來支撐其運算。相關數據顯示,在10天內訓練1000億參數規模、1PB訓練數據集,約需1.08萬個英偉達A100GPU。這一數字揭示了AI大模型背后巨大的經濟成本。
近日,AI初創企業Anthropic的CEO兼總裁達里奧·阿莫代(Dario Amodei)在一檔播客節目中表示,目前公司正在開發的AI模型訓練成本高達10億美元,他預計,AI模型的訓練成本在2027年之前提升到100億美元,甚至是1000億美元。
在此背景下,輕量化大模型的概念應運而生,對大模型進行量化、剪枝等壓縮操作,已成為模型部署過程中常用的策略。這些技術旨在降低模型的計算復雜度和減少存儲需求,從而加快模型推理速度,降低運行成本,并使其更易于在邊緣設備或資源受限的環境中部署。這一理念不僅有利于實現“雙碳”目標,也為AI技術的普及和落地應用開辟了新的道路。
知識蒸餾技術助力降低算力成本。近日,谷歌DeepMind開源了Gemma 2,這是其小型語言模型系列的下一代產品。谷歌團隊在Gemma 2的架構上進行了多項改進,特別是引入了知識蒸餾(Knowledge Distillation,簡稱KD)技術。這是一種機器學習技術,主要用于模型壓縮和遷移學習,其核心思想是通過將大型模型(即“教師模型”)的知識傳遞給小型模型(即“學生模型”),以提高小型模型的性能。這種技術在不犧牲性能的前提下,大幅減少了模型的計算資源需求,使得Gemma 2不僅在同類規模的模型中表現出眾,甚至能與兩倍于其大小的模型性能相媲美。
Gemma 2的發布,無疑延續了近年來小型、開源語言模型家族蓬勃發展的行業趨勢。微軟的Phi和Meta的Llama等模型,同樣通過引入創新的架構改進(如GQA等)以及利用高質量的訓練數據,實現了遠超傳統小型模型的卓越性能。這一系列模型的涌現,不僅是技術進步的結果,更是為了滿足更廣泛應用場景的需求。通過軟硬件協同、算法優化和模型壓縮等多種手段,大模型正逐步實現更高效、更經濟、更親民的目標,從而推動人工智能技術的廣泛應用和發展。
創新模型量化方法,讓大模型“瘦身”90%。此前,清華大學和哈工大的一項聯合研究提出了大模型1bit極限壓縮框架OneBit,包括全新的1bit線性層結構、基于量化感知知識蒸餾的深度遷移學習等。1bit量化模型在計算上具有優勢,參數的純二進制表示,不但可以節省大量的空間,還能降低矩陣乘法對硬件的要求。該架構首次實現大模型權重壓縮超越90%并保留大部分(83%)能力,對于實現大模型在PC端甚至智能手機上的部署意義非凡。
輕量化大模型在端側AI中的應用尤為重要。它降低了邊緣計算的成本門檻,使更多應用程序和用戶能夠使用大模型進行推理計算,從而推動了AI向端側場景的落地。小米集團NLP首席科學家王斌此前指出,大模型將逐漸演進為小模型,并在本地部署中發揮重要作用。這不僅符合技術發展的趨勢,也有利于滿足差異化的應用需求。
輕量化大模型之所以受到如此廣泛的關注,是因為它解決了AI技術在實際應用中的諸多痛點問題。傳統的大型語言模型雖然性能強大,但往往因為計算復雜度高、存儲需求大而無法在資源受限的設備上高效運行。而輕量化大模型則通過減少模型的參數數量和降低復雜度,降低了對硬件資源的要求,使得AI技術能夠更廣泛地應用于移動設備、邊緣計算和實時應用等場景。
(記者 吳雙)
(責任編輯:沈曄)