MoE大模型迎來“原生戰(zhàn)友”：昇騰超節(jié)點重構(gòu)AI基礎(chǔ)設(shè)施
對AI比較關(guān)注的話，大概率會聽到下面兩個“時髦”的概念：
一個是Scaling Law，通常被翻譯為“規(guī)模定律”，得出了一個通俗易懂的結(jié)論——“模型越大，性能越好。”
另一個是MoE架構(gòu)，中文名稱是混合專家模型，相對應的概念是稠密（Dense）模型。如果說稠密模型一個“通才”，由一個“專家”處理多種不同的任務，MoE則是將任務分門別類，分給多個“專家”進行解決。
Scaling Law和MoE的出鏡率越來越高，意味著大模型的參數(shù)量將越來越大，同時開始提升“能力密度”。直接相關(guān)的就是大模型的訓練和推理，正在從粗放燒錢到精細調(diào)優(yōu)，從堆算力轉(zhuǎn)向算力利用率最大化。
站在大模型工程化創(chuàng)新的十字路口，恰逢鯤鵬昇騰開發(fā)者大會2025前夕，“昇騰超節(jié)點”迅速成為技術(shù)圈的熱門話題。
由此產(chǎn)生的一個問題是：MoE架構(gòu)大模型的訓練都遇到了哪些挑戰(zhàn)，昇騰給出了什么新解法？
01 MoE架構(gòu)成主流，大模型訓練遇到“三座大山”
Mixtral、DeepSeek R1、Llama 4、Qwen3……近一年現(xiàn)象級刷屏的大模型，清一色地采用了MoE架構(gòu)。
原因離不開MoE的架構(gòu)創(chuàng)新。
每個專家負責任務的一部分，極大地提升了模型的可擴展性；每個專家都能針對整個問題的特定方面進行微調(diào)，進一步提升了模型的專業(yè)化和準確性；每次請求只激活部分專家，顯著減少了每次推理的計算負荷……
當MoE架構(gòu)演變?yōu)榇竽Ｐ偷闹髁鞣妒剑煞掌鳌⒋鎯Α⒕W(wǎng)絡等設(shè)備堆疊而成的傳統(tǒng)集群，在大模型訓練上遇到了“三座大山”。
一是資源利用率低。
MoE架構(gòu)對負載均衡非常敏感，路由機制如果分布不均，某些專家會頻繁被調(diào)用，而其他專家?guī)缀蹰e置。
傳統(tǒng)AI集群部署MoE模型時，每臺服務器只部署部分專家，缺乏全局調(diào)度能力。由于路由機制無法感知底層資源狀態(tài)，可能導致部分服務器的使用率大于90%，部分服務器幾乎不參與計算。結(jié)果就是，GPU的利用率遠低于理論峰值，直接拉長了模型的訓練周期，提升了能耗與成本。
二是系統(tǒng)穩(wěn)定性差。
MoE架構(gòu)依賴動態(tài)路由+專家選擇，對系統(tǒng)的持續(xù)穩(wěn)定性要求遠高于傳統(tǒng)Dense模型，讓工程的復雜度陡升。
在傳統(tǒng)AI集群上訓練MoE模型，任何一個節(jié)點的故障，都可能導致整個訓練任務失敗。比如某MoE大模型的訓練過程，由于集群規(guī)模超過1000張加速卡，平均無故障運行時間不足6小時，每24小時需重新調(diào)度兩次以上，單次訓練需要數(shù)天乃至數(shù)周，運維人員長期處于高強度監(jiān)控狀態(tài)。
三是通信帶寬瓶頸。
MoE架構(gòu)的“小專家”，理論上可以節(jié)省計算資源，前提是能靈活高效地選擇和調(diào)度，對通信帶寬提出了極高要求。
在傳統(tǒng)AI集群中，GPU之間通過PCle或InfiniBand通信，激活路由涉及大量跨卡、跨節(jié)點訪問，導致在All-to-All通信模式下，MoE架構(gòu)的通信壓力遠大于Dense架構(gòu)，訓練速度甚至比Dense更慢。當GPU資源被通信“拖死”，哪怕是業(yè)界主流的高帶寬GPU，訓練效率也難以線性提升。
以上還只是大模型訓練時的常見痛點。
倘若推理階段依然部署在傳統(tǒng)AI集群上，在不支持高頻動態(tài)路由和異構(gòu)推理請求的環(huán)境下，用戶請求要觸發(fā)不同專家組合，再加上請求跳轉(zhuǎn)至跨節(jié)點專家時時延大，有些請求的延遲高達200ms以上。
訓練系統(tǒng)的可用性，決定著智能化的速度。無法解決資源利用率低、系統(tǒng)穩(wěn)定性差、通信帶寬瓶頸的傳統(tǒng)AI集群，已經(jīng)不符合大模型的創(chuàng)新趨勢。
02 更親和MoE架構(gòu)，“昇騰超節(jié)點”有何不同？
傳統(tǒng)AI集群的本質(zhì)是做加法，即通過硬件堆疊的方式提升算力，在大模型早期確實奏效，短板也很明顯。
被技術(shù)圈追捧的昇騰超節(jié)點，可以看作是算力集群走向“乘法”式增長的標志，不僅僅是計算，進一步結(jié)合了存儲、通信等能力，計算性能倍增的同時，實現(xiàn)了時延、吞吐、負載均衡等能力的整體躍遷。
用一句話總結(jié)的話，昇騰超節(jié)點實現(xiàn)了讓384張卡像一臺計算機一樣工作，更親和MoE架構(gòu)。
根源是昇騰的四個針對性創(chuàng)新。
第一個是自研高速互聯(lián)協(xié)議，能夠?qū)⒊砂偕锨€NPU以TB級帶寬超高速互聯(lián)，大幅提升了并行計算的通信效率。
相較于傳統(tǒng)集群，實現(xiàn)超低延遲、高帶寬通信的昇騰超節(jié)點，大模型訓練的All-to-All通信性能可提升5倍，send/recv集合通信性能可提升7倍，進而大幅降低了整體通信占比，讓計算少等待、不等待。打破了通信上存在的瓶頸，整體訓練效率提升了3倍、推理吞吐提升了6倍。
第二個是軟硬件協(xié)同調(diào)度，通過異構(gòu)計算平臺CANN的協(xié)同，支持專家調(diào)度感知訓練負載與NPU負載實時狀態(tài)。
針對MoE模型訓練中專家熱點分布造成部分計算節(jié)點過載的問題，昇騰“超節(jié)點架構(gòu)”能夠依據(jù)MoE結(jié)構(gòu)中專家分布以及每層的計算需求，精細地將個模型切分至不同節(jié)點，更合理分配資源，提高整體資源利用率，同時可運行多種并行策略并動態(tài)調(diào)整，針對實時的負載情況精準分配計算資源。
第三個是全局內(nèi)存統(tǒng)一編址，所有的節(jié)點共享一套全局內(nèi)存體系，數(shù)據(jù)無需頻繁搬移，以此來提高訓練的效率。
DeepSeek R1已經(jīng)有288個專家，不排除大模型專家數(shù)量越來越多的可能。支持全局內(nèi)存統(tǒng)一編址的昇騰超節(jié)點，具備更高效的內(nèi)存語義通信能力，通過更低時延指令級內(nèi)存語義通信，可滿足大模型訓練/推理中的小包通信需求，提升專家網(wǎng)絡小包數(shù)據(jù)傳輸及離散隨機訪存通信效率。
第四個是系統(tǒng)穩(wěn)定性的提升，保證訓練不中斷、推理更可靠，大幅降低了MoE大模型的部署和運維門檻。
比如MoE訓練過程一旦某專家節(jié)點異常，可能導致全局失敗的問題。昇騰超節(jié)點采用了7平面的鏈路設(shè)計、鏈路故障秒級切換、算子級重傳等可靠性能力，確保大模型訓練不中斷，平均無故障運行時長從幾小時提升到幾天。同時支持更敏捷的斷點續(xù)訓，故障恢復時長從小時級降低至15分鐘。
可以佐證的是，基于超節(jié)點設(shè)計的AI集群Atlas 900 A3 SuperCluster，在測試中突破了Scale Up物理節(jié)點計算瓶頸，平均無故障運行時長達到數(shù)天，訓練效率提升了2.7倍；由于所有專家集中部署在一個超節(jié)點，在推理過程中實現(xiàn)了15ms超低延遲和高吞吐能力，對推薦系統(tǒng)、搜索排序、智能客服等對延遲極敏感的應用場景更加友好。
03 算力創(chuàng)新蝶變：從“硬件堆疊”到“系統(tǒng)級協(xié)同”
除了性能上的提升，MoE架構(gòu)創(chuàng)新的另一個深遠影響，在于降低了推理階段的綜合成本。
過去，大模型的強大性能往往伴隨著極高的算力消耗，導致部署門檻極高。MoE通過“按需激活”的專家機制，在保證精度的同時大幅節(jié)省了計算資源，為企業(yè)級、行業(yè)級AI應用的落地打通了路徑。
昇騰在算力底層架構(gòu)上的實干式創(chuàng)新，向外界揭示了一個新的趨勢：當大模型走出實驗室，走向生產(chǎn)一線，走向規(guī)模化應用，為AI提供源動力的基礎(chǔ)設(shè)施，不再是“硬件堆疊”，而是計算、存儲、網(wǎng)絡的“系統(tǒng)級協(xié)同”。
不單單是親和MoE模型，搬走了大模型訓練的“三座大山”，還預示著AI基礎(chǔ)設(shè)施的“工程可控性”和“業(yè)務適配性”，更好地支持大模型在工業(yè)、能源、交通、金融等領(lǐng)域的規(guī)模化部署。
轉(zhuǎn)載請在文章開頭和結(jié)尾顯眼處標注：作者、出處和鏈接。不按規(guī)范轉(zhuǎn)載侵權(quán)必究。
未經(jīng)授權(quán)嚴禁轉(zhuǎn)載，授權(quán)事宜請聯(lián)系作者本人，侵權(quán)必究。
本文禁止轉(zhuǎn)載，侵權(quán)必究。
授權(quán)事宜請至數(shù)英微信公眾號(ID: digitaling) 后臺授權(quán)，侵權(quán)必究。
評論
評論
推薦評論
暫無評論哦，快來評論一下吧！
全部評論（0條）