大模型混合云，到了系統性創新突圍的關鍵時刻
文 | 智能相對論
作者 | 陳泊丞
亞馬遜與Anthropic、微軟與OpenAI以及華為云提出的大模型混合云概念等等種種信號都在表明，云計算與大模型深度融合發展的趨勢已是業內共識。
目前，以生成式AI為導向，越來越多的公司開始加速大模型技術在云計算平臺上的部署和應用，而又反向推動云計算產業的迭代與升級。
從底層的基礎設施到中間層的平臺服務再到頂層的場景應用，云計算正經歷著顯著變革。以亞馬遜云科技為例，作為全球云計算巨頭，他家的云產品正全面為大模型的部署與應用做好技術層面的鋪墊。
一、在底層，打造以GPU和自研芯片為代表的基礎設施，用于基礎模型的訓練以及在生產環境中運行推理。
二、在中間層，推出Amazon Bedrock，基于完全托管的服務，允許用戶輕松接入經過嚴格篩選的第三方品牌大模型，如AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI等，以及亞馬遜自有品牌的大模型Amazon Titan。
三、在頂層，通過基礎模型構建開箱即用的生成式AI應用程序如Amazon Q等，讓用戶無需任何專業知識即可快速上手生成式AI。
由此來看，生成式AI的發展正在改變云計算本身的產業格局，整個市場的競爭也到了前所未有的變革階段。
生成式AI，重構了云
秉持著亞馬遜云科技類似觀點和行動的，還有本土的云廠商們。
百度集團副總裁侯震宇此前便提出，大模型將驅動云計算的創新，并重塑云計算的產業格局，在驅動了底層IT基礎設施的重構，也帶來了上層應用開發模式的變革。
而華為云發布的國內業界首個大模型混合云——華為云Stack 8.3，則是把混合云與大模型相結合，更具體地反饋出了云服務發展的新方向——通過提供算力平臺、云服務、開發套件和專業服務等完整的AI生產鏈，打通了從基礎設施到應用開發的技術路徑，幫助政企客戶一站式建立專屬大模型能力，成了云服務的進階能力。
而這種能力的進階，基于大模型混合云的技術發展而言，其本質是一種應用場景的特化。
比如，云邊協同技術在大模型混合云上的延續應用與創新，其目的是為了解決AI大模型逐步應用到煤礦生產、電力巡檢、工業質檢等工業場景中所暴露出來的邊緣實時推理需求。
一方面，工業場景對AI應用的需求比其他場景更多，且效率要求也更高，低延時、高敏捷、廣泛部署都需要做好邊緣管理和應用工作。另一方面，當AI大模型走向工業場景應用，其版本迭代、功能升級就不可避免地進入邊用邊學、邊升級邊應用的階段。
由此，云邊協同成為關鍵，需平衡計算資源、優化數據流動、提升處理效率和增強服務質量，支撐了多樣化、高要求的AI應用場景。
華為混合云提出的云邊協同方案基于混合云的ModelArts AI開發平臺和盤古大模型，形成了一站式的場景化模型訓練工作流。再通過采集原始生產樣本數據和模型運行中產生的存疑樣本數據，使用工作流高效訓練模型，并統一管理模型版本，有效實現了AI模型邊用邊學、快速迭代、持續升級、能適應新的工況和數據變化。
再說數據問題，其中數據存儲就困擾著AI大模型訓練效率。隨著AI大模型參數量的增加，訓練集群規模也不斷擴大，而傳統存儲從架構上就已經難以應對超大規模AI集群數據快讀、Checkpoint快存、故障快速恢復的需求。
面對這樣的特定需求，華為云不得不在存儲架構上來尋求突破，基于于OBS數據湖、SFS Turbo高性能并行文件系統和AI Turbo加速的創新三層架構，從而系統地應對大模型訓練場景的挑戰。
總的來說，只是為了應對AI大模型的各類場景問題，云服務就需要從底層基礎設施到頂層應用來全面創新，提出對應的解決方案以進一步推動AI大模型的發展。那么，擺在大模型混合云面前的技術難點并不會太少，近年來華為云一直在通過系統性的創新解決大模型應用的關鍵堵點，其發布的大模型混合云十大創新技術就包括了除云邊協同、數據存儲之外還有增強AI網絡、算子加速、統一數據編碼、多樣性算力調度等等。
事實上，拋開華為云提出的大模型混合云這樣系統的概念不談，業內對于云與大模型的結合已經達成共識，并致力于提供各類技術方案，來解決大模型在云上的各種訓練、推理、應用等需求。
像京東云推出了一套大模型的完整工具，包括支撐大模型應用的基礎設施——言犀AI開發計算平臺、向量數據庫、混合多云操作系統云艦、高性能存儲平臺云海、軟硬一體虛擬化引擎京剛等核心產品，對應的就是在云的基礎上推動大模型的產業化發展。
大模型混合云的系統性突圍
亞馬遜云科技、華為云、京東云、百度智能云等諸多廠商面向今天爆發的大模型時代，無一不在致力于打造完整的技術解決方案，把底層、中間層、頂層等一系列的流程和服務包辦，從而讓大模型能在云上持續部署和應用，釋放價值。
大模型混合云這一概念的提出，更是把云廠商的這種綜合解決方案帶向了更加系統的階段。而這種系統性的形成，不僅要求云廠商要在技術上聚力，還要面向場景進行廣泛探索。
“對政府來說，他們關心的可能并不是簡單解決內部節約一個客服人員、運維人員的問題，而是更多站在產業布局角度，通過大模型帶動整個產業的發展。”眾數信科創始人兼CEO吳炳坤在接受媒體采訪時說道。
基于云服務行業的發展趨勢，這種產業的系統性發展實際上就需要借助云技術的系統性升級來實現——這是一種大格局的體現。對此，從傳統的多云策略來看，大模型混合云的提出更能展現出未來云服務的大格局。
多云策略側重于使用多個云服務提供商的服務，以避免供應商鎖定，同時優化成本或利用各服務商的優勢。而大模型混合云雖然也可能涉及多個云環境，但其核心在于構建一個高度整合、優化的大規模數據處理和AI模型運行環境，不單純為了分散服務來源，而是為了實現特定的技術和業務目標。
比如，華為云Stack的多云協同架構，就允許行業大模型在公有云上進行訓練，同時還能結合企業本地數據在混合云中微調，然后在邊緣云進行推理，從而滿足不同場景下的計算需求。
這樣做的本質不是為了分散“云”，而是基于原生混合云能力，讓用戶可以將大模型從本地延伸到邊緣和公有云，實現全場景跨云部署，達到應用效率、安全性能等結果的最優化。
因此，總結來說，大模型混合云是針對特定領域（特別是需要處理大規模數據和復雜AI模型的場景）優化的混合云架構，它集成了公有云的彈性與私有云的安全控制，以及可能的多云服務，以滿足高性能計算和AI應用的特殊需求。
這種集成實現的技術系統性將在接下來的時間內成就產業的系統性發展，也就是“不是簡單解決內部節約一個客服人員、運維人員的問題，而是更多站在產業布局角度，通過大模型帶動整個產業的發展。”
因此，基于這樣的系統性發展，接下來大模型+混合云的發展將形成了較為顯著的幾大趨勢。
一、在算力調度上，大模型的訓練和推理通常需要大量的計算資源。隨著模型規模的增長，對算力的需求也在增加。混合云環境下的算力調度和優化技術會持續發展，以支持更高效的大模型訓練和推理。
二、在云邊協同上，隨著物聯網（IoT）設備的普及，邊緣計算變得越來越重要。混合云架構將支持更緊密的云邊協同，使大模型能夠在邊緣進行實時推理，減少延遲并提高響應速度。
三、在基礎設施上，AI-Native存儲和網絡技術將繼續演進，以支持更高效的模型訓練和推理過程。例如，高性能存儲支持多級緩存機制，實現Checkpoint秒級存取，以及訓練故障分鐘級恢復。
四、在模型應用上，企業可以通過混合云環境中的本地數據對預訓練的大模型進行微調，以適應特定業務場景的需求，同時保持數據的私密性。
五、在業務部署上，不同行業（如金融、醫療、制造等）將利用混合云上的大模型來解決特定的業務挑戰，促進業務創新和流程自動化。同時，大模型在混合云環境中更容易實現規模化部署，特別是在那些分布廣泛的企業和行業中，如能源、交通、制造等領域。
六、在生態建設上，大模型和混合云的結合將促進更多生態合作伙伴的加入，共同開發解決方案和服務，擴大整個生態系統。同時，隨著大模型混合云應用的增多，相關標準和協議也將逐步制定和完善，以提高不同系統間的互操作性和兼容性。
寫在最后
現如今，大模型擁有了數億乃至數十億的參數量，這為生成式AI的發展提供了前所未有的計算規模和復雜度。更多的參數意味著模型可以學習到更深層次、更精細的數據特征，從而在文本生成、圖像合成、音頻創作等多個領域生成更高質量和多樣性的內容，很好地推動了生成式AI的高質量發展。
而這樣的能力對于產業而言，正是未來產業轉型升級的一大關鍵。云計算同樣作為產業升級的底層技術，與生成式AI的協同將以更全面、完整的形態來實現這一目標。但是，在這個過程中，云如何與生成式AI背后的大模型進行結合，將是關鍵性問題。
生成式AI這趟“順風車”，亞馬遜云科技、華為云、京東云、百度智能云等云廠商都想搭，但是搭起來卻是得費些心思咯。
*本文圖片均來源于網絡
此內容為【智能相對論】原創，
僅代表個人觀點，未經授權，任何人不得以任何方式使用，包括轉載、摘編、復制或建立鏡像。
部分圖片來自網絡，且未核實版權歸屬，不作為商業用途，如有侵犯，請作者與我們聯系。
?AI產業新媒體;
?澎湃新聞科技榜單月度top5;
?文章長期“霸占”鈦媒體熱門文章排行榜TOP10;
?著有《人工智能 十萬個為什么》
?【重點關注領域】智能家電（含白電、黑電、智能手機、無人機等AIoT設備）、智能駕駛、AI+醫療、機器人、物聯網、AI+金融、AI+教育、AR/VR、云計算、開發者以及背后的芯片、算法等。
轉載請在文章開頭和結尾顯眼處標注：作者、出處和鏈接。不按規范轉載侵權必究。
未經授權嚴禁轉載，授權事宜請聯系作者本人，侵權必究。
本文禁止轉載，侵權必究。
授權事宜請至數英微信公眾號(ID: digitaling) 后臺授權，侵權必究。
評論
評論
推薦評論
暫無評論哦，快來評論一下吧！
全部評論（0條）