新增市場份額超30%，昇思MindSpore成為AI框架的新選擇
2024年是大模型落地應(yīng)用的元年。
開發(fā)者們不再迷戀于“大練模型”，而是將大模型裝進了手機、帶到了課堂、融入的生產(chǎn)線、賦能到城市管理……大模型和場景的深入融合，不單單釋放出了新質(zhì)生產(chǎn)力，還默默重構(gòu)著產(chǎn)業(yè)上下游的格局。
12月14日的昇思人工智能框架峰會上，昇思MindSpore開源社區(qū)理事長丁誠向外界公布了一組新數(shù)據(jù)：昇思MindSpore AI框架開源版本的下載量已經(jīng)超過1100萬次，覆蓋全球130多個國家和地區(qū)的2400多個城市；3.7萬多名開發(fā)者參與社區(qū)貢獻，累積代碼提交10萬多行。
同一時間，中國科學(xué)院科技戰(zhàn)略咨詢研究院預(yù)測，中國AI框架2024年新增市場昇思份額將達30%。而根據(jù)IT行業(yè)的市場規(guī)律，一個AI框架的市場份額超過30%，意味著可能成為事實上的行業(yè)共識，將逐步形成完善的產(chǎn)業(yè)生態(tài)，進而推動技術(shù)更快的落地。
問題在于，為何昇思MindSpore會成為新增市場份額超過30%的AI框架，又將對大模型的落地應(yīng)用產(chǎn)生什么樣的影響？
01 立足開源開放，3.7萬名貢獻者撐起的繁榮生態(tài)
一個AI框架是否好用，開發(fā)者生態(tài)是不可或缺的一環(huán)。
時間回到2020年3月28日，昇思MindSpore AI框架正式開源。時值國內(nèi)深度學(xué)習(xí)框架的“春天”，不少企業(yè)都推出了自己AI框架，不乏同樣采取開源路線的玩家。不同的是，昇思MindSpore在開源之外，還著手構(gòu)建了一套完整的人才培養(yǎng)和社區(qū)治理體系。
先說人才培養(yǎng)。
當外界普遍抱怨AI人才難覓的時候，昇思MindSpore開源社區(qū)悄悄構(gòu)建了一套面向開發(fā)者分層分級的社區(qū)學(xué)習(xí)和發(fā)展體系。
第一階段是學(xué)習(xí)，社區(qū)提供了30多門系列主題課程，600多場線上線下專題活動，每年20多場創(chuàng)新訓(xùn)練營等專場賦能，目的是幫助每一個對AI有興趣的開發(fā)者，掌握人工智能相關(guān)的技術(shù)知識 ；
第二階段是實踐，開發(fā)者熟悉了AI相關(guān)的知識后，通過以賽促學(xué)、以練促學(xué)的方式，幫助開發(fā)者在實踐中提升。目前昇思MindSpore開源社區(qū)已經(jīng)發(fā)布了1100多個實習(xí)任務(wù)、舉辦了30多場大賽；
第三階段是創(chuàng)新，當開發(fā)者充分掌握AI技能后，借助專項學(xué)術(shù)論文基金、社區(qū)項目支持等方式，為開發(fā)者提供創(chuàng)新資源和成果激勵。比如CAAI-昇思學(xué)術(shù)基金、鯤鵬昇騰科研創(chuàng)新使能計劃等等；
第四階段是影響，對于成長起來的開發(fā)者，昇思MindSpore開源社區(qū)正在通過開發(fā)者/布道師認證、邀請加入SIG組和技術(shù)委員會等方式，幫助開發(fā)者提升影響力，同時以社區(qū)布道、答疑解惑等形式回饋社區(qū)。
再來說社區(qū)治理。
2023年6月的人工智能框架生態(tài)峰會上，昇思MindSpore與18家AI頂尖企業(yè)、學(xué)會、高校與科研院所聯(lián)合發(fā)布了《共建人工智能框架生態(tài)倡議》，同時成立了昇思MindSpore開源社區(qū)理事會。
其中昇思MindSpore開源社區(qū)理事會由理事會單位共同管理、決策和規(guī)劃社區(qū)的整體發(fā)展；技術(shù)委員會委員看護整體方案，共同決策社區(qū)的技術(shù)迭代演進；SIG組則全面看護各個技術(shù)領(lǐng)域，管理日程開發(fā)與維護，旨在構(gòu)建一個開放、多元、包容的AI技術(shù)生態(tài)，凝聚多種創(chuàng)新力量。
如果將人才比作種子的話，開源社區(qū)就像是一片肥沃的黑土地，為種子的發(fā)芽、生根、開花、結(jié)果源源不斷的提供養(yǎng)分，最終形成郁郁蔥蔥的森林，成為中國AI產(chǎn)業(yè)向上生長的堅實力量。
可以佐證的是：截止到2024年11月，昇思MindSpore的社區(qū)貢獻者已經(jīng)增長到3.7萬人，一年半的時間里翻了兩倍；和360多所高校建立了合作，其中290多所高校開設(shè)了昇思MindSpore相關(guān)課程；基于昇思MindSpore AI框架的原創(chuàng)論文發(fā)表累計超過1700篇，位列全球第二、中國第一；昇思MindSpore獲評Gitee中國最佳開源貢獻項目，成為Gitee-AI分類下全品類指數(shù)第一……
四年前，昇思MindSpore播下了開源的種子，現(xiàn)在已經(jīng)逐漸長成繁榮的森林。
02 使能大模型創(chuàng)新，AI正在千行萬業(yè)加速落地
開源生態(tài)的價值在哪里？大模型可以說是最典型的標桿。
就產(chǎn)業(yè)布局來說，AI框架有著“承上啟下”的作用。按照中國工程院何友院士的說法：“AI框架南向使能多樣化算力，北向孵化各類算法模型，是人工智能應(yīng)用創(chuàng)新的土壤和源泉”。屬于芯片企業(yè)、大模型廠商、應(yīng)用開發(fā)者等不同角色匯聚的“中樞地帶”，對大模型落地應(yīng)用的意義不言而喻。
智譜CEO張鵬在昇思人工智能框架峰會上的演講中提到：智譜團隊在CodeGeeX的訓(xùn)練中，使用的就是昇思MindSpore AI框架，依托昇騰與昇思的多維混合分布式并行技術(shù)等軟硬件能力，大幅改善了模型開發(fā)、訓(xùn)練的效率及模型精度。目前CodeGeeX在開發(fā)者社區(qū)中已經(jīng)有超過百萬的用戶，日活超過了幾十萬。
作為大模型訓(xùn)練的“煉丹爐”，目前昇思MindSpore已經(jīng)支持、孵化了50多個主流大模型，包括但不限于訊飛星火、通義千問、GLM4、Llama、Baichuan、DeepSeeek、YI等等，通過套件的能力封裝，可以實現(xiàn)開發(fā)、訓(xùn)練、微調(diào)、部署的全流程開箱即用。同時有1700多家社區(qū)伙伴，采用昇思MindSpore孵化了2000多個解決方案，覆蓋互聯(lián)網(wǎng)、金融、能源、交通等15個行業(yè)。
也就是說，昇思MindSpore開源社區(qū)通過匯聚大模型產(chǎn)業(yè)鏈條中的不同力量，打通了一條大模型開發(fā)、訓(xùn)練、微調(diào)、推理部署的“最佳路徑”，跑通了大模型落地的“最后一公里”，讓創(chuàng)新離產(chǎn)業(yè)更近。
比如南方電網(wǎng)打造的“馭電”電力潮流預(yù)測大模型。
隨著新能源大規(guī)模并網(wǎng)，電力系統(tǒng)規(guī)劃和運行面臨高度不確定性、高度可變性、海量調(diào)度單元、多目標和多約束決策等技術(shù)挑戰(zhàn)，傳統(tǒng)的數(shù)值仿真工具已經(jīng)難以滿足需要。
南方電網(wǎng)依托昇思MindSpore AI框架與昇騰AI處理器提供的基礎(chǔ)軟硬件能力，開發(fā)出了全新的仿真工具——“馭電”電力潮流預(yù)測大模型，通過學(xué)習(xí)電力系統(tǒng)內(nèi)在運行規(guī)律，具備了海量運行方式生成和新能源承載能力分析等能力，可以在保障電網(wǎng)安全的基礎(chǔ)上最大限度發(fā)揮新能源發(fā)電能力。
再比如昌平實驗室打造的“天工”抗體設(shè)計模型。
抗體類藥物在病毒引起的傳染病等方面發(fā)揮著重要作用，但傳統(tǒng)的抗體設(shè)計方法效率低下、成本高昂，無法滿足日益增長的臨床需求。
針對這些需求與挑戰(zhàn)，昌平實驗室聯(lián)合昇思MindSpore打造了“天工”抗體設(shè)計模型，能夠?qū)崿F(xiàn)抗體功能設(shè)計、序列嫁接和活性預(yù)測等多種任務(wù)，相比傳統(tǒng)抗體設(shè)計方法提升一個數(shù)量級以上。其中基于天工模型嫁接改造得到的人源抗體，經(jīng)協(xié)和醫(yī)學(xué)院團隊驗證抗體表達量提升約5至10倍，有望將抗體生產(chǎn)成本降低2倍以上。
可以找到的例子有很多。
比案例本身更有價值的，是將大模型落地到千行萬業(yè)的新范式：因為昇思MindSpore正在適配越來越多大模型，提供了全流程的大模型開發(fā)套件，一家企業(yè)想要基于自身的業(yè)務(wù)做大模型，不再需要重新開發(fā)，只需調(diào)用套件接口，喂自己的數(shù)據(jù)，調(diào)整參數(shù)，就能開發(fā)自己的行業(yè)大模型。
03 技術(shù)跨越式演進，昇思MindSpore成為新選擇
正如前面所提到的，AI框架的作用是“承上啟下”。
不單單是在技術(shù)層面，還涉及產(chǎn)業(yè)上下游的協(xié)作：上游的大模型開發(fā)者，能否進一步提高模型訓(xùn)練的效率，將更多的精力集中在模型本身，而非基礎(chǔ)設(shè)施和工具鏈上；下游的應(yīng)用開發(fā)者，能否進一步降低學(xué)習(xí)門檻，快速將大模型的能力和場景相融合。
至少就目前來看，AI框架還有不少的挑戰(zhàn)需要解決：
向上解決大模型開發(fā)者遇到的一系列問題，譬如大模型的參數(shù)量、序列長度、模態(tài)結(jié)構(gòu)等指數(shù)級演進，產(chǎn)生了異構(gòu)模型的計算不均衡、超長序列帶來的內(nèi)存爆炸、模型并行出現(xiàn)流水線空泡等問題；
向下打破大模型落地的重重阻礙，譬如在單模型單任務(wù)走向多模型多任務(wù)、深度學(xué)習(xí)和強化學(xué)習(xí)相融合的趨勢下，多模型協(xié)同交互、推理和強化學(xué)習(xí)任務(wù)混合部署、訓(xùn)推權(quán)重在線轉(zhuǎn)換等挑戰(zhàn)層出不窮。
為什么昇思MindSpore AI框架會成為開發(fā)者的新選擇呢？我們從丁誠的演講中找到了三個關(guān)鍵線索。
一是從多個維度全面兼容業(yè)界主流方案。
考慮到大多數(shù)開發(fā)者在上手使用新框架時，希望第三方開源樣例可以快速復(fù)現(xiàn)，昇思MindSpore在框架層將兼容300多個模型網(wǎng)絡(luò)接口、300+算子表達以及數(shù)據(jù)、權(quán)重等基礎(chǔ)格式，同時全面兼容了Transformers和Diffusers全流程套件的200多個接口。
以LLAMA 3-70B的代碼樣例為例，開發(fā)者只需要將命名空間進行等價替換，就可以快速完成腳本復(fù)現(xiàn)。
二是大幅降低大模型端到端的訓(xùn)練成本。
大模型訓(xùn)練的最大痛點無外乎算力和時間成本，而昇思MindSpore AI框架在設(shè)計時就構(gòu)筑了原生的分布式并行能力，同時針對稠密模型、萬億參數(shù)的MoE模型、長序列等場景進行了針對性優(yōu)化。
比如隨著集群規(guī)模、并行策略維度的復(fù)雜性持續(xù)增長，并行策略的選取、優(yōu)化也會帶來巨大的調(diào)試成本，昇思MindSpore將進一步通過自動搜索、仿真執(zhí)行等能力，讓訓(xùn)練性能調(diào)優(yōu)從周級下降到了天級。
三是面向未來場景持續(xù)優(yōu)化框架結(jié)構(gòu)。
面向o1代表的慢思考場景，昇思MindSpore將支持在線權(quán)重重排，使得訓(xùn)推任務(wù)的轉(zhuǎn)換和權(quán)重切分可以無縫銜接；并將RLHF等基礎(chǔ)模塊進行封裝，方便高效率實現(xiàn)算法，端到端提升整體吞吐。
面向AI for Science場景，昇思MindSpore提供了對數(shù)學(xué)家更親和的函數(shù)式編程體驗，原生支持Python3、NumPy等科學(xué)計算的接口加速，并能夠結(jié)合自動微分能力和機制加速進行編譯優(yōu)化，進一步滿足創(chuàng)新訴求。
一個簡單易懂的道理：誰能幫助大模型開發(fā)者提高生產(chǎn)力，降低門檻和成本，誰就會成為他們口碑相傳的必備工具。
2020年昇思MindSpore的下載量還只有10萬次，2021年超過100萬次，到了大模型走向落地的2024年，下載量陡增到1100萬次，呈現(xiàn)出了一條鮮明的指數(shù)級增長曲線。隨著越來越多的能力升級，相信將有更多的開發(fā)者加入到昇思MindSpore開源社區(qū)。
04 寫在最后
AI框架是越用越好的生態(tài)，越多人使用意味著有更多的貢獻者、更多的問題與解決方案，繼而吸引到越多的開發(fā)者使用。
根據(jù)有關(guān)機構(gòu)的預(yù)測，未來三年大模型在生產(chǎn)經(jīng)營環(huán)節(jié)的應(yīng)用將同步提高到80%以上，一幅大模型驅(qū)動的產(chǎn)業(yè)創(chuàng)新圖景已經(jīng)徐徐展開，一個由昇思MindSpore的開發(fā)者、伙伴及用戶創(chuàng)造的開源生態(tài)也將越來越繁榮。
轉(zhuǎn)載請在文章開頭和結(jié)尾顯眼處標注：作者、出處和鏈接。不按規(guī)范轉(zhuǎn)載侵權(quán)必究。
未經(jīng)授權(quán)嚴禁轉(zhuǎn)載，授權(quán)事宜請聯(lián)系作者本人，侵權(quán)必究。
本文禁止轉(zhuǎn)載，侵權(quán)必究。
授權(quán)事宜請至數(shù)英微信公眾號(ID: digitaling) 后臺授權(quán)，侵權(quán)必究。
評論
評論
推薦評論
暫無評論哦，快來評論一下吧！
全部評論（0條）