飛槳持續進化,推動AI進入工業大生產階段
深度學習的歷史并不算長,卻呈現出了清晰的代際變遷。
在深度學習框架出現前,開發者需要進行很多繁重的工作,包括算法、算力和數據,基本處于石器時代的階段;
深度學習框架在2012年萌芽后,陸續出現了 Caffe、Chainer 、Theano等框架,深度學習開始進入到青銅時代;
谷歌、百度、Facebook等互聯網巨頭進場后,憑借強大的應用場景和底層能力,深度學習正式邁入了鐵器時代。
之后深度學習框架越來越多,訓練能力和可用性也越來越強,特別是TensorFlow、PyTorch、飛槳幾乎占據深度學習框架95%以上市場份額的局面下,業界陸續出現了這樣一種聲音:人工智能何時進入大規模產業化應用的工業大生產時代?
日前結束的Wave Summit 2021深度學習開發者峰會上,持續進化的飛槳已經給出了確切的答案。
01 逼近產業爆發的臨界點
百度的AI布局始于2010年,但2016年是個特殊的時間節點,這一年百度正式開源了自家的深度學習框架飛槳,不僅填補了國內深度學習框架的市場空白,也為中國開源力量的崛起埋下了伏筆。
有別于一些學術性質的開源框架,飛槳身上有著典型的產業標簽,為了讓深度學習從一門技術走進千行萬業的產業世界,飛槳的每一次進化都在嘗試降低深度學習的開發門檻,讓技術可以順暢的轉化為社會生產力。而每年兩次的Wave Summit深度學習開發者峰會,可以說是洞察飛槳產業化進程的風向標。
2019年冬天,飛槳一口氣帶來了21項全新發布和重要升級,其中端到端開發套件成為開發者們討論的核心焦點。涵蓋語義理解、目標檢測、圖像分割和點擊率預估的四大端到端開發套件,旨在通過模塊化的設計和端到端的體驗,滿足企業低成本開發和快速集成需求,進一步推動深度學習的產業落地。
2021年的Wave Summit 深度學習開發者峰會期間,飛槳在穩定性、兼容性和成熟度的基礎上,再次為產業智能化開足馬力,不斷逼近AI在產業深處爆發的臨界點:
全新發布飛槳開源框架V2.1,對自動混合精度、動態圖、高層API等進行了優化和增強。尤其是自定義算子功能的全面升級,進一步降低了開發者自定義算子的學習與開發成本,并大幅提升了開發的靈活性;
分布式訓練方面,發布大規模圖檢索引擎,支持萬億邊的圖存儲和檢索,大規模圖模型訓練架構支持網易云音樂等企業大規模應用落地。
模型套件方面,文心ERNIE全新開源發布 4大預訓練模型,知識與深度學習相結合實現知識增強的語義理解,不僅僅能理解語言,還可以理解圖像,實現統一的跨模態語義理解。
部署方面,飛槳提供全面的推理部署工具鏈,重磅發布推理部署導航圖,其中已驗證300多條部署通路,助力開發者打通AI應用的“最后一公里”。
飛槳企業版在EasyDL、BML“兩翼”升級的同時,還開放了飛槳企業版的“核”——PaddleFlow,以云原生、高性能、輕量易用的特色,專為AI平臺開發者提供核心能力并賦能更多細分場景和深度定制的AI平臺。
飛槳的進化歷程無疑印證了百度CTO王海峰對于人工智能技術和產業發展的思考:一是融合創新,多技術融合創新、深度學習平臺與芯片軟硬一體優化、人工智能技術與應用場景融合創新發展的趨勢愈加明顯;二是降低門檻,隨著人工智能技術在各行業的滲透,面向不同應用場景,高效滿足不同的開發者需求,持續降低門檻非常關鍵。
門檻的大幅降低,加快了人工智能應用的多樣化和規模化,也加快了產業智能化進程。
02 抹平算法和算力的鴻溝
對于深度學習框架的價值,百度CTO王海峰曾經有過一個恰當的比喻:“深度學習框架起到承上啟下的作用,下接芯片和大型計算機系統,上承各種業務模型與行業應用,是智能時代的操作系統”。
單單只有開源深度學習框架的進化,恐怕還不足以將百萬計的開發者們“擺渡”到工業大生產的彼岸。畢竟人工智能的三要素包括算法、算力和數據,僅僅是跨越算法和算力之間的鴻溝,就足以將不少開發者拒之門外。
目前英偉達主導的GPU在神經網絡訓練中有著舉足輕重的地位,可英偉達等硬件廠商并沒有能力對所有的框架進行適配,只能選擇TensorFlow、PyTorch和飛槳三個最成熟的框架進行優化。
結果就是,倘若深度學習框架不對芯片進行適配優化,再好的芯片也只是一堆廢鐵;假如芯片和深度學習框架間的橋梁不打通,“智能時代操作系統”的實用價值無疑要大打折扣。
飛槳給出的答案是主動擔當起打造硬件生態的重任。
根據百度集團副總裁吳甜在Wave Summit 2021上披露的數據,飛槳已經和22家硬件廠商合作,完成和正在適配的芯片或IP達到31款,名單包括百度昆侖、英特爾、英偉達、華為、曙光、瑞芯微、安霸等等。
目前飛槳在硬件生態方面已經處于業界領先地位,不僅涵蓋了從訓練到部署、從通用型計算硬件到專用的AI加速硬件、從服務端到移動端的硬件適配和優化,還和一些企業達成了深度合作。比如飛槳通過和英特爾OneAPI的合作,為開發者提供了跨平臺集成的開發路徑;通過集成TensorRT的加速能力,協助英偉達在GPU領域實現了高效推理。
值得一提的是,身為深度學習國產之光的飛槳,和飛騰、海光、鯤鵬等國內芯片廠商進行了深入合作,僅在海光DCU上適配的模型就已經超過50個,中國自主可控的“操作系統+芯片”生態已逐步成型。
其實個中原因并不難理解,人工智能的大規模落地已經步入快車道,而飛槳恰恰是各行各業走向智能化的重要驅動力。
躬身構建軟硬件生態,抹平算法和算力之間的鴻溝,進一步打破深度學習的應用壁壘,既是百度作為人工智能頭雁的應有之義,也是飛槳重塑生產力與生產關系的初心。
03 為產業智能化全面護航
每一次工業革命都不是純粹的技術革命,正在進行的第四次工業革命自然也不例外,產業智能化的過程中仍存在諸多隱形制約,諸如專業人才的匱乏、產業氛圍的缺失、市場鏈條的不完善等等。
百度儼然意識到了這些問題,WAVE SUMMIT 2021深度學習開發者峰會除了主論壇外,百度還設置了5個平行論壇,除了前面提到的飛槳框架的創新升級、智能硬件生態,將不小的篇幅留給了開源項目分享、產業實踐案例和融合人才培養,正在從多個維度強化飛槳的合作生態。
首先是開源生態的建設。
繁榮的開源社區離不開優秀的開源項目,飛槳深諳其中的道理,不僅在平行論壇中邀請到知名開源項目的技術負責人各抒己見,還順勢推出了面向核心開發者的領航計劃,以PPDE、PPSIG特殊興趣小組、飛槳領航團等組織形式,進行開源社區和開源項目合作。
然后是產業氛圍的培養。
針對產業應用落地中遇到的種種挑戰,飛槳選擇和企業負責人、開發者一同探索產業智能化的有效路徑,并在全新升級的《飛槳企業案例精選》中囊括了9大行業、34個企業智能化案例的技術思路。同時飛槳還在3月份啟動技術伙伴計劃,基于百度已有的AI產業落地經驗深度賦能行業智能化企業,實現行業AI技術方案的輸出、研討和共創,短短兩個月的時間里就有130多家企業報名。
最后是產教融合的探索。
AI人才的不足已然成了社會的常態問題,在AICA首席架構師培養計劃,AI快車道,以賽促學等人才培養機制外,飛槳還將目光瞄向了產教融合。比如飛槳和清華大學、吉林大學、鄭州大學進行了創新創業實驗室的合作簽約,一同打造產業智能化的預備軍;此外百度已經累計培訓570所高校的2000多名教師,其中226所高校已經基于飛槳開設學分課程,以實際行動點燃了中國AI人才培養的星星之火。
除此之外,飛槳還將陸續投入15億元資金和資源,全面開啟飛槳“大航海”計劃,涵蓋啟航、護航、領航三大生態航道。其中“大航海”護航計劃,將在未來三年投入10億元資金,支持10萬家企業智能化升級,與產業界一起培育百萬AI人才。
做一個總結的話,飛槳已經在一定范圍內驗證了人工智能的落地價值,下一階段的目標正是形成以社會化協作為特征的AI大生產。所以飛槳并未固守深度學習框架的角色,而是在正確的方向上篤定與堅持,深入到產業的細枝末節,從多個維度為產業智能化護航,為中國的新一輪工業革命護航。
04 寫在最后
百度集團副總裁吳甜在演講中講述了百度對于人工智能進入工業大生產階段的路徑分析:
第一階段是企業中有少數先行人員嘗試引入AI進行原型驗證,稱之為AI先行者探路階段;當進行了驗證產生效益后,會從個人實踐轉變成建設團隊來學習和應用AI,稱之為AI工作坊應用階段;當企業進行大量的AI應用,幾百、幾千人一起工作,多人多任務協同生產,就進入了AI工業大生產階段,更長期看,還會實現社會化協同大生產。
“AI先行者探路”階段,需要有適配場景的模型、調優工具以及部署支持,實現AI算法的快速驗證落地,解決實際問題。飛槳提供了在工業場景中實踐打磨過的豐富模型庫,多端多平臺的推理部署工具鏈,全面靈活的硬件適配架構和生態基礎,保障AI先行者探路成功。
從個人實踐到帶領團隊的“AI工作坊應用”階段,面臨的是團隊里專業AI研發人數少,不同專業背景的成員要一起快速學習AI模型研發的問題。飛槳豐富且多層次的產品結構,涵蓋可視化界面、場景類套件、算法類套件、模型庫、核心框架,非常適用于這個階段的團隊應用AI創新,同時這個過程中團隊成員也會持續成長,實現AI能力研發的進階。
到了“AI工業大生產”階段,多人多任務協同生產,算力機器和開發人員的效能提升是關鍵。飛槳企業級AI開發平臺提供高效的算力管理與調度、全流程的集成開發環境,平臺化賦能AI大生產。再進一步發展,從企業內部的多人多任務分工協同,還會走向全社會的AI大生產協同。
從飛槳平臺的數據可以看到,隨著人工智能和產業的融合,飛槳已經聚集了320萬開發者,服務了12萬企業,創建了36萬模型,覆蓋到了工業、能源、金融、醫療、農業、城市管理、交通、信息技術等各種各樣的行業和場景。而且,這組數據還在持續增長。相信未來繁榮的社會化AI大生產協同一定能實現。
這大抵就是飛槳持續進化的內部節奏,折射到整個產業層面上,飛槳正在攜手各行各業生態伙伴和開發者,促進產業鏈與創新鏈的深度融合,加速人工智能進入到規模化應用的工業大生產時代。
轉載請在文章開頭和結尾顯眼處標注:作者、出處和鏈接。不按規范轉載侵權必究。
未經授權嚴禁轉載,授權事宜請聯系作者本人,侵權必究。
本文禁止轉載,侵權必究。
授權事宜請至數英微信公眾號(ID: digitaling) 后臺授權,侵權必究。
評論
評論
推薦評論
暫無評論哦,快來評論一下吧!
全部評論(0條)