飛槳持續(xù)進化，推動AI進入工業(yè)大生產階段

原創(chuàng) 贊收藏評論

舉報 2021-05-27

掃描,分享朋友圈

深度學習的歷史并不算長，卻呈現出了清晰的代際變遷。

在深度學習框架出現前，開發(fā)者需要進行很多繁重的工作，包括算法、算力和數據，基本處于石器時代的階段；

深度學習框架在2012年萌芽后，陸續(xù)出現了 Caffe、Chainer 、Theano等框架，深度學習開始進入到青銅時代；

谷歌、百度、Facebook等互聯(lián)網巨頭進場后，憑借強大的應用場景和底層能力，深度學習正式邁入了鐵器時代。

之后深度學習框架越來越多，訓練能力和可用性也越來越強，特別是TensorFlow、PyTorch、飛槳幾乎占據深度學習框架95%以上市場份額的局面下，業(yè)界陸續(xù)出現了這樣一種聲音：人工智能何時進入大規(guī)模產業(yè)化應用的工業(yè)大生產時代？

日前結束的Wave Summit 2021深度學習開發(fā)者峰會上，持續(xù)進化的飛槳已經給出了確切的答案。

01 逼近產業(yè)爆發(fā)的臨界點

百度的AI布局始于2010年，但2016年是個特殊的時間節(jié)點，這一年百度正式開源了自家的深度學習框架飛槳，不僅填補了國內深度學習框架的市場空白，也為中國開源力量的崛起埋下了伏筆。

有別于一些學術性質的開源框架，飛槳身上有著典型的產業(yè)標簽，為了讓深度學習從一門技術走進千行萬業(yè)的產業(yè)世界，飛槳的每一次進化都在嘗試降低深度學習的開發(fā)門檻，讓技術可以順暢的轉化為社會生產力。而每年兩次的Wave Summit深度學習開發(fā)者峰會，可以說是洞察飛槳產業(yè)化進程的風向標。

2019年冬天，飛槳一口氣帶來了21項全新發(fā)布和重要升級，其中端到端開發(fā)套件成為開發(fā)者們討論的核心焦點。涵蓋語義理解、目標檢測、圖像分割和點擊率預估的四大端到端開發(fā)套件，旨在通過模塊化的設計和端到端的體驗，滿足企業(yè)低成本開發(fā)和快速集成需求，進一步推動深度學習的產業(yè)落地。

2021年的Wave Summit 深度學習開發(fā)者峰會期間，飛槳在穩(wěn)定性、兼容性和成熟度的基礎上，再次為產業(yè)智能化開足馬力，不斷逼近AI在產業(yè)深處爆發(fā)的臨界點：

全新發(fā)布飛槳開源框架V2.1，對自動混合精度、動態(tài)圖、高層API等進行了優(yōu)化和增強。尤其是自定義算子功能的全面升級，進一步降低了開發(fā)者自定義算子的學習與開發(fā)成本，并大幅提升了開發(fā)的靈活性；

分布式訓練方面，發(fā)布大規(guī)模圖檢索引擎，支持萬億邊的圖存儲和檢索，大規(guī)模圖模型訓練架構支持網易云音樂等企業(yè)大規(guī)模應用落地。

模型套件方面，文心ERNIE全新開源發(fā)布 4大預訓練模型，知識與深度學習相結合實現知識增強的語義理解，不僅僅能理解語言，還可以理解圖像，實現統(tǒng)一的跨模態(tài)語義理解。

部署方面，飛槳提供全面的推理部署工具鏈，重磅發(fā)布推理部署導航圖，其中已驗證300多條部署通路，助力開發(fā)者打通AI應用的“最后一公里”。

飛槳企業(yè)版在EasyDL、BML“兩翼”升級的同時，還開放了飛槳企業(yè)版的“核”——PaddleFlow，以云原生、高性能、輕量易用的特色，專為AI平臺開發(fā)者提供核心能力并賦能更多細分場景和深度定制的AI平臺。

飛槳的進化歷程無疑印證了百度CTO王海峰對于人工智能技術和產業(yè)發(fā)展的思考：一是融合創(chuàng)新，多技術融合創(chuàng)新、深度學習平臺與芯片軟硬一體優(yōu)化、人工智能技術與應用場景融合創(chuàng)新發(fā)展的趨勢愈加明顯；二是降低門檻，隨著人工智能技術在各行業(yè)的滲透，面向不同應用場景，高效滿足不同的開發(fā)者需求，持續(xù)降低門檻非常關鍵。

門檻的大幅降低，加快了人工智能應用的多樣化和規(guī)模化，也加快了產業(yè)智能化進程。

02 抹平算法和算力的鴻溝

對于深度學習框架的價值，百度CTO王海峰曾經有過一個恰當的比喻：“深度學習框架起到承上啟下的作用，下接芯片和大型計算機系統(tǒng)，上承各種業(yè)務模型與行業(yè)應用，是智能時代的操作系統(tǒng)”。

單單只有開源深度學習框架的進化，恐怕還不足以將百萬計的開發(fā)者們“擺渡”到工業(yè)大生產的彼岸。畢竟人工智能的三要素包括算法、算力和數據，僅僅是跨越算法和算力之間的鴻溝，就足以將不少開發(fā)者拒之門外。

目前英偉達主導的GPU在神經網絡訓練中有著舉足輕重的地位，可英偉達等硬件廠商并沒有能力對所有的框架進行適配，只能選擇TensorFlow、PyTorch和飛槳三個最成熟的框架進行優(yōu)化。

結果就是，倘若深度學習框架不對芯片進行適配優(yōu)化，再好的芯片也只是一堆廢鐵；假如芯片和深度學習框架間的橋梁不打通，“智能時代操作系統(tǒng)”的實用價值無疑要大打折扣。

飛槳給出的答案是主動擔當起打造硬件生態(tài)的重任。

根據百度集團副總裁吳甜在Wave Summit 2021上披露的數據，飛槳已經和22家硬件廠商合作，完成和正在適配的芯片或IP達到31款，名單包括百度昆侖、英特爾、英偉達、華為、曙光、瑞芯微、安霸等等。

目前飛槳在硬件生態(tài)方面已經處于業(yè)界領先地位，不僅涵蓋了從訓練到部署、從通用型計算硬件到專用的AI加速硬件、從服務端到移動端的硬件適配和優(yōu)化，還和一些企業(yè)達成了深度合作。比如飛槳通過和英特爾OneAPI的合作，為開發(fā)者提供了跨平臺集成的開發(fā)路徑；通過集成TensorRT的加速能力，協(xié)助英偉達在GPU領域實現了高效推理。

值得一提的是，身為深度學習國產之光的飛槳，和飛騰、海光、鯤鵬等國內芯片廠商進行了深入合作，僅在海光DCU上適配的模型就已經超過50個，中國自主可控的“操作系統(tǒng)+芯片”生態(tài)已逐步成型。

其實個中原因并不難理解，人工智能的大規(guī)模落地已經步入快車道，而飛槳恰恰是各行各業(yè)走向智能化的重要驅動力。

躬身構建軟硬件生態(tài)，抹平算法和算力之間的鴻溝，進一步打破深度學習的應用壁壘，既是百度作為人工智能頭雁的應有之義，也是飛槳重塑生產力與生產關系的初心。

03 為產業(yè)智能化全面護航

每一次工業(yè)革命都不是純粹的技術革命，正在進行的第四次工業(yè)革命自然也不例外，產業(yè)智能化的過程中仍存在諸多隱形制約，諸如專業(yè)人才的匱乏、產業(yè)氛圍的缺失、市場鏈條的不完善等等。

百度儼然意識到了這些問題，WAVE SUMMIT 2021深度學習開發(fā)者峰會除了主論壇外，百度還設置了5個平行論壇，除了前面提到的飛槳框架的創(chuàng)新升級、智能硬件生態(tài)，將不小的篇幅留給了開源項目分享、產業(yè)實踐案例和融合人才培養(yǎng)，正在從多個維度強化飛槳的合作生態(tài)。

首先是開源生態(tài)的建設。

繁榮的開源社區(qū)離不開優(yōu)秀的開源項目，飛槳深諳其中的道理，不僅在平行論壇中邀請到知名開源項目的技術負責人各抒己見，還順勢推出了面向核心開發(fā)者的領航計劃，以PPDE、PPSIG特殊興趣小組、飛槳領航團等組織形式，進行開源社區(qū)和開源項目合作。

然后是產業(yè)氛圍的培養(yǎng)。

針對產業(yè)應用落地中遇到的種種挑戰(zhàn)，飛槳選擇和企業(yè)負責人、開發(fā)者一同探索產業(yè)智能化的有效路徑，并在全新升級的《飛槳企業(yè)案例精選》中囊括了9大行業(yè)、34個企業(yè)智能化案例的技術思路。同時飛槳還在3月份啟動技術伙伴計劃，基于百度已有的AI產業(yè)落地經驗深度賦能行業(yè)智能化企業(yè)，實現行業(yè)AI技術方案的輸出、研討和共創(chuàng)，短短兩個月的時間里就有130多家企業(yè)報名。

最后是產教融合的探索。

AI人才的不足已然成了社會的常態(tài)問題，在AICA首席架構師培養(yǎng)計劃，AI快車道，以賽促學等人才培養(yǎng)機制外，飛槳還將目光瞄向了產教融合。比如飛槳和清華大學、吉林大學、鄭州大學進行了創(chuàng)新創(chuàng)業(yè)實驗室的合作簽約，一同打造產業(yè)智能化的預備軍；此外百度已經累計培訓570所高校的2000多名教師，其中226所高校已經基于飛槳開設學分課程，以實際行動點燃了中國AI人才培養(yǎng)的星星之火。

除此之外，飛槳還將陸續(xù)投入15億元資金和資源，全面開啟飛槳“大航?！庇媱潱w啟航、護航、領航三大生態(tài)航道。其中“大航海”護航計劃，將在未來三年投入10億元資金，支持10萬家企業(yè)智能化升級，與產業(yè)界一起培育百萬AI人才。

做一個總結的話，飛槳已經在一定范圍內驗證了人工智能的落地價值，下一階段的目標正是形成以社會化協(xié)作為特征的AI大生產。所以飛槳并未固守深度學習框架的角色，而是在正確的方向上篤定與堅持，深入到產業(yè)的細枝末節(jié)，從多個維度為產業(yè)智能化護航，為中國的新一輪工業(yè)革命護航。

04 寫在最后

百度集團副總裁吳甜在演講中講述了百度對于人工智能進入工業(yè)大生產階段的路徑分析：

第一階段是企業(yè)中有少數先行人員嘗試引入AI進行原型驗證，稱之為AI先行者探路階段；當進行了驗證產生效益后，會從個人實踐轉變成建設團隊來學習和應用AI，稱之為AI工作坊應用階段；當企業(yè)進行大量的AI應用，幾百、幾千人一起工作，多人多任務協(xié)同生產，就進入了AI工業(yè)大生產階段，更長期看，還會實現社會化協(xié)同大生產。

“AI先行者探路”階段，需要有適配場景的模型、調優(yōu)工具以及部署支持，實現AI算法的快速驗證落地，解決實際問題。飛槳提供了在工業(yè)場景中實踐打磨過的豐富模型庫，多端多平臺的推理部署工具鏈，全面靈活的硬件適配架構和生態(tài)基礎，保障AI先行者探路成功。

從個人實踐到帶領團隊的“AI工作坊應用”階段，面臨的是團隊里專業(yè)AI研發(fā)人數少，不同專業(yè)背景的成員要一起快速學習AI模型研發(fā)的問題。飛槳豐富且多層次的產品結構，涵蓋可視化界面、場景類套件、算法類套件、模型庫、核心框架，非常適用于這個階段的團隊應用AI創(chuàng)新，同時這個過程中團隊成員也會持續(xù)成長，實現AI能力研發(fā)的進階。

到了“AI工業(yè)大生產”階段，多人多任務協(xié)同生產，算力機器和開發(fā)人員的效能提升是關鍵。飛槳企業(yè)級AI開發(fā)平臺提供高效的算力管理與調度、全流程的集成開發(fā)環(huán)境，平臺化賦能AI大生產。再進一步發(fā)展，從企業(yè)內部的多人多任務分工協(xié)同，還會走向全社會的AI大生產協(xié)同。

從飛槳平臺的數據可以看到，隨著人工智能和產業(yè)的融合，飛槳已經聚集了320萬開發(fā)者，服務了12萬企業(yè)，創(chuàng)建了36萬模型，覆蓋到了工業(yè)、能源、金融、醫(yī)療、農業(yè)、城市管理、交通、信息技術等各種各樣的行業(yè)和場景。而且，這組數據還在持續(xù)增長。相信未來繁榮的社會化AI大生產協(xié)同一定能實現。

這大抵就是飛槳持續(xù)進化的內部節(jié)奏，折射到整個產業(yè)層面上，飛槳正在攜手各行各業(yè)生態(tài)伙伴和開發(fā)者，促進產業(yè)鏈與創(chuàng)新鏈的深度融合，加速人工智能進入到規(guī)?；瘧玫墓I(yè)大生產時代。

本文系作者授權數英發(fā)表，內容為作者獨立觀點，不代表數英立場。
轉載請在文章開頭和結尾顯眼處標注：作者、出處和鏈接。不按規(guī)范轉載侵權必究。