直播預告：PBRMAX標準與超寫實AI數字人

原創贊收藏評論

舉報 2021-06-18

掃描,分享朋友圈

6.18只能剁手買買買？NO！

今年6.18 Renderbus瑞云渲染邀您一起看直播，學技術，抽大獎！

本次直播，我們邀來南京萬生華態EcoPlants CEO彭程，為大家分享PBRMAX標準與超寫實AI數字人中的相關內容。直播中還會為Renderbus瑞云渲染影視動畫用戶的年中充值抽獎活動開獎！英偉達Quadro RTX4000、堅果J7S投影儀、Bose SoundLink Revolve+ 藍牙音響和華為手表GT2等多重豪禮將花落誰家，誠邀您一起見證幸運時刻！
01嘉賓介紹

彭程是南京萬生華態科技有限公司的創始人兼CEO，連續創業者，中國科技藝術新生代領軍人物。

他曾就讀于紐約視覺藝術學院，羅德島設計學院，薩凡納藝術學院以及哥德堡大學。精通工業、影視、特效及傳媒等跨行業的創新整合。致力于打造全球最大的影視PBR數字資產庫，及影視工業化流程軟件解決方案。

萬生華態EcoPlants（簡稱：萬生華態）目前是國內唯一一家能夠批量生產高精度3D掃描模型和PBR材質的科技公司，為影視娛樂、教育、工業設計、游戲、數字文旅等行業提供最前沿的一站式軟硬件解決方案，其中包含3D數字資產與PBR材質庫、軟件協同平臺、數字人虛擬拍攝流程、實時渲染云等，將為無數創作者帶來革命性的創作體驗。

02全球首位“數字宇航員”

《飛向月球Ⅱ》在視覺呈現上進行全面的飛躍式升級，萬生華態先進的技術手段是深化中央廣播電視總臺“5G+4K/8K+AI”戰略格局的基礎支撐。為了還原出極為逼真的月球探索歷程，萬生華態依托原創混合現實（IMR) 超高清電視制作平臺，通過對央視主持人張騰岳進行測量攝影，完成人物數字資產采集；并且利用AI深度學習、美術加工以及現場實時驅動等一系列技術流程，實現全球首次將AI超寫實“數字航天員”應用在4K科學紀錄片中。

《飛向月球Ⅱ》“數字宇航員”精彩瞬間

想要實現數字人高質量逼真的效果和自然流暢的互動，溝通成本與時間成本高昂，需要長期的配合。而在《飛向月球Ⅱ》的制作過程中，萬生華態打通了超寫實數字人前中后期制作的全流程，并通過自研面捕頭盔與AI算法，極大地提升了高保真人臉與面部微表情的捕捉與制作效率，在短時間內實現了對標游戲CG級別的數字人制作，真正做到全流程自主可控。《飛向月球Ⅱ》制作僅花費1個多月時間，實現了CG級別的數字人效果，高質量、快速地應用在國家級紀錄片中。

AI數字航天員，原型為央視主持人張騰岳

這一切的實現離不開萬生華態在“數字宇航員”制作中的4大數字人制作技術要點：

1. 自主研發動捕頭盔硬件Ecap：頭盔硬件對面部肌肉運動進行實時和高精度跟蹤與重建，準確還原出逼真細膩的面部表情，實現影視級別的面部動作捕捉；

2. 自主研發的面部捕捉算法：深度學習驅動的實時人臉識別、三維重建算法，實時皺紋貼圖解算，全面捕捉各類面部表情動作，瞳孔運動、皮膚運動、皮膚反射捕捉、細微皺紋...不放過任何一個細節；

細膩的皮膚紋理眼神捕捉

3. 實時面部動作與表情渲染：基于PBR的實時光線追蹤渲染，針對人臉特殊優化的著色器和渲染pipeline，采用OCIO的色彩管理系統，充分保證色彩的真實性、準確性，應用NVIDIA A6000，實現實時4K HDR渲染；

單幀渲染

4. 應用適合東方人的FACS系統：高度寫實、微表情豐富的混合變形（Blendshape），方便適配實時面捕算法的綁定邏輯；

利用Blendshape對表情動畫進行處理

03瑞云專訪

瑞云渲染：萬生華態團隊是如何結緣《飛向月球Ⅱ》？

彭程：因為和英偉達、央視一起討論出關于數字人技術以及虛擬拍攝對于廣電產業的影響，航天產業硬科技配合著新的虛擬拍攝技術組合是一個很好的多維度技術宣傳，就試著將公司各個技術部整合在這個項目里做一些嘗試和應用，希望利用數字技術做一個項目能代表未來的方向，這就是當時我們的初衷。

瑞云渲染：這個項目的制作花了多長時間，可以簡單介紹一下團隊制作《飛向月球Ⅱ》的pipeline嗎？

彭程：制作前期準備花了一些時間，整體拍攝到制作前后1個半月，因為涉及不同的場別使用不同的渲染方式，近景和遠景渲染配置不一樣，也需要滿足導演實時構圖取景的實時預演虛擬拍攝需求，同時要兼顧后期的4K HDR的標準。

所以pipeline都想好了1-2套備選方案，實時動捕后，也要能夠快速迭代人工修改的可能，也要跑通一些AI的算法。所以AI和手工標定以及藝術處理有交流和融合，也是在項目中根據進度去決策最終的pipeline，由于UE4版本也在迭代中，所以要考慮軟硬件驅動的適配，每一次迭代AI或者場景都會跑一次測試。

央視團隊有節目組和制作組，萬生華態有技術和藝術制作兩個部，大家一起開發，測試，跑通流程，再優化。團隊合作中有未知的跨行情況，在跑流程過程中互相了解定位，掌握配合是關鍵。因為《飛向月球》的制作周期很緊，審片流程嚴格，所以流程的穩定是團隊協作的最高優先級。

瑞云渲染：《飛向月球Ⅱ》制作過程中需要與傳統的電視節目導演和后期剪輯人員合作，請問你們在合作中是如何確保高效地溝通與制作的？

彭程：合作主要發生在項目預演，導演，后期制作三個環節。在實際拍攝正片之前，確認方案的時候有較多互動，互動中請主持人參與模擬，體驗的過程很關鍵，配合技術人員給電視臺人員的溝通和講解，讓他們大概了解到自己的流程和工作執掌的定位。在拍攝后，根據藝術工程和技術要求的標準，確保穩定優先級，不跨越流程提需求，即可保證產出和有效溝通。

瑞云渲染：《飛向月球Ⅱ》創新性地采用了“超寫實數字人物”作為主持人，堪稱全球首位 AI“數字航天員”，團隊采用了哪些核心技術來實現人物從表情細節到動作都如此栩栩如生的？

彭程：首先采集主持人面部的微表情，并對多個姿態進行掃描，配合后期以及引擎的調參，以好的數據和處理為基礎為接下來的動畫制作打下最好的基礎。期間高速面捕攝像機的算法捕捉，實時對應到綁定的轉化工程邏輯，以及基于實時數據可微調的后期權限，這個組合讓微表情可控，在正片呈現中更穩定。這次是我們第一個AI處理全流程的嘗試，在后期的數字人中，我們會定向優化很多細節。

瑞云渲染：和傳統制作相比，制作《飛向月球Ⅱ》的太空場景涉及數據和資產量很大，團隊是如何解決以構建一個如此真實的太空場景的呢？

彭程：本次項目使用了最新的英偉達A6000顯卡，項目開拍的當天才從美國消毒完寄送到手上，保證了最大RAM，同時也做了LOD的優化，有一些貼圖不需要全套PBR使用，減少一些總體內存空間。

在虛擬拍攝的過程中，不同于傳統的特效到制片再到創意設計師的流程，從創意到導演再到后期一定是連在一起的。因此虛擬拍攝中的所有步驟都是可視化且可復制的，它相當于一個“數據”，這種快速地拍攝跟數字營銷很匹配，導演的效率會變得非常高。另外，虛擬制片和傳統綠幕的區別在于，LED屏把數字資產以光照的形式打到人物身上，減去了很多后期的流程，同時導演可以實時看到畫面的效果，可以和后期在實時過程中就形成共識。這樣很多創意的部分，可以形成模塊化和區塊化，并且還能二次使用，結合AI運用在各種想象和場景中快速地多次部署，這種靈活度在傳統視頻拍攝流程中是不具備的。這種技術可以幫助廣播電視行業快速制作達到影視級別的3D作品，降低成本、提升效率，并且方便二次創作大量的衍生作品，如電影、互動式小游戲，未來的VR/AR等等，實現不同媒介之間的有機聯動，更好的賦能廣播電視行業的創作能力，帶來新的商業模式。

《曼達洛人2》中使用的LED屏虛擬拍攝

瑞云渲染：現在不論國內國外，數字人的研究和應用都是非常熱門的話題，請問您認為數字人的開發中最重要的技術難點在哪？您認為目前數字人IP的開發和應用最成功的案例有哪些？數字人IP的開發和應用如何做到更真實，更容易與用戶產生情感連接，讓觀眾更樂于接受，更買賬？

彭程：數字人技術難點主要在面部表情的動畫捕捉，目前市面上的解決方案不能很好的滿足需求，所以我們自己研發了基于紅外和TOF的面捕頭盔，加上自研的面部捕捉、跟蹤和校準算法、實時皺紋貼圖解算、適配綁定邏輯的實時映射算法、符合東方人骨骼的FACS系統等等，確保采集數據的處理結果和三維重建的準確。

豐富細膩的面部表情

目前比較成功的有時尚界的Lil Miquela和Imma，從人物的仿真度、持續內容更新的高頻率、時尚IP聯名的火爆程度都證明了她們的成功。個人比較喜歡的是英雄聯盟的人物Seraphine，因為在人物推出前期對Seraphine的日常生活和成長過程進行了詳細的運營，很接地氣也很有血有肉，不是一個單純的游戲角色，推出后也跟K/DA女團有很完美的結合，期待K/DA的發展。

Lil Miquela & Imma

Seraphine

K/DA

很多商品的價值取決于共識，共識又取決于基礎的柔性需求和潛意識的品牌價值需求，因此很多公司在做品牌傳播的時候，會找明星代言。可以說，明星的本質就像數字人一樣，制片人、經紀人給他一套設備、一個方向，然后他按照“劇本”去做表演形成“人設”，只是呈現的載體不同。在5G到來時，線上線下綜合在一起的時候，所有公司都會打造一個虛擬的品牌形象，它可能就是數字人，因為數字人更容易與用戶形成情感連接、有天然的親和力。就像每個公司都會有自己的企業文化，所以各種企業都會通過數字人的方式去打造自己的周邊產品，再通過有效運營，數字人會很快地融入到數字營銷市場，其傳播屬性也具有非常高的跨界性和可編輯性。為什么現在國內大部分的數字人都沒有做出比較好的效果，或者并沒有形成很可觀的廣告收益？看一下美國、日本等地比較成功的案例，你會發現不管是明星還是動畫影視，能支撐 IP成功的原因之一就是，在數字營銷設計這個數字人的時候，它是完整的、有血有肉的，從性格到邏輯再到和品牌的互動是足夠真實可信的。而目前國內缺失的是導演與策劃對數字人的塑造理解，因此導致大眾對很多電影里的IP形象無法形成深刻的印象。一個好的數字人IP需要鮮明的特征、完整的背景，符合所代表企業、產品的形象設計與價值觀，和長期堅持的運營，不會比捧紅一個明星簡單。等技術帶來的新鮮感和紅利消失，最后比拼的依然是運營能力。

如果想了解