5月11日，Unite Shanghai 2019正式開幕，在會上，故宮博物院數(shù)字化研究所工程師張雨辰以“技術與文化的融合”為主題發(fā)表了演講，其講述了故宮博物院在數(shù)十年內的發(fā)展過程，以及故宮博物院數(shù)字化各類項目與Unity技術融合的細節(jié)。

以下為演講內容整理：

大家下午好，我是來自故宮博物院的張雨辰。很榮幸受到Unity官方的邀請，來到上海給大家做案例分享。非常感謝有Unite大會這么一個渠道能夠讓我們博物館人從中汲取技術和創(chuàng)意的養(yǎng)分。很抱歉故宮本身的開發(fā)實力不足以在這里從技術的角度給大家做分享，所以我想從數(shù)字故宮的相關展示案例出發(fā)，來介紹Unity引擎如何助力故宮產出數(shù)字化成果。

我相信每一位觀眾都會有對故宮獨到的理解。其實，在我們看來故宮是座博物館，故宮是我們今人去了解故宮文化、了解中華文明的一個非常重要的窗口。

百年前故宮就開始做影像采集

故宮所做的數(shù)字化一定是要從博物館的角度出發(fā)，讓文化遺產的“本體”活起來，是為了讓文化遺產的“基因”活起來，是為了讓在文化遺產中的“人”活起來，致力于優(yōu)秀傳統(tǒng)文化的創(chuàng)作性轉化和創(chuàng)新性發(fā)展。如果從這個角度出發(fā)去思考，我們就能夠避免那些為了展示而展示、為了炫技而炫技的“空洞”的數(shù)字項目。

故宮人在博物館數(shù)字化探索的道路上走了20多年，百年前故宮就開始做影像采集。當然，這些都是清宮影像，如今都已經(jīng)成了故宮博物院珍貴的文物，代表了一段歷史的記錄。

現(xiàn)在故宮人探索出一條適合故宮博物院的三維數(shù)字化道路，數(shù)字化保護、數(shù)字化研究、數(shù)字化展示。保護、研究、展示“三位一體”，遵循“內容為王、技術為器、融合互通”，展現(xiàn)故宮獨有特性，才能有效的避免博物館數(shù)字化過程中的同質化問題。

2002年起，故宮建立了數(shù)字化資產應用研究所，開始了三維數(shù)字化的應用建設。到現(xiàn)在，我們已經(jīng)采集了紫禁城（112公頃）的全景三維簡模數(shù)據(jù)，采集了包括太和殿、養(yǎng)心殿、乾隆花園和角樓在內的重要殿宇室內外高清數(shù)據(jù)。并通過照片建模、三維掃描等技術采集室外陳設三維數(shù)據(jù)和可移動文物三維數(shù)據(jù)。隨著，采集技術的發(fā)展我相信我們的三維數(shù)據(jù)資源會越來越充實。有了這些基礎數(shù)據(jù)，我們能夠開展數(shù)字化項目建設。

在來到這里之前我整理了一下近三年的開發(fā)項目，據(jù)不完全統(tǒng)計總共有12個項目是基于Unity引擎開發(fā)的。為什么故宮博物院能夠做到在博物館數(shù)字化領域如此高產？為什么Unity引擎能夠助力數(shù)字故宮實現(xiàn)高產？

請大家跟我一起走進數(shù)字故宮，來探究答案。

我們第一期制作的數(shù)字展主題是“故宮是座博物館”，2016年養(yǎng)心殿正式開始進行為期五年的大修工作，作為最受觀眾歡迎的原狀陳列，不能一睹養(yǎng)心殿，自然成為很多觀眾的遺憾，因此我們一方面讓養(yǎng)心殿的真文物出門巡展，讓不再北京的觀眾也能‘走進’養(yǎng)心殿，另一方面用數(shù)字技術，讓養(yǎng)心殿‘活起來’，讓年輕人更多地走進數(shù)字養(yǎng)心殿，走進傳統(tǒng)文化。所以，第二期我們以“發(fā)現(xiàn)養(yǎng)心殿”為主題，利用原有的設備將數(shù)字內容進行了更換，開放了新的一期數(shù)字展覽。

AR穿搭服飾互動項目：服飾文化是民族文化的重要組成部分，通過Unity引擎+Kinect體感設備開發(fā)的試衣互動可以將成套的宮廷服飾“穿上身”，喜歡的話還可以拍照并將自己的照片下載到手機里。這樣一來，非常像當下流行的AR試裝項目，大家都在思考如何將虛擬試衣項目融合到商場和線上商城的時候，很多人都沒有想到在故宮里面也能夠Idea出這樣項目，Unity引擎所搭載的布料系統(tǒng)就已經(jīng)能夠滿足我們的互動需求，而且我們?yōu)榱苏疹櫺∨笥?，還適配了孩童的身高。通過衣服搭配和選擇佩飾，觀眾可以了解清代宮廷服飾搭配的相關小知識。

御膳項目：故宮內的御膳房有兩處，“養(yǎng)心殿御膳房”為其中之一，無數(shù)美味佳肴都出自這里。在這個項目中我們選取了眾多宮廷美食中最有特色的四道菜肴，還原了制作方法，觀眾在隨著提示一步一步“制作”好菜肴后還要選擇正確的餐具盛放擺盤。

從選材到上桌，所有關鍵步驟都用數(shù)字技術呈現(xiàn)出來。這個項目作為一個2D互動應用，Unity引擎提供豐富的2D功能：包括動畫、粒子系統(tǒng)創(chuàng)作和音頻混合的工具，使我們這款2D手繪風的應用開發(fā)效率大大提高。特別是當我們產生新的靈感之后，合作方能夠很快的拿出一版完全可玩的版本去印證我們的想法，經(jīng)過這樣一次次的迭代，項目很快能夠走入正軌。

所以說，Unity引擎在技術上的快速更新和穩(wěn)定迭代也是我們所看重的一點，特別是在這個數(shù)字多寶閣展項。在第一期的端門數(shù)字展覽上我們就使用Unity開發(fā)了這個項目，當時的版本還是4.x。這個項目的亮點一是有趣的熱點互動，二是文物材質的模擬，在當時的技術環(huán)境下材質的模擬效果不太理想。之后Unity引擎發(fā)布了5.x版本，支持了基于物理材質的圖形渲染，這樣我們就能夠借助法線貼圖、金屬貼圖、反射貼圖輕松的模擬文物的材質效果，在后面的講述中我會用一個視頻來給大家做詳細展示。

在第二期鑒藏珍玩的改版過程中，我們還借助Unity引擎的Asset store應用商店中的UBER - Standard Shader Ultra插件，制作玉器和玻璃器類文物的材質效果，這一過程大大減輕了開發(fā)難度，使程序人員不必自己編寫Shader就可以得到我們想要的效果。

這個項目的核心還是以養(yǎng)心殿內真實陳列為藍本制作的，我們?yōu)榫x故宮院藏文物中精品制作出數(shù)字模型，并且結合展品中最主要的亮點，如制作工藝，紋飾特點，使用方式等，用交互的手段將這些知識呈現(xiàn)出來。

故宮對VR技術的探索早在2000年已經(jīng)開始，我們與日本凸版印刷公司進行合作，借助他們自主開發(fā)的引擎平臺，以VR技術再現(xiàn)金碧輝煌的紫禁城?？赡艽蠹液茈y想象在故宮里有一個數(shù)字化團隊，自己開發(fā)了7部《紫禁城·天子的宮殿》虛擬現(xiàn)實系列作品。不過受限于凸版開發(fā)的引擎，我們展示技術的競爭力已經(jīng)跟不上這個時代的步伐，凸版的引擎已經(jīng)有多年沒有進行更新迭代，渲染、光影效果還停留在Unity4.x系列的標準上，我去東京學習的時候凸版的工作人員也曾經(jīng)向我透露自主引擎的開發(fā)難度非常的大。

所以凸版和我們都在盡全力的尋找另外一條技術解決方案，我們不約而同的把目光都聚焦在Unity引擎身上，目前凸版公司已經(jīng)開始將自研引擎轉移到Unity引擎并獨立開發(fā)多通道系統(tǒng)實現(xiàn)互動功能與效果的雙提升。

而故宮選擇了相對保守的方案，基于Unity引擎開發(fā)了平板設備與自研引擎進行通信交互，實現(xiàn)大小屏幕聯(lián)動以及觀眾的互動。這個思路在我們第七部虛擬現(xiàn)實作品《紫禁城天子的宮殿·御花園》節(jié)目中有所體現(xiàn)，利用Unity引擎在安卓平板設備上進行開發(fā)工作，通過交互設備改變了傳統(tǒng)的只能觀看沒有互動的觀影流程，現(xiàn)在我們可以一邊看大屏幕一邊通過交互設備了解屏幕展示點的現(xiàn)實所在位置，以及當前區(qū)域的熱點信息。這些信息可以是文字圖片，也可以是三維模型，可以進行補充說明，也可以進行深度互動，比如說我們講解到萬春亭的時候，交互設備上立馬出現(xiàn)萬春亭的大木結構模型，觀眾可以在平板設備上進行拆解、交互，可以在御花園的喂一喂鹿，在古代御花園里面是養(yǎng)鹿的。借助Unity引擎與大屏幕之間的互動，以獨特視角向觀眾完整、準確、生動地傳遞著故宮文化遺產所蘊含的歷史信息和文化情懷。

我們還舉辦了《御花園》節(jié)目觀影周，一周時間內容納50人的演播廳一共接待了1200多名預約前來的觀眾，獲得了不錯的反響。未來，我們依然可以借助Unity引擎多平臺發(fā)布的特性，將我們交互內容進行重新編排和解讀，可以作為單獨的互動展項發(fā)布，我想這就是Unity能給我們帶來的最大的便捷。

以上我所分享的，都是在“發(fā)現(xiàn)養(yǎng)心殿”主題數(shù)字展里面所展示的內容。故宮出品，必屬精品，我們帶著我們數(shù)字展示成果走出故宮，走出國門。2017年我們帶著數(shù)字多寶閣項目走出了故宮，參加了“砥礪奮進的五年”大型成就展，深受國家領導人的好評。

之后，數(shù)字多寶閣與《紫禁城天子的宮殿》VR節(jié)目走出了國門，隨***總理一起出訪日本。當然我們還積極的與地方政府、博物館和企業(yè)合作，將我們數(shù)字故宮的成果推向更多的地方，將故宮的數(shù)字化成果轉化成為專題展覽的形式，讓更多的人感受到數(shù)字故宮的魅力。

在展示項目里還有一個故宮導覽應用項目，它也是利用Unity引擎開發(fā)。我們把終端放置在故宮觀眾服務中心，部分觀眾在進入故宮前使用導覽終端可以初步了解故宮的概，也可以訂制最適合自己的游覽路線并生成二維碼，觀眾可以將自己的路線“掃”進手機里，更為方便和快捷，Unity引擎不僅讓國寶藏“活”起來，也讓故宮的服務更有“溫度”。

十余年耕耘，觀眾有6.5萬，VR技術帶來突破口

故宮博物院在虛擬現(xiàn)實領域已經(jīng)默默耕耘了十多年，但是在這段時間內僅有65000名觀眾能夠來到故宮數(shù)字劇場觀看我們的VR節(jié)目。于是我們在思考，能不能將我們優(yōu)質的三維數(shù)據(jù)、三維節(jié)目放到互聯(lián)網(wǎng)上，讓更多的人體驗到虛擬故宮的魅力？出于這種想法，一個線上的三維展示平臺“V故宮”就此誕生。

2014年，我們開始著手利用Unity引擎，在現(xiàn)有的故宮三維數(shù)據(jù)庫中，選擇了靈沼軒進行移動端移植的測試。移植完成后，由于數(shù)據(jù)量太大，雖然可以承載VR程序內容，但是體量龐大，以當時的移動端設備仍然面臨著運行效果不理想的問題。在這種情況下，我們不得不選擇了折中方案——網(wǎng)頁端全景圖展示。

第一個項目是養(yǎng)心殿，我們將虛擬現(xiàn)實節(jié)目里的三維模型加工渲染成全景圖，并加以輕互動，移植到互聯(lián)網(wǎng)上，突出簡單便捷易上手的特性，吸引觀眾的目光。觀眾反饋不錯，于是我們又制作了第二期線上展示內容《靈沼軒》，但是我們并不滿足于相對簡單的全景展示，隨著技術的進步，特別是Unity引擎對H5平臺和WebGL渲染框架更好的支持，以及越來越多的瀏覽器支持WebGL渲染，于是我們準備部署更具交互感的游戲體驗方式。經(jīng)過測試，發(fā)現(xiàn)手機等移動設備上的三維模型運載能力依然有限，而電腦PC端卻可以流暢的實現(xiàn)三維交互。于是我們以《倦勤齋》為主題，設計了基于PC和手機端兩種不同側重點的Web程序。

在移動端，能夠承載的三維模型精度不高，在保證精細程度和三維模型上，我們做了多次取舍。在需要呈現(xiàn)畫面精細效果時采用二維影像，而在重點呈現(xiàn)空間感與真實感時采用三維模型。而在PC端的我們全部使用三維模型數(shù)據(jù)的進行開發(fā)，以第一人稱視角探索倦勤齋，并可以與NPC人物進行互動，古風十足，使整個體驗更接近于線上游戲；這一次，借助Unity引擎幫助我們驗證了故宮三維數(shù)據(jù)展示的另一種可能性。

未來，V故宮展示平臺將迎來一位新成員。線上的數(shù)字多寶閣展示項目，通過WebGL技術實現(xiàn)4K級精度的文物展示，聯(lián)通線上與線下的展示內容，打破常規(guī)提升用戶粘性，做到真正的“把故宮文物‘帶’回家”。

時間來到2015年初，當時北京在隆宗門西區(qū)域和慈寧宮花園區(qū)域發(fā)現(xiàn)了明代大型宮殿建筑遺跡。這一發(fā)現(xiàn)對于研究元代北京皇城具有非常重要的價值，以往都是考古繪圖與二維影像共同來進行考古數(shù)據(jù)的記錄與保存，而在隆宗門西區(qū)域發(fā)現(xiàn)的考古遺址坑，我們的數(shù)字化團隊第一次利用攝影測量技術采集加工生成考古遺址三維模型，實現(xiàn)了對考古遺址的三維化保護工作。

這時，我們需要思考如何讓這個考古遺址為專業(yè)人員所用。當時VR頭顯剛開始發(fā)力，我們便購入了一臺VIVE頭顯進行測試開發(fā)工作。我們借助Unity引擎將考古遺址VR化，當時并沒有交互內容設置。但對于考古專家們來說，這近乎真實的三維展示方式已經(jīng)完全超出了他們的想象。隨著考古工地的回填，我們掌握了唯一一份考古三維基礎數(shù)據(jù)。

考古專家對VR的展示方式給予了充分的認可，直接促成了與數(shù)字化團隊的又一次合作——景德鎮(zhèn)御窯遺址的三維數(shù)據(jù)應用研究。

之后我們走出了故宮的大門，為全國的考古項目進行采集加工工作。利用Unity引擎實現(xiàn)了5000萬三角面的考古遺址運行，幀率符合VR展示的要求。為了進行場景真實度還原，我們采用了全局環(huán)境光和環(huán)境光預計算技術（GI），以及VRTK - Virtual Reality Toolkit插件，實現(xiàn)VR的交互內容開發(fā)。

為了能夠在虛擬世界中，給體驗者對整個御窯遺址提供概覽性的介紹，同時避免觀眾產生眩暈感，所以我們在虛擬場景中構建一個虛擬電影院。以電影放映的形式來對遺址進行概括描述，這樣一來，不光減輕了體驗者的眩暈感，而且還有一種仿佛置身于巨幕當中欣賞遺址的奇特感覺。

在此之后，我們主持開展了國家科技部支撐項目——利用激光掃描和攝影測量相結合的方式采集加工了23件青銅器模型。而這些模型要達到貼圖精度為8K的級別，成為數(shù)字所截至目前制作的最為精細的一批文物。當時領導希望能夠在最終的評審會上以可視化的形式展示成果，于是我們再一次想到了Unity引擎。

值得注意的是，我們從構想到開發(fā)結束不到一周的時間，便實現(xiàn)了對三維文物模型紋理細節(jié)的極致展示。特別是在2017年的“故宮騰訊數(shù)字文化節(jié)”上，這批文物在4K屏幕上向觀眾展示，引起了文博行業(yè)與科技界專家的關注。也正是由此，故宮樹立起可移動文物三維數(shù)據(jù)可視化領域的一面旗幟，業(yè)務范圍逐漸的擴大。

結語

故宮希望在文博數(shù)字化應用領域始終保持領先態(tài)勢，我們對先進技術的探索從未停止，像最初的谷歌Project Tango項目出現(xiàn)時，我們購買了Tango手機，基于Unity引擎將延禧宮“搬”到了我們的院落，實際上Tango項目就是升級版的AR增強現(xiàn)實，通過技術測試評估我們覺得AR技術在博物館專業(yè)領域上應用前景的春天還沒有到來，不盲目追風，等待技術上的突破這是我們現(xiàn)階段的想法。

我想大家很難想象，在大會上介紹的12種應用程序中，有6個完全由故宮人自己開發(fā)的，故宮在數(shù)字化領域有自己的團隊。正是有Unity引擎這樣優(yōu)秀的開發(fā)工具，才能夠使想法成為可能，使可能成為現(xiàn)實。未來，故宮博物院將會加大在機器學習、人機互動、混合現(xiàn)實等領域的探索，研究其應用于數(shù)字故宮的可能性。故宮雖然很古老，但是故宮博物院卻很時尚。感謝大家的聆聽，謝謝。