2月20日晚，北京第二十四屆冬季奧林匹克運(yùn)動會閉幕式在國家體育場舉行。這是閉幕式現(xiàn)場。新華社記者 李尕 攝

藝術(shù)+科技，共筑一朵“雪花”

——北京冬奧會開閉幕式表演藝術(shù)中的科技之光

田湉

北京冬奧會開幕式分場導(dǎo)演

北京舞蹈學(xué)院副教授

與開幕式一脈相承，北京冬奧會閉幕式續(xù)寫了關(guān)于“一朵雪花的故事”，12輛晶瑩剔透的十二生肖冰車以車輪痕跡壓出“中國結(jié)”，14米直徑的冰雕雪花懸掛在鳥巢中央熠熠生輝，365束綠色LED楊柳枝表達(dá)折柳寄思的依依惜別，1200平方米的立面冰瀑垂直而下，2195立方米的冰立方被激光不斷雕刻牽引，11500平方米的超大巨幕地屏，21000個LED燈珠組成的緩緩升起的“星光五環(huán)”……這一切基于了人工智能、動捕追蹤系統(tǒng)、燃料動能、激光、LED裝置、VR、AR、裸眼3D、8K+5G轉(zhuǎn)播、智能機(jī)器人等前沿科技力量的支持。奧運(yùn)會開閉幕式的高科技特性、技術(shù)運(yùn)用程度、如何運(yùn)用，都成為了這個國家科技創(chuàng)新力量的衡量標(biāo)準(zhǔn)。

2月20日晚，北京第二十四屆冬季奧林匹克運(yùn)動會閉幕式在國家體育場舉行。這是“折柳寄情”環(huán)節(jié)。新華社記者 李賀 攝

“數(shù)字科技+美學(xué)創(chuàng)新”遂成為此屆北京冬奧會開閉幕式的視覺標(biāo)簽，這無疑需要國內(nèi)頂流技術(shù)專家、編程師和視覺藝術(shù)家們的通力合作。以下，從計(jì)算機(jī)仿真技術(shù)的虛擬排演、AI實(shí)時動捕追蹤的交互表演、VR及裸眼3D的增強(qiáng)現(xiàn)實(shí)效果三個方面來看開閉幕式表演中“藝術(shù)+科技”雙重軌道的交匯融合。

計(jì)算機(jī)仿真技術(shù)的虛擬排演

冬奧會開閉幕式創(chuàng)意期，即實(shí)地排練前期，計(jì)算機(jī)仿真系統(tǒng)的虛擬編排功不可沒。導(dǎo)演組要與北京理工大學(xué)計(jì)算機(jī)學(xué)院數(shù)字表演與仿真技術(shù)團(tuán)隊(duì)密切溝通，在仿真系統(tǒng)上集成物理環(huán)境和演出各要素構(gòu)建虛擬環(huán)境，對創(chuàng)意文案、視頻、動畫等創(chuàng)意素材進(jìn)行分析抽取后，進(jìn)行推演驗(yàn)證形成創(chuàng)意數(shù)據(jù)。這套“冬奧會開閉幕式仿真與排練系統(tǒng)”，能夠讓導(dǎo)演組先期在計(jì)算機(jī)上進(jìn)行推演驗(yàn)證，從而評估“創(chuàng)意預(yù)演內(nèi)容”的可行性，對創(chuàng)意方案進(jìn)行預(yù)判。

開幕式中，由395個武校少年手舉發(fā)光桿表演的《立春》，由北京舞蹈學(xué)院96個引導(dǎo)員表演的舞蹈《構(gòu)建一朵雪花》，《雪花》篇章中由660個兒童表演的實(shí)時交互舞蹈“和平鴿”；閉幕式中手提雪花燈籠的開場表演《點(diǎn)亮》，緬懷時刻的《折柳寄情》等，都是由仿真流程在先的。仿真先后模擬了隊(duì)形編排、點(diǎn)位設(shè)計(jì)、上下場流調(diào)方案等多個方面、多個步驟。在計(jì)算機(jī)上，模擬出演員點(diǎn)位，三角形、心形、方陣、圓圈等，以及演員調(diào)度位置，系統(tǒng)規(guī)劃、優(yōu)化演員流線和出場位置。

2月4日晚，第二十四屆冬季奧林匹克運(yùn)動會開幕式在北京國家體育場舉行。這是開幕式上的“雪花”環(huán)節(jié)。新華社記者 曹燦 攝

仿真技術(shù)為開閉幕式的排練過程提供了有力支持。演員訓(xùn)練期間，仿真數(shù)據(jù)提供的點(diǎn)位訓(xùn)練手冊成為導(dǎo)演組給演員們排練的必需品。開閉幕式中，孩子們的自由表演令人印象深刻：開幕式中手持發(fā)光“和平鴿”的兒童在雪地上自由玩耍，而閉幕式中手提發(fā)光雪花燈籠的兒童再次圍繞著“雪花”裝置重現(xiàn)自由玩耍的場景。而這個看似隨意的表演，實(shí)際上演員位置也都經(jīng)過了縝密的規(guī)劃和點(diǎn)位排演。尤其是開幕式的《雪花》篇章，由于實(shí)時交互系統(tǒng)的高效追蹤是建立在獨(dú)立個體的基礎(chǔ)上的，導(dǎo)演組又希望呈現(xiàn)自由玩雪的畫面感，因此將點(diǎn)位放在了看起來很隨意的“散點(diǎn)”上。看似隨意，但其實(shí)“散點(diǎn)”也是需要經(jīng)過設(shè)計(jì)的?！吧Ⅻc(diǎn)”意味著每個小演員之間前后左右的距離都有所間隔。這些都通過仿真技術(shù)提前進(jìn)行設(shè)計(jì)和預(yù)判。

同時，仿真技術(shù)往往可以解決在真實(shí)排練中解決不了的視角問題。眾所周知，開閉幕式表演的主題是“雪花”，而巨大的被懸掛起來的閃亮“雪花”就成為了場館內(nèi)的核心裝置。由于“雪花”裝置被拉吊的角度分為45%、75%等不同角度，又由于“雪花”周圍演員點(diǎn)位的角度仍是以主席臺為主視角的，那么演員點(diǎn)位會比俯視角度的點(diǎn)位有所變形。比如演員點(diǎn)位是一個“心形”，基于主席臺視角，“心形”需要匹配“雪花”上升角度，就會是一個有所“變形”的心形。所以，仿真在虛擬過程中就需要基于主席臺視角，把圍繞“雪花”本身的隊(duì)形做出適度的透視視覺編排，這樣也就避免了實(shí)際排練中的視角問題。

2月4日晚，第二十四屆冬季奧林匹克運(yùn)動會開幕式在北京國家體育場舉行。這是主火炬。新華社記者 鞠煥宗 攝

AI實(shí)時動捕追蹤的交互表演

AI人機(jī)交互系統(tǒng)與“和平鴿”小演員們之間的實(shí)時追蹤互動表演，被譽(yù)為此次開閉幕式表演中的“科技巔峰”。

2020年底，筆者加入了北京冬奧會開幕式導(dǎo)演組，并被總導(dǎo)演張藝謀任命負(fù)責(zé)帶領(lǐng)一支編導(dǎo)隊(duì)伍排演主題歌《雪花》篇章，這是一個由500個來自北京金帆舞蹈團(tuán)的舞蹈小演員和160個來自北京愛樂合唱團(tuán)的合唱小演員共同帶來的表演，由于它同時也是開幕式中規(guī)定的“和平鴿”表演，因此也被稱為“和平鴿”環(huán)節(jié)。這是因?yàn)閲H奧委會對奧運(yùn)會開幕式設(shè)有幾項(xiàng)規(guī)定動作：運(yùn)動員入場式；奧運(yùn)會組委會主席演講（本屆為蔡奇）；國際奧委會主席演講（本屆為巴赫）；唱會歌、升會旗；奧運(yùn)火炬點(diǎn)燃；放飛“和平鴿”等?！堆┗ā菲鲁袚?dān)的就是“和平鴿”這一要素。

《雪花》長達(dá)一年的排練過程中，英特爾聯(lián)合北京電影學(xué)院交互設(shè)計(jì)團(tuán)隊(duì)發(fā)揮了重要作用，他們?yōu)椤昂推进潯倍ㄖ崎_發(fā)了“基于AI的大型演出實(shí)時特效系統(tǒng)”，這是能夠制造出“雪花與孩子如影隨形”畫面的關(guān)鍵。這套“基于AI的大型演出實(shí)時特效系統(tǒng)”包括“低延遲人物對象跟蹤”和“實(shí)時視覺特效”兩個程序：“低延遲人物對象跟蹤程序”通過攝像頭捕捉演出現(xiàn)場小演員們站立的物理位置，通過局域網(wǎng)發(fā)送到渲染系統(tǒng)，再完成小演員們腳下的“雪花”圖形的實(shí)時渲染；“實(shí)時視覺特效程序”則是基于實(shí)時圖形渲染引擎構(gòu)建的特殊效果算法。根據(jù)整體視覺設(shè)計(jì)要求，雪花不要實(shí)在的、具體的、現(xiàn)實(shí)生活中人們見到的“雪”，而是相對抽象的、游動的“雪花粒子”。為了強(qiáng)化“雪花粒子”的閃亮效果，粒子渲染中加入了光暈與HDR特效。整個過程以毫秒計(jì)，小演員們和地屏上閃亮的“雪花粒子”的交互追蹤毫無延遲，總流程不超過0.1秒。

2月4日晚，第二十四屆冬季奧林匹克運(yùn)動會開幕式在北京國家體育場舉行。這是開幕式上的“雪花”環(huán)節(jié)。新華社記者 曹燦 攝

導(dǎo)演組和技術(shù)團(tuán)隊(duì)的測試是從2021年10月開始的。盡管如此，在2022年1月22日的第三次開幕式全要素彩排之前卻仍然出現(xiàn)了問題。由于下雪的極端天氣影響，加之演員散點(diǎn)位置進(jìn)行了大幅度調(diào)整，出現(xiàn)了單臺圖形采集設(shè)備的覆蓋范圍算力不足的情況，導(dǎo)致LED地屏的部分區(qū)域追蹤效果失效。當(dāng)天下午只有另外的3/4地屏是穩(wěn)定運(yùn)行的。因此，導(dǎo)演組花費(fèi)了大量的時間精力和技術(shù)團(tuán)隊(duì)密切合作、不斷磨合，在每天訓(xùn)練完天黑之后再次讓小演員們上地屏，做人物對象跟蹤的壓力測試，通過點(diǎn)位調(diào)整尋找最為穩(wěn)定的算力，將演出當(dāng)天的追蹤效果發(fā)揮到最大化。

在AI實(shí)時動捕追蹤的交互表演中，演員構(gòu)成的往往是一個運(yùn)動著的圖像。《雪花》中，以小演員們和地面上“雪花”的交互追蹤關(guān)系來建構(gòu)這一視覺整體。每個小演員的手里都有一個發(fā)光的“小鴿子”道具，配合小演員們散點(diǎn)的流調(diào)、跑位，將腳下、手中的“閃亮”光點(diǎn)作為交互方式，構(gòu)成視覺空間。小演員們被看成是一個個的視覺像素，是整體環(huán)境中的動態(tài)元素，他們在空間中構(gòu)造并與腳下的“雪花”形成互動關(guān)系，整體形成的“閃亮”的雪花和星星點(diǎn)燈的童話夢境效果。

2月4日晚，第二十四屆冬季奧林匹克運(yùn)動會開幕式在北京國家體育場舉行。這是開幕式上的“雪花”環(huán)節(jié)。新華社記者 武巍 攝

實(shí)時交互這一創(chuàng)意決定了《雪花》的表演不再是國家大型文藝表演慣?？梢姷摹皥F(tuán)體操”式的編排。沒有了排山倒海的隊(duì)形變化，沒有了大開大合的動作模式，沒有了整齊劃一的表演規(guī)范……當(dāng)我們反其道而行之的時候，卻顯得真誠有趣，有著大道至簡的自信。《雪花》最終實(shí)現(xiàn)了首次用660人的、大規(guī)模的基于人工智能與實(shí)時渲染，呈現(xiàn)真實(shí)演員與虛擬影像實(shí)時互動的特殊視覺效果，將實(shí)時視覺特效在大型文藝表演中的運(yùn)用發(fā)揮到了極致。

裸眼3D和AR技術(shù)的呈現(xiàn)效果

開閉幕式大部分演出創(chuàng)意的產(chǎn)出，都是通過地面顯示系統(tǒng)。這是目前世界最大的LED三維立體地屏系統(tǒng)，也是開閉幕式演員們表演的主舞臺。這個超大地面顯示屏畫質(zhì)為16K，每秒鐘50幀，畫面像素實(shí)際分辨率達(dá)到14880×7248，接近4個8K，可完美地呈現(xiàn)裸眼3D效果。

閉幕式第一個開場節(jié)目《點(diǎn)亮》，延續(xù)了開幕式“一朵雪花的故事”。一群孩子們提著暖黃色燈光的雪花燈籠在冰天雪地中嬉戲，在孩子們腳下逐漸出現(xiàn)三維的冬奧會會徽，視覺上就好像孩子們站在立體會徽之上。這就要求在創(chuàng)意階段，導(dǎo)演組首先要做的往往不是編排什么具體動作，而是想到孩子們和地屏上裸眼3D的呈現(xiàn)效果共同構(gòu)成怎樣的視覺整體。孩子們用自己的身體和地屏上“冬”字的立體空間成為一個視覺整體，每個孩子都成為了地屏畫面的一個像素。

2月20日晚，北京第二十四屆冬季奧林匹克運(yùn)動會閉幕式在國家體育場舉行。新華社記者 徐子鑒 攝

隨后，無數(shù)條紅絲帶從四面八方飛向鳥巢中心，一個巨大的實(shí)體中國結(jié)裝置掛在鳥巢之上。這個巨型中國結(jié)是由數(shù)字AR增強(qiáng)現(xiàn)實(shí)技術(shù)生成，AR能在現(xiàn)實(shí)世界中展現(xiàn)出原本不存在的虛擬物體，以超高精細(xì)度形成逼真的視覺效果，看起來就像真有一個巨大的實(shí)體中國結(jié)懸于上空一般。

2月20日晚，北京第二十四屆冬季奧林匹克運(yùn)動會閉幕式在國家體育場舉行。新華社記者 徐子鑒 攝

同樣用到了增強(qiáng)現(xiàn)實(shí)技術(shù)的篇章是開幕式上的舞蹈表演《構(gòu)建一朵雪花》。音樂開始，就有了數(shù)字AR的各種各樣的雪花從空中漫漫飄落，伴隨現(xiàn)場舞蹈演員們腳下“雪花”的匯聚，演繹了人類命運(yùn)共同體的構(gòu)建。演員們高舉的發(fā)光雪花引導(dǎo)牌，由于腳下跑動出現(xiàn)的“雪花”而形成地屏和演員的跟隨關(guān)系。也就是說，演員的行為有效“影響”或說“攪動”了這些AR增強(qiáng)現(xiàn)實(shí)技術(shù)帶來的演員周圍的“雪花”，以及地屏上影像中的“雪花”。數(shù)字AR的“雪花”是提前設(shè)計(jì)好的，且大量參數(shù)在表演過程中被不斷調(diào)適。演員與地面光影的“雪花”互動，加之增強(qiáng)現(xiàn)實(shí)技術(shù)布滿天空的“飄雪”，點(diǎn)出了開閉幕式表演的核心——“雪花”，也體現(xiàn)出“世界大同，天下一家”這一構(gòu)建人類命運(yùn)共同體的宏大主題。

2月4日晚，第二十四屆冬季奧林匹克運(yùn)動會開幕式在北京國家體育場舉行。圖為開幕式上的“構(gòu)建一朵雪花”環(huán)節(jié)。新華社記者 薛宇舸 攝

結(jié) 語

北京冬奧會開閉幕式是讓世界感受中國的一個窗口，是彰顯國力的一次盛會，它體現(xiàn)出中國在當(dāng)今世界格局中的文化藝術(shù)水平和科技實(shí)力。不論動作捕捉技術(shù)、實(shí)時交互技術(shù)，還是虛擬仿真技術(shù)、VR、裸眼3D等，其目的都是支持、激活、加強(qiáng)開閉幕式現(xiàn)場的表演效果。

科技力量才是奧運(yùn)會上奇觀的制造者。正是這些各種各樣的、隱藏著的、驚人的“黑科技”，共筑了開閉幕式盛會中的這朵“雪花”。

圖片來源：新華社