諾瓦XR解決方案

來源：諾瓦編輯：lsy631994092 2022-03-03 08:58:11 加入收藏

諾瓦XR解決方案。一、項(xiàng)目背景XR，即ExtendedReality,擴(kuò)展現(xiàn)實(shí)技術(shù)。它允許用戶在實(shí)時(shí)生產(chǎn)環(huán)境中使用AR(增強(qiáng)現(xiàn)實(shí))和MR(混合現(xiàn)實(shí))將虛擬和物理世界混合在一起，...

諾瓦XR解決方案

　　一、項(xiàng)目背景

　　XR，即Extended Reality, 擴(kuò)展現(xiàn)實(shí)技術(shù)。它允許用戶在實(shí)時(shí)生產(chǎn)環(huán)境中使用AR(增強(qiáng)現(xiàn)實(shí))和MR(混合現(xiàn)實(shí))將虛擬和物理世界混合在一起，以創(chuàng)建完全沉浸式的體驗(yàn)。

　　目前該技術(shù)已在電影制作、廣告拍攝、大型活動(dòng)中呈井噴之勢。典型如好萊塢熱劇《曼達(dá)洛人》、《西部世界》，“美國偶像”綜藝節(jié)目中Katty Perry的表演，國內(nèi)雙十一晚會(huì)李榮浩現(xiàn)場演唱的《耳朵》，2021春晚周杰倫的《Mojito》表演等，其中均運(yùn)用了大量xR元素。

　　該解決方案前端需要對應(yīng)的動(dòng)作捕捉設(shè)備去配合相機(jī)完成拍攝，輔以特殊的媒體服務(wù)器配合游戲引擎完成內(nèi)容實(shí)時(shí)渲染及節(jié)目編輯，后端通過顯示屏控制系統(tǒng)完成節(jié)目傳送，實(shí)現(xiàn)屏體內(nèi)容的顯示。

　　這是XR拍攝時(shí)的整個(gè)系統(tǒng)構(gòu)成圖：

　　整個(gè)XR系統(tǒng)看起來組成復(fù)雜，用的設(shè)備很多;但LED顯示屏是其中不可或缺的重要設(shè)備;因?yàn)樗械奶摂M畫面都要通過LED屏顯示出來，再通過攝像機(jī)拍攝，才能最終完成XR場景。

　　總體上可以說：是XR發(fā)現(xiàn)了LED顯示屏新的方向和價(jià)值。

　　二、項(xiàng)目優(yōu)勢

　　以往傳統(tǒng)的影片是以綠幕的方式進(jìn)行拍攝的。步驟是這樣的：

　　1. 先用綠幕進(jìn)行拍攝;

　　2. 進(jìn)行大量的后期制作，最終完成影片;

　　這種綠幕影片拍攝的劣勢非常明顯：

　　1. 演員演戲全靠想象，導(dǎo)致拍攝難度極大;

　　2. 導(dǎo)演無法在現(xiàn)場看到效果，導(dǎo)致如果后期制作遇到難題時(shí)，只能重新拍攝，比較麻煩;

　　3. 要花費(fèi)大量的人力和時(shí)間在后期制作上，相信大家都有聽說過好萊塢的百萬調(diào)色師的傳說;

　　而XR能有效解決上述痛點(diǎn)，提升整個(gè)影視制作效率與水準(zhǔn)。基于XR的影片拍攝越來越火爆;其拍攝步驟是這樣的：

　　1. 將制作好的場景在LED屏上播放;

　　2. 演員直接在一個(gè)由LED屏組成的虛擬拍攝場地進(jìn)行表演;

　　3. 使用攝像機(jī)直接進(jìn)行拍攝，導(dǎo)演可以同步在監(jiān)視器上看到拍攝效果。

　　這種拍攝方式的優(yōu)勢非常明顯：

　　1. 演員不用憑空想象著完成表演;

　　2. 拍攝過程中導(dǎo)演就可以看到拍攝效果，如果有問題，當(dāng)場就可以重拍，節(jié)約拍攝時(shí)間，減少后期的重復(fù)投入;

　　3. 后期制作簡單，時(shí)間短，出片周期大大縮短;

　　XR還具有廣泛的應(yīng)用場景和前景：

　　1. 影視制作：一般電影約有 10%-15%的內(nèi)容，需要在攝影棚制作。XR 營造了逼真的攝制空間，演員、導(dǎo)演可以實(shí)時(shí)看到拍攝和表演效果。這對于影視行業(yè)有著極大的吸引力。現(xiàn)在，國內(nèi)很多地方都重視文娛、文化、文旅產(chǎn)業(yè)，爭相落地電影制造基地、影棚等。

　　2. 產(chǎn)品發(fā)布會(huì)：疫情的影響，讓更多的廠商把發(fā)布會(huì)轉(zhuǎn)移到線上。線上發(fā)布會(huì)，成本急劇下降，受眾極大擴(kuò)充。加上 XR 的加持，發(fā)布會(huì)的播出效果將會(huì)超出人們的想象。發(fā)布會(huì)是實(shí)時(shí)播出，效果對 XR 的依賴很重。

　　3. 廣電類節(jié)目制作：各種錄播節(jié)目，可以依靠 XR 影棚，低成本達(dá)到更好的效果。

　　4. 科教：教育將是 XR 的一個(gè)典型應(yīng)用場景。無論是大型現(xiàn)場還是線上教育，抑或是博物館等科普場所，XR 將提供直觀的、身臨其境、逼真的實(shí)時(shí)效果。

　　5. 演唱會(huì)、電視節(jié)目。比如以后請嘉賓，請到的可能是虛擬的，或者是異地表演的。一方面是檔期，如果嘉賓檔期有限，來錄制要幾天，可能就請不到了。一方面是，一個(gè)嘉賓背后有著一堆經(jīng)紀(jì)人、后勤等人員，吃喝拉撒費(fèi)用極高。如果是虛擬的，可以解決很多問題。

　　6. 游戲及相關(guān)活動(dòng)：游戲本身就是虛擬的，無論是游戲本身，還是游戲競賽和游戲

　　活動(dòng)相關(guān)，最適合虛擬和現(xiàn)實(shí)結(jié)合。

　　對于LED顯示來說，XR應(yīng)用場景是一塊待挖掘的新市場。

　　新思界產(chǎn)業(yè)研究中心出具的《2020年全球及中國擴(kuò)展現(xiàn)實(shí)(XR)產(chǎn)業(yè)深度研究報(bào)告》顯示，2019年全球擴(kuò)展現(xiàn)實(shí)市場規(guī)模為186億美元，在預(yù)測期(2020- 2030年)以48.3%的復(fù)合年增長率增長。

　　三、項(xiàng)目問題

　　當(dāng)前，國內(nèi)大多的XR應(yīng)用均是以租賃或者固裝來做的，所用的LED屏也只是常規(guī)屏。這表明，大家對XR的認(rèn)知不足。

　　LED顯示在XR應(yīng)用中的亂象：

　　1. 用三塊租賃P3.9的屏，放墻角一搭，跟配套的其他租用視頻媒體服務(wù)器設(shè)備接在一起，然后就成了XR;

　　2. 用固裝P2.5屏，搭上幾塊，再搞些媒體服務(wù)器，成了XR ;

　　由于RGB排列導(dǎo)致不同視角時(shí)接收到的RGB光強(qiáng)度不一樣，從而出現(xiàn)不同角度看到的顏色不一致，出現(xiàn)細(xì)節(jié)丟失，出現(xiàn)輪廓線和色帶的問題;顯示的顏色不精準(zhǔn)，存在偏色，如顯示的人臉偏紅等，導(dǎo)致后期制作投入大;顯示畫面的對比度不足，導(dǎo)致拍攝景深不足等問題。

　　那XR應(yīng)用需要什么樣的LED屏?

　　在現(xiàn)在，要有效地提升畫質(zhì)，拍攝的內(nèi)容的質(zhì)量也是很關(guān)鍵的。不得不聊聊HDR了。因?yàn)镠DR就是為了還原真實(shí)世界而存在的。

　　Nova是行業(yè)內(nèi)第一家支持HDR顯示的公司，并且我們不僅支持了HDR10，還支持了廣泛應(yīng)用于廣電領(lǐng)域的HLG，得到許多歐美客戶的青睞。像歐洲的LONG公司就是使用的我們的HDR解決方案。

　　XR對LED屏的基礎(chǔ)要求：

　　1. 拍攝無掃描線;

　　保證屏體的視覺刷新率要高，以保證攝像機(jī)拍不到掃描線;

　　屏體設(shè)計(jì)：低掃數(shù)，靜態(tài)顯示最佳，諾瓦建議不要超過8S;

　　控制系統(tǒng)：配合IC保證低灰刷新率夠高;支持genlock，能使顯示屏與視頻源和攝像機(jī)保持同步;

　　2. 保證屏體灰度級數(shù)要夠高，色彩控制更精準(zhǔn);

　　屏體設(shè)計(jì)：選用的RGB燈珠能覆蓋客戶使用的色域范圍;設(shè)計(jì)的屏體沒有耦合(屏體設(shè)計(jì)和IC選用)，白對黑的耦合，黑對白的耦合以及跨板耦合等。

　　控制系統(tǒng)：配合IC保證提升屏體的灰度級數(shù); 能對屏體進(jìn)行標(biāo)定：校準(zhǔn)屏體0~255的亮度符合EOTF曲線;校準(zhǔn)屏體的色彩準(zhǔn)確度，保證δE<4 。

　　3. 任意視角顯示色彩一致

　　保證RGB芯片間距足小。屏體設(shè)計(jì)：選用更小尺寸的LED芯片;面罩進(jìn)行特殊設(shè)計(jì).

　　控制系統(tǒng)：在出現(xiàn)問題時(shí)，能快速調(diào)節(jié)RGB的配比保證，一些機(jī)位顯示色彩正常。

　　XR對LED屏更高的需求：

　　8K、HDR、HFR 120Hz/144Hz/240Hz、精準(zhǔn)色彩、10bit/12bit、超低延遲

　　三、解決方案

　　在控制系統(tǒng)端，諾瓦可提供如下解決方案：

　　1.方案架構(gòu)

　　VMP+MX40 Pro+A10s Pro

　　諾瓦科技xR沉浸式解決方案

　　xR沉浸式解決方案，聚焦xR顯示應(yīng)用場景，精準(zhǔn)還原畫面真實(shí)色彩、保留圖像細(xì)節(jié)，搭載高幀頻、相位調(diào)節(jié)，倍頻等處理技術(shù)，解決xR拍攝動(dòng)態(tài)過程中，由于顯示屏刷新不足，由之而來的掃描線、黑場問題。同時(shí)搭載畫質(zhì)引擎技術(shù)，進(jìn)一步增強(qiáng)顯示畫質(zhì)，讓LED顯示屏重獲新生，打造至臻xR解決方案。

　　2.方案特點(diǎn)

　　小間距技術(shù)發(fā)展的突飛猛進(jìn)，LED顯示畫質(zhì)被寄予了越來越高的期待，尤其在影視拍攝、xR等高端顯示應(yīng)用領(lǐng)域。

畫質(zhì)引擎&動(dòng)態(tài)引擎

　　全新MX系列控制系統(tǒng)搭載諾瓦全新一代畫質(zhì)引擎和動(dòng)態(tài)引擎，全方位提升LED屏顯示畫質(zhì)，打造身臨其境的沉浸式觀感，為xR場景拍攝提供充分保障。

VMP

　　Vision、Management,、Platform ——諾瓦全新LED顯示操控平臺(tái)，集設(shè)計(jì)，調(diào)試，監(jiān)控，管理于一身。全流程工作平臺(tái)，工作質(zhì)量和效率兼顧，解放想象力限制，每個(gè)人都可以是顯示屏的設(shè)計(jì)師。

多視角實(shí)時(shí)顏色調(diào)節(jié)

　　為了徹底解決由于攝像視角變化，產(chǎn)生的偏色問題。在VMP + MX40 Pro + A10s Pro的基礎(chǔ)上，給出了實(shí)時(shí)顏色調(diào)節(jié)的解決方案。

　　VMP操作平臺(tái)，先將攝像機(jī)固定視角的屏體顏色信息進(jìn)行調(diào)節(jié)預(yù)存，Genlock 信號(hào)連接攝像機(jī)或 Genlock信號(hào)發(fā)生器;當(dāng)攝像機(jī)運(yùn)動(dòng)到此固定視角后，實(shí)時(shí)調(diào)取預(yù)存的信息，數(shù)據(jù)實(shí)時(shí)下發(fā)，保證從該視角捕捉到的畫面顏色信息準(zhǔn)確。另外，實(shí)時(shí)顏色調(diào)節(jié)可以滿足多機(jī)位同一時(shí)間，同時(shí)拍攝，解決多機(jī)位不同角度畫面顏色偏色問題。

倍頻 + 插幀

　　倍頻，可讓LED顯示屏適配更多的攝像機(jī)快門角度，使得顯示屏刷新時(shí)間與攝像機(jī)快門時(shí)間保持一致，去除黑場，掃描線，從而為攝像機(jī)拍攝顯示屏提供更靈活地選擇。

　　插幀，原理和倍頻一致。只不過倍入的幀頻為不同視頻源畫面。可使得多臺(tái)攝像機(jī)，和控制器通過Genlock連接后，與其分別對應(yīng)要拍攝的視頻素材幀頻率，進(jìn)行相位偏移后同步。以保證每個(gè)攝像機(jī)可以完美捕捉到各自對應(yīng)的視頻素材背景，從而在同一時(shí)間線上，同一場景，對不同內(nèi)容的素材進(jìn)行輸出。成本節(jié)省，一勞永逸。