?
在AR和VR中創(chuàng)建數(shù)字人物是沉浸式體驗(yàn)的必要需求，但同時(shí)也是一項(xiàng)技術(shù)挑戰(zhàn)。對(duì)于初學(xué)者來(lái)說(shuō)，這或許比在3D工具中創(chuàng)建物體和環(huán)境要困難得多。為什么？首先，人體結(jié)構(gòu)比桌子或椅子更為復(fù)雜，所以更難復(fù)制；其次，我們已經(jīng)特別熟悉人類的動(dòng)作，所以我們的大腦能夠輕易發(fā)現(xiàn)最微小的差異；最后，對(duì)于AR/VR這樣的沉浸式媒介而言，人體動(dòng)畫，特別費(fèi)時(shí)又存在重重的技術(shù)困難。當(dāng)然，市場(chǎng)上已經(jīng)存在一些解決方案，而我們又應(yīng)如何進(jìn)行選擇呢？
根據(jù)海外近期文獻(xiàn)及映維網(wǎng)相關(guān)翻譯內(nèi)容，以下討論了部分目前已有的解決方案及其優(yōu)缺點(diǎn)。
?
1. 高定制化的虛擬化身
從卡通風(fēng)格到類人風(fēng)格，虛擬化身（有時(shí)稱為合成人類）是我們?nèi)祟愒跀?shù)字空間中的對(duì)應(yīng)定制角色。對(duì)于普通大眾而言，我們最為熟悉的例子包括Bitmoji、蘋果的Memoji和Facebook Avatars。但實(shí)際上，你可以發(fā)現(xiàn)一系列的公司都有把虛擬化身用于AR/VR。這種數(shù)字角色通常屬于高度可定制，允許你輕松改變膚色、頭發(fā)、衣服、配件、身高等等。保真度：高度程式化的虛擬化身保真度非常低，比如卡通類型的虛擬化身。它們的優(yōu)點(diǎn)是，你可以變成別人難以通過(guò)外表或動(dòng)作識(shí)別你的任何角色。實(shí)際上，即便是3D模型，我們對(duì)卡通角色的接受度普遍較高。動(dòng)畫性：一般來(lái)說(shuō)，虛擬化身時(shí)都會(huì)設(shè)計(jì)成便于定制調(diào)整和制作動(dòng)畫。根據(jù)虛擬化身解決方案，你將能夠?qū)崿F(xiàn)各種各樣的手勢(shì)和姿態(tài)。另外，它們可能會(huì)附帶一個(gè)運(yùn)動(dòng)庫(kù)或允許你導(dǎo)入自己的動(dòng)作。沉浸感：在這一方面，低保真度的虛擬化身往往要優(yōu)于嘗試實(shí)現(xiàn)高保真度的虛擬化身。在大多數(shù)情況下，你不會(huì)認(rèn)為自己是在和一個(gè)真實(shí)人類分享這個(gè)空間，而這對(duì)你正在進(jìn)行的工作或娛樂(lè)而言可能并不重要。成本：行業(yè)存在支持與特定AR/VR平臺(tái)集成的免費(fèi)卡通化解決方案。你可以在Unity Asset Store等標(biāo)準(zhǔn)儲(chǔ)存庫(kù)發(fā)現(xiàn)這些功能有限，但成本和操作親民的虛擬化身解決方案。另一方面，你可以通過(guò)專業(yè)供應(yīng)商尋找基于動(dòng)捕技術(shù)并且由人工智能驅(qū)動(dòng)的高質(zhì)量虛擬化身。時(shí)間：通常，定制和配置虛擬化身的動(dòng)畫是一個(gè)非常快速的過(guò)程，但前提是你正在使用的工具提供所需的定制和動(dòng)畫選項(xiàng)。如果需要任何裁剪，這可能會(huì)成為一個(gè)棘手且漫長(zhǎng)的過(guò)程，或者根本無(wú)法實(shí)現(xiàn)，比方說(shuō)你希望移動(dòng)虛擬化身的眉毛，但相關(guān)工具根本不提供所述選項(xiàng)。總結(jié)：對(duì)于不需要高逼真度或沉浸感的內(nèi)容，虛擬化身是一個(gè)出色的解決方案。動(dòng)畫性和所需時(shí)間令其成為了交互性內(nèi)容的強(qiáng)大選擇，如訓(xùn)練模擬器或游戲（事實(shí)上，傳統(tǒng)的游戲角色可以視為虛擬化身）。然而，如果你希望實(shí)現(xiàn)真正的沉浸感，或者希望你的內(nèi)容能夠給受眾留下深刻的印象，你應(yīng)該考慮其它方案。
?
2. 3D設(shè)計(jì)
人類的3D設(shè)計(jì)是使用專門的軟件從零開(kāi)始創(chuàng)建人類角色的過(guò)程。你可以將其當(dāng)作是繪畫人像，但這是在3D中進(jìn)行。3D美術(shù)或?qū)I(yè)設(shè)計(jì)師會(huì)創(chuàng)建達(dá)到特定細(xì)節(jié)級(jí)別的模型，然后用數(shù)字骨架對(duì)其進(jìn)行綁定操縱，從而使其具有動(dòng)畫效果。結(jié)果，你將得到一個(gè)獨(dú)特的虛擬化身。當(dāng)然，要設(shè)計(jì)一個(gè)具有與真人相似的細(xì)節(jié)特征的3D角色，你將需要難以置信的專業(yè)知識(shí)量。頂級(jí)的3D專家會(huì)根據(jù)角色的個(gè)性為數(shù)字人類量身定制視覺(jué)外觀。為了減少?gòu)?fù)雜性，設(shè)計(jì)師通常從一個(gè)預(yù)先定義的模型，一個(gè)三維掃描，一個(gè)人體模型庫(kù)開(kāi)始，并產(chǎn)生混合技術(shù)和結(jié)果。3D設(shè)計(jì)的角色不僅可用于AR和VR，過(guò)去的電影中同樣有廣泛應(yīng)，如《指環(huán)王》中的咕嚕、《加勒比海盜》中的戴維·瓊斯、和《玩具總動(dòng)員》中的伍迪等等。
?
保真度：你可以選擇不同的外觀風(fēng)格，如卡通、寫實(shí)、幻想等。只要有合適的美術(shù)、工具、時(shí)間和預(yù)算，你就能實(shí)現(xiàn)其他方法難以達(dá)到的保真度。動(dòng)畫性：這取決于3D設(shè)計(jì)的質(zhì)量。設(shè)計(jì)精良的3D角色可以動(dòng)畫化到令人難以置信的細(xì)節(jié)水平。頂級(jí)工作室甚至?xí)玫缴疃葘W(xué)習(xí)引擎來(lái)驅(qū)動(dòng)設(shè)計(jì)，這樣角色的一切，甚至膚色都會(huì)隨著動(dòng)作而略有變化。在實(shí)踐中，對(duì)于一個(gè)普通的沉浸式項(xiàng)目，你可以用標(biāo)準(zhǔn)的工具和合理的動(dòng)畫水平來(lái)設(shè)計(jì)角色，但不要期望太高的真實(shí)感。沉浸感：同樣，這取決于你的設(shè)計(jì)質(zhì)量。如果技巧高超，三維設(shè)計(jì)可以帶來(lái)高水平的沉浸感。低質(zhì)量的設(shè)計(jì)可能會(huì)導(dǎo)致非常令人毛骨悚然的結(jié)果，或者只是給整個(gè)沉浸式體驗(yàn)帶來(lái)一種低端的印象。成本：根據(jù)你的方法，3D設(shè)計(jì)可能是最昂貴的解決方案。你需要內(nèi)部人才來(lái)創(chuàng)建設(shè)計(jì)和制作動(dòng)畫，或者是將工作外包。另外，根據(jù)選擇，3D設(shè)計(jì)工具和硬件可能需要你支付昂貴的價(jià)格。時(shí)間：一個(gè)3D設(shè)計(jì)美術(shù)可能需要幾個(gè)月的時(shí)間來(lái)開(kāi)發(fā)一個(gè)合適質(zhì)量水平的人類角色。類似地，電影或3A游戲的角色可能需要專業(yè)設(shè)計(jì)師團(tuán)隊(duì)花費(fèi)數(shù)個(gè)星期的時(shí)間來(lái)開(kāi)發(fā)。過(guò)程可以更快地完成，但這涉及到成本或質(zhì)量的權(quán)衡。總結(jié)：對(duì)于高端AR/VR內(nèi)容所需要的獨(dú)特角色，而且不是直接從現(xiàn)實(shí)中捕捉的真實(shí)人物，3D設(shè)計(jì)可能是最好的解決方案，而你會(huì)看到游戲和電影大作常常會(huì)用到這種方法。如果你不追求高質(zhì)量，但又無(wú)法通過(guò)定制虛擬角色的方法來(lái)獲得所需的結(jié)果，3D設(shè)計(jì)同樣值得你的考慮。但當(dāng)然，前提是你擁有合適的人才和設(shè)備，以及足夠的預(yù)算。設(shè)計(jì)的類型必須根據(jù)你的使用場(chǎng)景進(jìn)行調(diào)整。
?
3. 靜態(tài)3D掃描+動(dòng)畫
三維掃描是一種使用專業(yè)技術(shù)，用來(lái)分析現(xiàn)實(shí)世界中的人或物，從而生成其數(shù)字三維副本的過(guò)程。這通常可稱為“數(shù)字孿生”或3D掃描。行業(yè)存在各種各樣的技術(shù)，而最常見(jiàn)的是使用深度傳感器和攝影測(cè)量。深度傳感器計(jì)算對(duì)象和傳感器本身之間的距離，而攝影測(cè)量則使用從不同位置和角度拍攝的照片，并使用專門的軟件將它們拼合在一起以形成三維模型。就其本身而言，人類的3D掃描就像是一個(gè)靜止的數(shù)字雕塑，它們需要用一個(gè)數(shù)字骨骼進(jìn)行綁定操縱，并進(jìn)行數(shù)字“蒙皮”，這樣才能動(dòng)畫化。換而言之，模型的關(guān)節(jié)和活動(dòng)組件需要識(shí)別和編程，并且模型的形狀在這一過(guò)程中不會(huì)瘋狂地改變。保真度：根據(jù)你能負(fù)擔(dān)的預(yù)算，你可以考慮不同的質(zhì)量等級(jí)。好萊塢工作室使用高質(zhì)量的3D掃描裝置，但你可以通過(guò)智能手機(jī)攝像頭來(lái)實(shí)現(xiàn)基本的3D掃描。保真度問(wèn)題會(huì)在動(dòng)畫化過(guò)程中出現(xiàn)，要人為地對(duì)三維掃描進(jìn)行綁定操縱和蒙皮非常困難，這樣做通常會(huì)導(dǎo)致機(jī)器人般或木偶般的不自然效果。只有頂級(jí)工作室的合格3D美術(shù)團(tuán)隊(duì)才能通過(guò)靜態(tài)掃描實(shí)現(xiàn)3D的逼真度。目前少有能夠?qū)崿F(xiàn)出色效果的自動(dòng)化工具。動(dòng)畫性：如前所述，這是3D掃描的最大限制。3D掃描本質(zhì)為靜態(tài)，對(duì)綁定操縱和蒙皮是持續(xù)不斷的技術(shù)挑戰(zhàn)，若缺乏熟練的美術(shù)技巧及標(biāo)準(zhǔn)工具將難以得到令人信服的結(jié)果。但如果保真度和沉浸感不是優(yōu)先考慮事項(xiàng)，行業(yè)存在一些值得考慮的軟件解決方案。沉浸感：如果能以高標(biāo)準(zhǔn)拍攝并制作動(dòng)畫，由3D專家團(tuán)隊(duì)完成的3D掃描能夠?qū)崿F(xiàn)令人信服的數(shù)字人類，并帶來(lái)高度沉浸感的體驗(yàn)。對(duì)于采用標(biāo)準(zhǔn)的綁定操縱和蒙皮技術(shù)，所有質(zhì)量級(jí)別的3D掃描都會(huì)有一種恐怖谷般的外觀和感覺(jué)。成本：如果你希望自己進(jìn)行3D掃描，一個(gè)3D掃描裝置通常需要你購(gòu)買幾十個(gè)攝像頭，外加一系列的配件。攝影測(cè)量軟件的成本可以接受，而運(yùn)行重建過(guò)程不是什么高深的科學(xué)。另一個(gè)選擇是雇傭一個(gè)3D掃描工作室來(lái)完成特定的工作，這甚至可能會(huì)降低成本。如果這兩個(gè)選項(xiàng)都不行，你可以使用一個(gè)攝像頭并從不同的角度捕捉人像，然后進(jìn)行重建，但這將是一個(gè)耗時(shí)的細(xì)節(jié)向過(guò)程。同樣，將3D掃描變成一個(gè)可動(dòng)畫化的數(shù)字人類，你需要團(tuán)隊(duì)擁有優(yōu)秀的3D專業(yè)知識(shí)，以及采購(gòu)甚至不能提供最令人興奮結(jié)果的昂貴的軟件解決方案。時(shí)間：如果你有你的三維掃描設(shè)備或有權(quán)訪問(wèn)一家提供該服務(wù)的公司，三維模型的捕獲不是一個(gè)耗時(shí)的過(guò)程。就像上面提到的，3D掃描可以用一個(gè)攝像機(jī)從不同的角度捕捉一個(gè)人，但這需要時(shí)間和一定的專業(yè)水平。標(biāo)準(zhǔn)動(dòng)畫制作不是一個(gè)耗時(shí)的過(guò)程，但會(huì)導(dǎo)致有限的結(jié)果。為了達(dá)到一個(gè)像樣的質(zhì)量水平，你需要更長(zhǎng)的時(shí)間來(lái)完成捕獲后的過(guò)程，例如從3D掃描到創(chuàng)建專業(yè)動(dòng)態(tài)3D模型，你可以使用動(dòng)捕技術(shù)創(chuàng)建動(dòng)作，然后綁定靜態(tài)模型骨骼來(lái)產(chǎn)生動(dòng)態(tài)效果。總結(jié)：傳統(tǒng)意義上，靜態(tài)3D掃描與動(dòng)畫相結(jié)合一直是將真人帶到AR和VR或其他3D世界（如游戲）的首選方法。當(dāng)交給合格的3D設(shè)計(jì)師團(tuán)隊(duì)時(shí)，這是一個(gè)非常強(qiáng)大的工具組合。但在大多數(shù)情況下，你的公司可能缺乏這樣的團(tuán)隊(duì)，所以3D掃描可能不是你的選擇。正如上述討論一樣，標(biāo)準(zhǔn)的綁定操縱和蒙皮技術(shù)會(huì)令模型看起來(lái)粗糙，有時(shí)甚至?xí)霈F(xiàn)恐怖谷效應(yīng)。在這種情況下，你會(huì)犧牲沉浸感。如螳螂慧視所提供的體積視頻錄制方案（見(jiàn)下文）能夠解決這個(gè)問(wèn)題，并給你提供了一個(gè)更為自然的結(jié)果。?
4. 體積視頻（動(dòng)態(tài)3D掃描）
體積視頻是一種捕捉人或物并生成一系列三維模型的技術(shù)。換言之，體積視頻之于3D掃描就像視頻之于攝影一樣。一般來(lái)說(shuō)，你可以把體積視頻的每一幀都看作是3D掃描。因?yàn)樗苯硬蹲浆F(xiàn)實(shí)，你可以用它把真實(shí)的人類準(zhǔn)確地帶到AR/VR之中。由于它是三維的，你可以從任何角度看到內(nèi)容。從技術(shù)上講，體積視頻就像3D掃描一樣，同樣是基于多攝像頭裝置，其中可以包括深度傳感器。事實(shí)上，一個(gè)體積視頻捕捉設(shè)備非常類似于一個(gè)3D掃描設(shè)備，只是它設(shè)置成記錄視頻而非單幀畫面。保真度：這是體積視頻的關(guān)鍵優(yōu)勢(shì)之一。它的優(yōu)點(diǎn)是形狀和動(dòng)作不是分開(kāi)生成，而是直接在3D中捕捉移動(dòng)的人物。沒(méi)有一種方法可以在沒(méi)有高質(zhì)量美術(shù)的監(jiān)督下達(dá)到這種自然逼真度。與其他技術(shù)類似，體積視頻將根據(jù)你的預(yù)算和部署平臺(tái)提供不同級(jí)別的保真度。配備100多個(gè)攝像頭的精密裝置可以提供非常高的質(zhì)量。但對(duì)于大多數(shù)目的來(lái)說(shuō)，這可能是殺雞用牛刀，因?yàn)楫?dāng)你使用最先進(jìn)的體積視頻重建軟件時(shí)，你可以用15-18個(gè)攝像頭獲得非常逼真的結(jié)果。但基于多個(gè)簡(jiǎn)單甚至廉價(jià)的深度傳感器和攝像頭，會(huì)產(chǎn)生更多噪點(diǎn)、低分辨率或根本不是完全三維的低質(zhì)量?jī)?nèi)容。動(dòng)畫性：體積視頻和普通視頻一樣不需要?jiǎng)赢嫛Ｄ憧梢詮默F(xiàn)實(shí)中捕捉AR/VR體驗(yàn)所需的動(dòng)作，從而使其具有最大的保真度。反過(guò)來(lái)，體積視頻在重新設(shè)置動(dòng)畫方面受到限制：你可以對(duì)其進(jìn)行綁定操縱并對(duì)其進(jìn)行蒙皮，但有可能會(huì)失去原始捕獲的真實(shí)性和保真度。與3D掃描相比，它有兩個(gè)主要優(yōu)勢(shì)：-
首先，你有關(guān)于人物如何運(yùn)動(dòng)的內(nèi)置信息，因此你可以精準(zhǔn)地確定驅(qū)動(dòng)運(yùn)動(dòng)的數(shù)字骨骼。
-
其次，你可以使用原始的動(dòng)作并調(diào)整它們以更好地匹配你的故事（例如，改變時(shí)間、視線、方向），而不是完全重新設(shè)置動(dòng)畫。事實(shí)上，有公司專門從事這種動(dòng)態(tài)3D內(nèi)容的后期制作。未來(lái)，深度學(xué)習(xí)系統(tǒng)可能會(huì)從原始的體積視頻中學(xué)習(xí)，并用全新的但逼真的動(dòng)作來(lái)實(shí)現(xiàn)動(dòng)畫捕捉。而螳螂慧視（Mantis Vision）正在探索這一方向的技術(shù)。
沉浸感：與一個(gè)動(dòng)態(tài)3D人物共享一個(gè)空間將是僅次于現(xiàn)實(shí)的交互案例。像視頻一樣，一般的外表和動(dòng)作，甚至是情緒都是以原始保真度捕捉的，這樣的表達(dá)和反應(yīng)最為真實(shí)。由于它是全三維，所以可以集成到AR或VR空間之中，并且可以從任何角度進(jìn)行體驗(yàn)。你同時(shí)可以添加一定的效果，例如讓3D角色注視著用戶。成本：如果你想搭建自己的動(dòng)態(tài)3D內(nèi)容捕捉設(shè)備，一些簡(jiǎn)單的機(jī)器可以適合初學(xué)者使用，而且價(jià)格合理，只是不能提供專業(yè)的結(jié)果。最復(fù)雜的設(shè)備可能要花費(fèi)過(guò)百萬(wàn)美元，但它們可以產(chǎn)生真正高端的結(jié)果。事實(shí)上，所需的空間可能是最為昂貴的資源，即專門的體積視頻捕捉空間（3D影棚）。如果你與一個(gè)3D內(nèi)容錄制工作室合作進(jìn)行一次性項(xiàng)目，成本會(huì)高于2D Billboards和標(biāo)準(zhǔn)虛擬化身，但可能會(huì)低于3D設(shè)計(jì)或靜態(tài)3D掃描+動(dòng)畫，但體積視頻可以提供更高的內(nèi)容質(zhì)量。一般來(lái)說(shuō)，你不需要專業(yè)的人才，除非你想后期制作或重新制作你的捕獲真實(shí)3D動(dòng)態(tài)內(nèi)容。時(shí)間：這是體積視頻之于其他方案的最重要的優(yōu)勢(shì)之一。第一步是捕捉，它所花費(fèi)的時(shí)間和普通的視頻拍攝差不多。過(guò)去，處理體積視頻是一個(gè)漫長(zhǎng)的過(guò)程，但目前的云解決方案已允許處理過(guò)程在幾小時(shí)，甚至幾分鐘內(nèi)完成。另一個(gè)優(yōu)點(diǎn)是，獲得的結(jié)果可以直接從處理管道集成到體驗(yàn)之中。螳螂慧視（Mantis Vision）擁有的獨(dú)家3D內(nèi)容直播技術(shù)，甚至能做到實(shí)時(shí)捕捉、處理、并在AR/VR端輸出完全三維的體積視頻。總結(jié)：如果AR/VR內(nèi)容的關(guān)注點(diǎn)是人，需要以真實(shí)方式捕捉人物及相關(guān)的情感和動(dòng)作，體積視頻可能是你的最佳選擇。如果你需要在內(nèi)容中加入一個(gè)特定的人物，比如名人、品牌大使、公司高管或藝術(shù)家等，那這一優(yōu)勢(shì)將尤其突出。但需要注意的是：如果你的內(nèi)容具有高度交互性（如游戲），你將需要結(jié)合特定的綁定操縱和蒙皮技術(shù)來(lái)實(shí)現(xiàn)。
總而言之，如果你的項(xiàng)目能夠支持不需要?jiǎng)赢嫷慕鉀Q方案，如體積視頻，則這類方案將確保非常自然和高端的人體運(yùn)動(dòng)效果體驗(yàn)，并且是獲得最具沉浸感效果的最佳方法。如果你依賴動(dòng)畫，而且擁有預(yù)算，你可以選擇動(dòng)捕。但最終重要的是，無(wú)論選擇的方案是什么，要?jiǎng)?chuàng)造令人信服和身臨其境的內(nèi)容，關(guān)鍵都是你自己的創(chuàng)造力。選擇正確的方法來(lái)來(lái)創(chuàng)建3D人物非常重要，有時(shí)這是一個(gè)漫長(zhǎng)的過(guò)程。以上考慮事項(xiàng)可以幫助你在設(shè)計(jì)下一個(gè)AR/VR項(xiàng)目時(shí)的決策。你要確保為內(nèi)容選擇正確的方法，因?yàn)檎_的沉浸式體驗(yàn)有助于建立你的信譽(yù)，并帶來(lái)更多的客戶和項(xiàng)目合作。