MR（全稱：Mixed Reality；中文名：混合現(xiàn)實），是一種將虛擬世界與現(xiàn)實環(huán)境深度整合的技術(shù)。它結(jié)合虛擬現(xiàn)實（VR）與增強現(xiàn)實（AR），通過計算機生成的虛擬對象與現(xiàn)實世界進行實時互動，能夠?qū)⑻摂M元素疊加到現(xiàn)實環(huán)境中，還能讓這些虛擬對象具備現(xiàn)實世界的物理特性。通過MR顯示設(shè)備，用戶可以同時看到真實環(huán)境和虛擬全息影像，加之手勢、語音、視覺等方式的加持實現(xiàn)兩者互動，真正搭建了虛擬世界和現(xiàn)實世界溝通的橋梁。
1965年，計算機圖形學(xué)之父Ivan Sutherland發(fā)表了一篇名為《The Ultimate Display》（終極顯示）的論文，這篇論文被認(rèn)為是虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）技術(shù)的起源。1968年，計算機科學(xué)家伊萬·薩瑟蘭發(fā)明了名為“達(dá)摩克利斯之劍”的頭戴式顯示設(shè)備，這是與現(xiàn)代設(shè)備相仿的第一個原型機。1980年，史蒂夫·曼對EyeTap AR系統(tǒng)進行了測試，為后續(xù)的MR技術(shù)奠定了基礎(chǔ)。1989年，Reflection Technology開發(fā)出Private Eye頭戴式顯示屏。此后，隨著傳感器、光學(xué)設(shè)備和計算機技術(shù)的不斷發(fā)展，MR技術(shù)逐漸成熟。1994年，Paul Milgram 和 Fumio Kishino 在其發(fā)表的論文“A Taxonomy of Mixed Reality Visual Displays”（混合現(xiàn)實視頻顯示的分類法）中首次引入“混合現(xiàn)實（MR）”一詞。該論文中探討了“虛擬連續(xù)體”的概念以及視覺顯示的分類法。2015年，微軟宣布開發(fā)HoloLens，標(biāo)志著增強現(xiàn)實與虛擬現(xiàn)實技術(shù)的融合。2016年，Magic Leap介紹了混合現(xiàn)實的概念，強調(diào)其與增強現(xiàn)實的區(qū)別。2018年8月8日，Magic Leap公司正式發(fā)布了其首款混合現(xiàn)實設(shè)備Magic Leap One創(chuàng)造者版本。2024年，頭戴式顯示器實現(xiàn)了革命性突破，傳感器精度、分辨率、實時渲染能力以及佩戴舒適度顯著提升。2025年，“混合現(xiàn)實”入選2024年度十大科技名詞。
MR通常具備虛實融合、實時交互、三維注冊三個主要特點。MR技術(shù)的應(yīng)用領(lǐng)域包括教育、醫(yī)療、體育、軍事、藝術(shù)、文化、娛樂等各個領(lǐng)域，同時在運營、物流、營銷、服務(wù)等很多環(huán)節(jié)中得到應(yīng)用，又在接近人類生活的人工智能、圖形仿真、虛擬通信、娛樂互動、產(chǎn)品演示、模擬訓(xùn)練等更多領(lǐng)域帶來了革命性的變化。
相關(guān)概念
定義
MR是一種將虛擬世界與現(xiàn)實環(huán)境深度整合的技術(shù)，意為混合現(xiàn)實。它結(jié)合虛擬現(xiàn)實（virtual reality，VR）與增強現(xiàn)實（augmented reality，AR），通過計算機生成的虛擬對象與現(xiàn)實世界進行實時互動，能夠?qū)⑻摂M元素疊加到現(xiàn)實環(huán)境中，還能讓這些虛擬對象具備現(xiàn)實世界的物理特性（如實時物理交互和動態(tài)反應(yīng)）。
同時，手勢識別、眼球追蹤等前沿技術(shù)不斷優(yōu)化，使用戶的交互體驗更加自然、沉浸。在軟件和內(nèi)容創(chuàng)作方面，開發(fā)者利用生成式人工智能等新興技術(shù)創(chuàng)造了更加豐富和多元的虛擬世界。混合現(xiàn)實不僅在消費市場取得突破，在工業(yè)、醫(yī)療、教育、建筑等領(lǐng)域也展現(xiàn)出巨大的應(yīng)用潛力。
概念區(qū)分
AR即Augmented Reality（增強現(xiàn)實），是一種實時地計算攝影機攝像的位置及角度并加上相應(yīng)圖像的技術(shù)，該項技術(shù)的目標(biāo)是在屏幕上把虛擬世界套在現(xiàn)實世界并進行互動。
VR即Virtual Reality（虛擬現(xiàn)實），是一種虛擬現(xiàn)實技術(shù)，通過計算機技術(shù)生成一種模擬環(huán)境，同時再使用頭部以及動作檢測技術(shù)來追蹤用戶的動作，以反映到內(nèi)容中，提供的是沉浸式的體驗，VR所呈現(xiàn)的是一種完全虛擬的圖像，可以理解為一種對現(xiàn)實世界的仿真系統(tǒng)。VR技術(shù)最早應(yīng)用于軍事領(lǐng)域，最常見的產(chǎn)品則是頭戴顯示器。VR更適合應(yīng)用在電子游戲、沉浸式的影視內(nèi)容領(lǐng)域，相比現(xiàn)在的二維顯示器更加接近現(xiàn)實。
相互關(guān)系
如果一切事物都是虛擬的，那就是虛擬現(xiàn)實（VR），虛擬現(xiàn)實是純虛擬數(shù)字畫面。如果展現(xiàn)出的虛擬信息只能簡單疊加在現(xiàn)實上，那就是增強現(xiàn)實（AR），增強現(xiàn)實是虛擬數(shù)字畫面加上裸眼現(xiàn)實。MR是數(shù)字化現(xiàn)實加上虛擬數(shù)字畫面，混合現(xiàn)實的關(guān)鍵點就是與現(xiàn)實世界進行交互和信息的及時獲取。混合現(xiàn)實技術(shù)結(jié)合虛擬現(xiàn)實技術(shù)與增強現(xiàn)實技術(shù)的優(yōu)勢，更好地將增強現(xiàn)實技術(shù)體現(xiàn)出來。根據(jù)史蒂夫·曼的理論，“混合現(xiàn)實和增強現(xiàn)實的區(qū)別在于混合現(xiàn)實通過一個攝像頭讓你看到裸眼都看不到的現(xiàn)實，增強現(xiàn)實只管疊加虛擬環(huán)境而不管現(xiàn)實本身。”混合現(xiàn)實技術(shù)作為圖形學(xué)領(lǐng)域的全新技術(shù)，將計算機繪制的虛擬模型融合到使用者所看到的真實世界景象中，使用者可從計算機描繪的虛擬模型中獲得額外的信息，從而對真實環(huán)境進行混合。
MR與增強現(xiàn)實（AR）很相似。兩者都是把計算機所生成的虛擬對象融合到真實的環(huán)境當(dāng)中，為虛擬世界與現(xiàn)實世界建立橋梁。有很多人把混合現(xiàn)實與增強現(xiàn)實混為一談，甚至認(rèn)為兩者是同一樣?xùn)|西。但相對于增強現(xiàn)實（AR）而言，MR對虛實融合要求更高，虛擬物體在真實環(huán)境中所占的比例也更多。具體區(qū)別在于：①增強現(xiàn)實（AR）的虛擬物體只是簡單疊加于真實環(huán)境之中，并不能正確處理虛擬物體與真實物體之間的遮擋關(guān)系，而MR則要求系統(tǒng)能正確處理虛擬物體與真實物體之間的遮擋關(guān)系。②增強現(xiàn)實（AR）系統(tǒng)的虛擬物體一般很少，或只是一些簡單的2D文字，MR的虛擬物體或虛擬場景則可以很多（在增強現(xiàn)實與增強虛擬之間）。
歷史沿革
應(yīng)用探索
混合現(xiàn)實是在增強現(xiàn)實和虛擬現(xiàn)實基礎(chǔ)上發(fā)展而來的更先進技術(shù)，其歷史可追溯至1862年。當(dāng)時，L.Frank Baum（1856-1919）提出了佩珀爾幻象（Pepper's ghost），這是一種應(yīng)用于舞臺表演以及部分魔術(shù)表演中，能夠制造出幻覺效果的技術(shù)。
1941年，頭戴式電子顯示屏在“第二次世界大戰(zhàn)”期間問世。出于戰(zhàn)爭需求，MR技術(shù)和增強現(xiàn)實技術(shù)的雛形開始萌芽。此后，從20世紀(jì)50年代起，越來越多以頭戴式電子顯示和交互設(shè)備為代表的早期增強現(xiàn)實、混合現(xiàn)實設(shè)備陸續(xù)出現(xiàn)。1965年，計算機圖形學(xué)之父Ivan Sutherland發(fā)表了一篇名為《The Ultimate Display》（終極顯示）的論文，這篇論文被認(rèn)為是虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）技術(shù)的起源。1980年，史蒂夫?曼對Eye Tap AR系統(tǒng)進行了測試，為后續(xù)的MR技術(shù)產(chǎn)品奠定了基礎(chǔ)。
科學(xué)家隨后將幾種不同的類型的技術(shù)，包括傳感器的使用、更先進的光學(xué)設(shè)備和最先進的計算機結(jié)合到一起，所有這些技術(shù)被整合成一個單一的設(shè)備，為用戶提供增強全息實時數(shù)字內(nèi)容，并且增加到虛擬空間中，帶來一種讓人難以置信的現(xiàn)實和虛擬場景。與當(dāng)代設(shè)備相仿的第一個原型機是著名計算機科學(xué)家、圖靈獎獲得者伊萬·薩瑟蘭（Ivan Sutherland）發(fā)明的頭戴式顯示器。1968年，作為哈佛大學(xué)電機工程學(xué)副教授的薩瑟蘭發(fā)明了名為“達(dá)摩克利斯之劍”的頭戴式顯示設(shè)備。整套系統(tǒng)將顯示設(shè)備放置在用戶的頭頂，并通過連接桿和頭戴設(shè)備相連，能夠?qū)⒑唵尉€框圖轉(zhuǎn)換為3D效果的圖像。
然而，總部位于美國費城的一家公司Philco卻認(rèn)為它才是第一個頭戴式顯示器的發(fā)明者。Philco公司稱，它們于1961年開發(fā)了第一個頭戴式顯示系統(tǒng)，其中相機被放置于一個房間，而用戶頭戴顯示設(shè)備坐在另一個房間。當(dāng)用戶頭轉(zhuǎn)動時，系統(tǒng)通過磁鐵相應(yīng)調(diào)整相機的位置和角度。這是第一個實現(xiàn)遠(yuǎn)程監(jiān)控的例子。從結(jié)構(gòu)上來說，這種頭戴式顯示器（HMD）和現(xiàn)在的各種增強現(xiàn)實及虛擬現(xiàn)實產(chǎn)品也是驚人地相似。與現(xiàn)在索尼的增強現(xiàn)實設(shè)備Wonderbook或者諾基亞的移動應(yīng)用HERE City Lens相比，當(dāng)時的頭戴式顯示器除了無法實現(xiàn)娛樂功能外，其技術(shù)原理與增強現(xiàn)實沒有什么兩樣。
在1961年的美國空軍阿姆斯特朗實驗室中，路易斯·羅森伯格（Louis Rosenberg）開發(fā)出了Virtual Fixtures，其功能是實現(xiàn)對機器的遠(yuǎn)程操作。羅森伯格其后研究方向轉(zhuǎn)至增強現(xiàn)實，也包括如何以虛擬圖像疊加至用戶的真實世界畫面中—一這也是當(dāng)代虛擬現(xiàn)實技術(shù)討論的熱點。增強現(xiàn)實與虛擬現(xiàn)實的發(fā)展道路便分離開來。
技術(shù)推進
第一次將這種技術(shù)成功應(yīng)用于實時直播是在1998年，當(dāng)時體育轉(zhuǎn)播圖文包裝和運動數(shù)據(jù)追蹤領(lǐng)域的領(lǐng)先公司Sportvision開發(fā)了lst&.Ten系統(tǒng)。在實況橄欖球直播中，其首次實現(xiàn)了“第一次進攻”黃色線在電視屏幕上的可視化。這項技術(shù)是針對冰球運動開發(fā)的，其中的藍(lán)色光暈被用以標(biāo)記冰球處于的位置，但這個應(yīng)用并沒有被普通觀眾所接受。
僅僅一年以后，增強現(xiàn)實開發(fā)工具ARToolKit便問世了。這個開源工具由奈良先端科學(xué)技術(shù)學(xué)院的加藤弘開發(fā)，可以說是消費級增強現(xiàn)實的第一個實例。2005年，ARToolKit與軟件開發(fā)工具包（SDK）相結(jié)合，可以為早期的塞班手機操作系統(tǒng)智能手機提供服務(wù)。開發(fā)者通過SDK啟用ARToolKit的視頻跟蹤功能，可以實時計算出手機攝像頭與真實環(huán)境中特定標(biāo)志之間的相對方位。這種技術(shù)被看作是增強現(xiàn)實技術(shù)的一場革命，目前在Andriod以及iOS設(shè)備中，ARTool Kit仍有應(yīng)用。
1989年，Reflection Technology開發(fā)出Private Eye頭戴式顯示屏。20世紀(jì)90年代，虛擬現(xiàn)實設(shè)備公司OculusVR創(chuàng)始人帕爾默·拉奇不滿足市面上低端的虛擬現(xiàn)實設(shè)備，開發(fā)了幾個頭戴式設(shè)備的原型機，這引起了視頻游戲開發(fā)行業(yè)的關(guān)注，其中包括業(yè)界著名公司id Software的約翰·卡馬克（John Car-mack），以及Scaleform前首席執(zhí)行官布蘭登·艾萊博（Brendan Iribe），這些都是讓頭戴式顯示器OculusRift吸引公眾視線的關(guān)鍵人物。1994年，Paul Milgram和Fumio Kishino在其論文《A Taxonomy of Mixed Reality Visual Displays》（混合現(xiàn)實視頻顯示的分類法）中首次引入了“混合現(xiàn)實”（Mixed Reality，MR）這一術(shù)語。該論文提出了“虛擬連續(xù)體”（Virtuality Continuum）的概念，用于描述從完全真實環(huán)境到完全虛擬環(huán)境之間的過渡。
2012年，在多位業(yè)界知名人士的幫助下，Oculus于發(fā)起了關(guān)于Rift的眾籌活動，最終募得資金243萬美元，這是其眾籌目標(biāo)的974%。這讓OculusRift從一個頭戴式顯示器的原型轉(zhuǎn)化為消費級產(chǎn)品。2014年3月，F(xiàn)accbook宣布以20億美元收購OculusVR，這使得公司有能力建立高水平的軟硬件研發(fā)團隊，為用戶帶來更高水準(zhǔn)的虛擬現(xiàn)實體驗。
當(dāng)OculusVR通過虛擬現(xiàn)實設(shè)備發(fā)展虛擬現(xiàn)實技術(shù)時，谷歌向著不同的方向發(fā)展虛擬現(xiàn)實。2013年4月，谷歌發(fā)布了谷歌眼鏡。這種增強現(xiàn)實的頭戴式現(xiàn)實設(shè)備將智能手機的信息投射到用戶眼前，通過該設(shè)備也可直接進行通信，其重燃了公眾對增強現(xiàn)實的興趣。
快速發(fā)展
2015年，微軟于宣布開發(fā)了增強現(xiàn)實眼鏡HoloLens，從而進入該領(lǐng)域。微軟的頭戴式顯示設(shè)備正是增強現(xiàn)實與虛擬現(xiàn)實兩種技術(shù)融合的起點。通過HoloLens，有機會將增強現(xiàn)實技術(shù)發(fā)展至目前消費級虛擬實現(xiàn)設(shè)備的技術(shù)水準(zhǔn)。
2016年6月，Magic Leap首席創(chuàng)新官格雷姆·德文（GraemeDevine）在Games ofChange Festival活動上介紹了該公司在技術(shù)方面的長期目標(biāo)。關(guān)于如何讓計算機圖像看起來像是真實世界，Magic Leap一直都是一家備受關(guān)注的公司。格雷姆·德文在演講中談到了第三種概念：混合現(xiàn)實。混合現(xiàn)實和現(xiàn)實增強之間的主要區(qū)別似乎在于：現(xiàn)實增強存在缺陷，而混合現(xiàn)實更酷。在德語的演講過程中，一些圖片顯示了當(dāng)用戶通過谷歌搜索關(guān)鍵詞“現(xiàn)實增強”時會得到什么。其中包括沒什么意思的IPhone游戲，以及商店里的購物者通過手機應(yīng)用去搜索的信息。而用格雷姆·德文的話來說，混合現(xiàn)實才是未來的夢想。2018年8月8日，Magic Leap公司正式發(fā)布了其首款混合現(xiàn)實設(shè)備Magic Leap One創(chuàng)造者版本。
2024年，頭戴式顯示器實現(xiàn)了革命性的突破，傳感器精度、分辨率、實時渲染能力以及佩戴舒適度均有了顯著的提升。同時，手勢識別、眼球追蹤等前沿技術(shù)不斷優(yōu)化，使用戶的交互體驗更加自然、沉浸。在軟件和內(nèi)容創(chuàng)作方面，開發(fā)者利用生成式人工智能等新興技術(shù)創(chuàng)造了更加豐富和多元的虛擬世界。2025年1月，“混合現(xiàn)實”入選2024年度十大科技名詞。
主要特點
MR通常有以下3個主要特點：
相關(guān)產(chǎn)品
基本構(gòu)成
MR由于是在虛擬現(xiàn)實與增強現(xiàn)實的基礎(chǔ)上發(fā)展而來，故在硬件結(jié)構(gòu)上混合現(xiàn)實系統(tǒng)同虛擬現(xiàn)實系統(tǒng)、增強現(xiàn)實系統(tǒng)的硬件具有一定繼承性和一致性。如圖（典型混合現(xiàn)實系統(tǒng)的構(gòu)成）所示，一個典型混合現(xiàn)實系統(tǒng)由虛擬場景生成器、頭盔式顯示器、實現(xiàn)用戶觀察視線跟蹤的頭部姿態(tài)跟蹤設(shè)備、虛擬場景與真實場景對準(zhǔn)的定位設(shè)備和交互設(shè)備構(gòu)成。
技術(shù)原理
MR的實現(xiàn)需要在一個能與現(xiàn)實世界各事物相互交互的環(huán)境中。如當(dāng)用戶在真實場景中國移動通信集團時，虛擬物體也隨之位移而做出相應(yīng)變化，使虛擬展示物體與真實展示環(huán)境之間能有一個完美結(jié)合。MR由現(xiàn)實與虛擬兩部分構(gòu)成，其中虛擬部分關(guān)心用戶與虛擬世界的聯(lián)結(jié)，因此涉及兩方面的內(nèi)容，即虛擬世界的構(gòu)建與呈現(xiàn)，以及人與虛擬世界的交互。由于呈現(xiàn)的虛擬世界是與人類感官直接聯(lián)結(jié)的，完美的虛擬世界的營造是通過建立與人類感官匹配的自然通道來實現(xiàn)的，通過真實感渲染呈現(xiàn)虛擬世界，營造聲音效果，提供觸覺、力覺等各種知覺感知和反饋。因此，用戶與虛擬世界的交互必須要建立相同的知覺通道，通過對用戶的自然行為分析，形成感知、理解、響應(yīng)、呈現(xiàn)的環(huán)路，這是虛擬現(xiàn)實技術(shù)的核心內(nèi)容。圖1-17顯示為全息攝影混合現(xiàn)實的場景。
MR省卻了對復(fù)雜多變的現(xiàn)實世界進行實時模擬，因為對現(xiàn)實世界的模擬本身是非常困難的，取而代之的是需要建立虛擬世界與現(xiàn)實世界的聯(lián)結(jié)并模擬二者的相互影響。然而，要使虛擬世界與現(xiàn)實世界融為一體，在技術(shù)上形成了諸多挑戰(zhàn)，不僅要感知用戶的主體行為，還需要感知一切現(xiàn)實世界中有關(guān)聯(lián)的人、環(huán)境甚至事件語義，才能提供恰當(dāng)?shù)慕换ズ头答仭Ｒ虼耍琈R涉及廣泛的學(xué)科，從計算機視覺、計算機圖形學(xué)、模式識別，到光學(xué)、電子、材料等多個學(xué)科領(lǐng)域。然而，正是由于混合現(xiàn)實與現(xiàn)實世界的緊密聯(lián)系，才使其具備強大且廣泛的實用價值。MR技術(shù)是虛擬世界與現(xiàn)實世界無縫融合的技術(shù)，虛擬現(xiàn)實代表了計算機營造的世界，使人類的知覺感知延展到計算機中；而MR技術(shù)則是在保持對現(xiàn)實世界正常感知的基礎(chǔ)之上，通過建立虛擬世界與現(xiàn)實世界之間的聯(lián)系，再將人類感官延伸到虛擬世界。MR技術(shù)中所關(guān)注的虛擬世界可以有豐富的內(nèi)容，從早期的虛擬現(xiàn)實世界的局部場景，與現(xiàn)實世界無縫融合，使得人們可以看到匪夷所思的場景，典型的是電影《阿凡達(dá)》呈現(xiàn)的世界。然而，計算機的強大能力不僅在于對場景的營造能力，還在于對信息搜集、數(shù)據(jù)整理和分析呈現(xiàn)的能力。在信息爆炸的時代，信息容量和復(fù)雜度遠(yuǎn)遠(yuǎn)超過人類所能夠掌控的范圍，在宏觀上把握信息的內(nèi)涵，提供對數(shù)據(jù)蘊含的語義分析，才有可能使人類理解數(shù)據(jù)。混合現(xiàn)實技術(shù)可以在數(shù)據(jù)分析的基礎(chǔ)上建立用戶與數(shù)據(jù)的聯(lián)結(jié)，從而使得用戶可以直接感知數(shù)據(jù)分析的結(jié)果，將人類感知延展到數(shù)據(jù)語義層面。
MR技術(shù)由于涵蓋了虛擬世界與現(xiàn)實世界，既需要虛擬現(xiàn)實技術(shù)的支持，也需要增強現(xiàn)實技術(shù)的支持。虛擬現(xiàn)實技術(shù)的第一個核心問題是對虛擬世界的建模，一般包括模擬現(xiàn)實世界的模型或者人工設(shè)計的模型，對現(xiàn)實世界模型的模擬，即場景重建技術(shù)；第二個核心問題是將觀察者知覺與虛擬世界的空間配準(zhǔn)，滿足視覺沉浸感的呈現(xiàn)技術(shù)；第三個核心問題是提供與人類感知通道一致的交互技術(shù)，即感知和反饋技術(shù)。增強現(xiàn)實技術(shù)在虛擬現(xiàn)實技術(shù)的基礎(chǔ)上，還需要將現(xiàn)實世界與虛擬世界進行注冊，并且感知真實世界發(fā)生的狀況、動態(tài)，搜集真實世界的數(shù)據(jù)，進行數(shù)據(jù)分析和語義分析，并對其進行響應(yīng)。
因此，可以將MR的虛實融合分為3個層面：①虛實空間產(chǎn)生視覺上的交互影響，例如遮擋、光照、運動等；②虛實世界產(chǎn)生社會學(xué)意義上的交互融合，例如行人互相避讓的行為；③虛實世界產(chǎn)生智能上的交互融合。迄今為止，現(xiàn)實世界是人類活動的空間和世界，而虛擬世界是由計算機生成的世界，這兩個空間是分離的。如前所述，MR技術(shù)是這兩個空間的自然接口和界面，使得現(xiàn)實世界的人類了解和驅(qū)動虛擬世界的動態(tài)。從這個意義上說，機器人可以是具備二者屬性的載體，機器人可以與計算機一體化從而通過數(shù)據(jù)共享了解虛擬世界的一切，同時通過其配置的各種傳感器獲得對周圍世界的感知，這種感知信息也可以通過共享數(shù)據(jù)與虛擬世界交流。并且機器人可以具備與人類相同的一個重要特征，具備可移動的行為能力，從這個意義上說，機器人是介于虛擬世界與現(xiàn)實人類的載體，其與虛擬世界和現(xiàn)實世界的交互既具備人類的自然屬性，又具備虛擬人的屬性，成為第三類交互方式。采用機器人作為替身，在遙感、遠(yuǎn)程手術(shù)等領(lǐng)域都已有應(yīng)用，只是由于技術(shù)的限制而難以廣泛應(yīng)用。通過機器人來聯(lián)結(jié)虛擬世界和現(xiàn)實世界，實現(xiàn)跨越時空的關(guān)聯(lián)，將成為一種重要的技術(shù)手段。
技術(shù)難題
混合現(xiàn)實所面臨的那些技術(shù)難題分為幾個方面：顯示技術(shù)、延遲、3D軟件渲染、空間感知。因為大多數(shù)混合現(xiàn)實平臺同時也是移動計算平臺，所以在解決混合現(xiàn)實所面臨的那些難題時還要受到體積、功耗散熱、電池續(xù)航等的限制。
顯示技術(shù)
制造混合現(xiàn)實顯示設(shè)備面臨諸多挑戰(zhàn)，這些設(shè)備需要具備一系列特性才能提供優(yōu)質(zhì)的用戶體驗。首先，它們需要高分辨率，以清晰地顯示文字和物體細(xì)節(jié)，減少圖形邊緣的鋸齒感。其次，顯示圖像的廣視場角（FOV）是必不可少的，這有助于增強虛擬物體的存在感，讓用戶感覺更加身臨其境。此外，設(shè)備還需要有高亮度范圍，以適應(yīng)不同環(huán)境下的使用，無論是室內(nèi)還是戶外。人眼看到的虛擬物體的晶狀體聚焦程度也必須與物體距離人眼的實際距離相匹配，以確保視覺的自然和舒適。同時，設(shè)備應(yīng)能有效遮擋外界光線，以便更好地顯示陰影、黑色，并使虛擬物體看起來更加不透明和真實。最后，為了確保用戶能夠長時間舒適地使用，設(shè)備必須體積小且輕便。然而，市面上的顯示設(shè)備能夠?qū)崿F(xiàn)這些特性中的一到兩項就已經(jīng)相當(dāng)罕見，要制造出同時具備所有這些特性的顯示設(shè)備是一項極具挑戰(zhàn)性的任務(wù)。
延遲
對于虛擬現(xiàn)實（VR）、增強現(xiàn)實（AR）和MR技術(shù)而言，延遲是一個關(guān)鍵指標(biāo)。延遲，也稱為motion-to-photon延遲，指的是從用戶進行輸入操作到顯示圖像發(fā)生變化并傳達(dá)到用戶眼睛的整個時間過程。以頭部運動為例，當(dāng)用戶轉(zhuǎn)動頭部時，顯示設(shè)備需要迅速更新畫面以匹配新的視角。主流的VR設(shè)備如Oculus Rift CV1的延遲已降低到略小于20毫秒（ms）的水平。
然而，對于MR技術(shù)來說，延遲的控制更為關(guān)鍵。這是因為MR設(shè)備通常采用透明鏡片，用戶可以直接看到現(xiàn)實世界的景物，而現(xiàn)實世界的視覺是無延遲的。如果虛擬物體的顯示存在哪怕是很小的延遲，都會導(dǎo)致虛擬物體在現(xiàn)實世界中的位置出現(xiàn)漂移，從而破壞用戶對虛擬物體的沉浸感和真實感。
此外，降低MR設(shè)備的延遲比VR設(shè)備更具挑戰(zhàn)性。大多數(shù)MR設(shè)備是移動設(shè)備，由于體積和功耗的限制，其計算能力遠(yuǎn)低于桌面電腦。因此，要在這些設(shè)備上通過提高計算速度來降低延遲是非常困難的。這要求開發(fā)者在硬件設(shè)計和軟件優(yōu)化上進行更多的創(chuàng)新和努力，以實現(xiàn)更低的延遲，提升用戶體驗。
空間感知
視覺SLAM算法屬于空間感知功能。此外，空間感知還涵蓋物體識別、手勢識別輸入及基于深度攝像頭的場景三維重建。隨著計算機視覺和深度學(xué)習(xí)發(fā)展，這些功能算法趨于實用。但應(yīng)用于混合現(xiàn)實眼鏡時，因計算量大面臨困難。好在面向移動平臺的專用處理器陸續(xù)出現(xiàn)，如HoloLens的HPU、被英特爾收購的Movidius產(chǎn)品，以及IBM和國內(nèi)公司設(shè)計的人工神經(jīng)網(wǎng)絡(luò)處理器，它們功耗極低，正逐步解決移動平臺復(fù)雜空間感知任務(wù)的難題。盡管混合現(xiàn)實技術(shù)難題有望近期基本解決，滿足日常使用，但移動計算平臺受計算能力和功耗限制，短期內(nèi)難以突破。因此，將部分計算移至云端很有必要。
云計算
MR技術(shù)的畫面渲染和空間感知是計算量需求最大的兩個部分。盡管可以通過優(yōu)化算法和使用專用處理器來輔助計算，但受限于設(shè)備的體積和功耗，MR設(shè)備的計算能力仍然無法與桌面平臺或云端服務(wù)器相比。要想用便攜的混合現(xiàn)實眼鏡來玩特效絢麗的大型三維游戲或者運行極耗資源的專業(yè)軟件是不太現(xiàn)實的。所以就需要討論一下把這些功能搬到云端的可能性了。關(guān)于3D軟件的渲染部分，因為混合現(xiàn)實對延遲有著極高的要求，所以要實現(xiàn)畫面的云端渲染就面臨著很大的挑戰(zhàn)。
有了云計算的支持，空間感知部分就能實現(xiàn)一些高級的功能了。比如把混合現(xiàn)實眼鏡拍到的視頻和深度圖像上傳到云平臺，云平臺將來就有可能通過這些信息推算出你周圍空間包含所有光源的光照信息。利用這個信息就能對虛擬物體進行模擬現(xiàn)實光照的渲染，從而使虛擬物體看起來就像是真的存在于真實世界一樣。利用云平臺還可以幫助識別周圍的景物進行精確的室內(nèi)和室外導(dǎo)航，識別建筑和物品來搜索查詢信息等。
應(yīng)用領(lǐng)域
隨著人機交互、計算機視覺、人工智能等相關(guān)軟硬件技術(shù)的成熟，諸多混合現(xiàn)實設(shè)備涌現(xiàn)出來，如Magic Leap、微軟Hololens一代和二代等，在移動端結(jié)合ARkit和ARcore技術(shù)，也可以實現(xiàn)混合現(xiàn)實效果的數(shù)字應(yīng)用。混合現(xiàn)實技術(shù)已經(jīng)在學(xué)科教學(xué)、在線虛擬課堂創(chuàng)設(shè)、醫(yī)療、建筑與電機工程學(xué)等領(lǐng)域初步應(yīng)用。
具體學(xué)科教學(xué)
MR具有許多優(yōu)點，如模擬性強、顯示質(zhì)量優(yōu)、采用自然方式交互等，能夠為學(xué)習(xí)者提供真實的學(xué)習(xí)體驗，有效改善傳統(tǒng)的教學(xué)形式和學(xué)習(xí)方式。
在線虛擬課堂創(chuàng)設(shè)
MR技術(shù)創(chuàng)造出一個完美結(jié)合的虛擬和現(xiàn)實世界，再通過網(wǎng)絡(luò)技術(shù)將各個地域?qū)W習(xí)者的虛擬化個體連接在同一個線上虛擬課堂中。
醫(yī)療
MR技術(shù)可以將CT、MRI等二維醫(yī)學(xué)圖像在與現(xiàn)實環(huán)境相融合的情況下轉(zhuǎn)化成直觀的三維虛擬模型，這使得MR技術(shù)對于形態(tài)結(jié)構(gòu)精細(xì)、功能復(fù)雜的口腔頜面外科具有重要意義。MR技術(shù)在口腔頜面外科的實際應(yīng)用能提高手術(shù)精確性、減少手術(shù)時間，降低復(fù)雜手術(shù)的難度。
電氣工程領(lǐng)域
由于建筑行業(yè)的工人需要在很多高風(fēng)險的環(huán)境中工作，所以新入行的工人需要在正式工作前具備一定的技能水平和安全意識。而MR技術(shù)可以為受訓(xùn)者提供真實的模擬訓(xùn)練，有利于提高安全意識和降低工作的風(fēng)險。
應(yīng)用前景
作為新型的人機接口和仿真工具，MR技術(shù)的應(yīng)用領(lǐng)域極廣，包括教育、醫(yī)療、體育、軍事、藝術(shù)、文化、娛樂等各個領(lǐng)域，同時，在運營、物流、營銷、服務(wù)等很多環(huán)節(jié)中得到應(yīng)用。又在接近人類生活的人工智能、圖形仿真、虛擬通信、娛樂互動、產(chǎn)品演示、模擬訓(xùn)練等更多領(lǐng)域帶來了革命性的變化。混合現(xiàn)實已經(jīng)進入了許多應(yīng)用領(lǐng)域，在藝術(shù)和娛樂行業(yè)中顯而易見。
MR是一個快速發(fā)展的領(lǐng)域，混合現(xiàn)實技術(shù)涵蓋了增強現(xiàn)實技術(shù)的范圍，與人工智能和量子計算一同被認(rèn)為是未來三大顯著提高生產(chǎn)效率和體驗的科技。隨著通信技術(shù)，尤其是5G網(wǎng)絡(luò)的發(fā)展應(yīng)用，未來將會有更多的行業(yè)會應(yīng)用到混合現(xiàn)實技術(shù)。隨著硬件設(shè)備逐步輕量化、產(chǎn)品價格逐漸親民，混合現(xiàn)實正在加速走向?qū)嶋H應(yīng)用，并不斷改變?nèi)藗兊墓ぷ骱蜕罘绞健?/p>
參考資料 >
人工智能+、低空經(jīng)濟……2024年度十大科技名詞揭曉.光明網(wǎng).2025-03-01
今日熱搜丨混合現(xiàn)實技術(shù).百家號.2025-03-01
Augmented Reality: "The Ultimate Display" by Ivan Sutherland, 1965.wired.2025-03-05
可穿戴設(shè)備簡史:故事從39年前開始.環(huán)球科技.2025-03-05
三分鐘科普:VR/AR/MR/XR 概念辨析及發(fā)展歷程.搜狐網(wǎng).2025-03-05
A TAXONOMY OF MIXED REALITY VISUAL DISPLAYS ./cs.gmu.edu.2025-03-05
十年最重磅新品!蘋果首款頭顯發(fā)布，售價3499美元，開啟空間計算新時代?.澎湃新聞.2025-03-01
蘋果Vision Pro將于2月2日在美國上市 起售價3499美元.騰訊網(wǎng).2025-03-01
千呼萬喚始出來，馬云投資的Magic Leap發(fā)布首款產(chǎn)品.百家號.2025-03-05
2024年度十大科技名詞揭曉.光明網(wǎng).2025-03-01
MAD Gaze入駐全國首家混合現(xiàn)實（MR）體驗中心——ID家.深圳市增強現(xiàn)實技術(shù)應(yīng)用協(xié)會.2025-03-03
搭載驍龍 850 芯片，微軟 HoloLens 2 MR 設(shè)備在印度市場正式開售.IT之家.2025-03-05
微軟HoloLens 2 MR頭顯今日發(fā)貨，售價3500美元.IT之家.2025-03-05
Magic Leap首款A(yù)R頭顯Magic Leap One發(fā)布.鳳凰網(wǎng).2025-03-05
Magic Leap發(fā)布首款頭顯設(shè)備， “3R”時代來臨.第一財經(jīng).2025-03-05
Rhino X.Rhino X.2025-03-05