本文系網(wǎng)易新聞?網(wǎng)易號(hào)特色內(nèi)容激勵(lì)計(jì)劃簽約賬號(hào)【智東西】原創(chuàng)內(nèi)容，未經(jīng)賬號(hào)授權(quán)，禁止隨意轉(zhuǎn)載。

編譯|徐珊

編輯|云鵬

智東西6月19日消息，近日，蘋(píng)果公司技術(shù)開(kāi)發(fā)團(tuán)隊(duì)副總裁Mike Rockwell登上了WWDC23脫口秀舞臺(tái)，在和主持人John Gruber的交流中，他分享了Vision Pro研發(fā)過(guò)程一些有趣的內(nèi)部細(xì)節(jié)，并對(duì)visionOS系統(tǒng)的優(yōu)勢(shì)給出了更細(xì)致的解答。

“我們想要打造一臺(tái)空間計(jì)算電腦，你可以通過(guò)它直接進(jìn)入一個(gè)新的空間。這是我們的初心。”Rockwell說(shuō)道。他在接近40min中的采訪中，回答了有關(guān)Vision Pro中關(guān)鍵問(wèn)題，涉及到核心功能如Eyesight、空間視頻亮點(diǎn)功能解析、交互技術(shù)背后的思考、虛實(shí)信息如何相融呈現(xiàn)等。

▲從左到右分別為：Mac硬件負(fù)責(zé)人John Ternus、蘋(píng)果副總裁Mike Rockwell、主持人John Gruber

作為Vision Pro頭顯項(xiàng)目的一把手， Rockwell可以稱得上是“Vision Pro之父”。從Rockwell的分享中，我們了解到發(fā)布會(huì)上很多驚艷眾人的技術(shù)，如空間視頻、手勢(shì)追蹤、眼動(dòng)追蹤等，蘋(píng)果早已深耕多年。蘋(píng)果公司構(gòu)建Vision Pro的基本準(zhǔn)則是什么？Eyesight功能是如何實(shí)現(xiàn)的？蘋(píng)果是如何布局虛實(shí)交互技術(shù)的？

智東西在不違背原意的情況下，編譯了Mike Rockwell的訪談?dòng)涗洠?/p>

問(wèn)題1：你五年前開(kāi)始討論ARKit提到的內(nèi)容和如今的產(chǎn)品似乎相差甚遠(yuǎn)?，F(xiàn)在的你，是在構(gòu)建一個(gè)新的平臺(tái)嗎？

Mike Rockwell：在我們開(kāi)發(fā)產(chǎn)品的時(shí)候，會(huì)有些一些的設(shè)計(jì)準(zhǔn)則。第一條就是我們希望它有用。我們想要打造一個(gè)非常有用的工具，而不是玩具。

這也導(dǎo)致了我們后續(xù)針對(duì)顯示器等多方面做了全面的優(yōu)化。現(xiàn)在，我們的顯示器擁有超高清的分辨率，甚至可以渲染文本。

比如說(shuō)，你正在看著一個(gè)Safari窗口，你不但可以直觀、清晰地看到窗口里的文本信息。而且當(dāng)你以不同的視角觀看文本信息時(shí)，也同樣清晰。這是因?yàn)?，我們?cè)?D系統(tǒng)上，一對(duì)一的渲染文本信息，甚至打造一種全新的字型渲染系統(tǒng)。

我們的第二條準(zhǔn)則是，我們希望這款設(shè)備，不會(huì)將你與你身邊的任何人隔離開(kāi)來(lái)，而是將相隔較遠(yuǎn)的人們連接起來(lái)。

這也是我們打造兩大關(guān)鍵技術(shù)Eyesight和Persona的主要原因。

當(dāng)你佩戴設(shè)備時(shí)，你要如何讓人們能夠直觀看到你的眼睛呢？借助蘋(píng)果打造的Eyesight功能，你佩戴頭顯后，通過(guò)視頻，讓其他用戶可以直接看到你的眼睛。

同時(shí)，我們還想通過(guò)一種新的方式，能夠讓不同地方的人一起工作。所有的這些設(shè)計(jì)準(zhǔn)則結(jié)合在一起后，幫助我們打造真正與眾不同的產(chǎn)品。

問(wèn)題2：Eyesight方面，我想到了視差問(wèn)題，比如說(shuō)如果我坐在你的正前方，可能頭顯能夠輕松在屏幕上“復(fù)現(xiàn)”你的眼睛。但是當(dāng)我坐到你的側(cè)邊時(shí)，頭顯上的眼睛又該如何變化呢？

▲Eyesight功能

Mike Rockwell：我們是為任何角度和你對(duì)視的人打造一個(gè)新的視圖。我們?cè)陬^顯內(nèi)部做了一個(gè)雙層光柵顯示器，第一層是弧形的光柵顯示器，提供不同的光學(xué)數(shù)據(jù)。

我們并不是用AI模擬用戶眨眼的畫(huà)面，而是實(shí)時(shí)還原了你的眼睛動(dòng)作。無(wú)論是眨眼、瞇眼還是其他，頭顯都能及時(shí)同步。目前，Eyesight的畫(huà)面渲染范圍主要在眼睛周?chē)?，延遲基本為0。我希望，當(dāng)人們看到它的時(shí)候，設(shè)備幾乎是透明的，佩戴起來(lái)無(wú)壓力。

問(wèn)題3：盡管你多次提到打造頭顯時(shí)，不希望將人們分開(kāi)，但是把頭顯戴在頭上時(shí)，用戶多少會(huì)感受到一定的隔離感。你是如何看待這一點(diǎn)的？

Mike Rockwell：我們做了很多事情，幫助頭顯成為一款可以連接人與人的設(shè)備。比如說(shuō)，戴上頭顯后，用戶能直接看到世界、Eyesight功能等。當(dāng)你沉浸式投入數(shù)字世界的時(shí)候，數(shù)字內(nèi)容可能成為你和他人連接的阻礙。但是如果你能看見(jiàn)他們或者他們能夠看到你，這樣的局面就會(huì)發(fā)生改變。

我們認(rèn)為（頭顯）的作用是“添加一個(gè)世界（add a world）”，而不是將你帶入一個(gè)新的世界。不僅如此，我們還想要在工作場(chǎng)景中實(shí)現(xiàn)協(xié)作辦公的模式。比如說(shuō)，當(dāng)你戴著頭盔的時(shí)候，很難用手機(jī)和他們進(jìn)行Facetime。我們可以通過(guò)在頭顯中，創(chuàng)造一個(gè)你的形象，和他人進(jìn)行遠(yuǎn)距離的互動(dòng)。

問(wèn)題4：我想過(guò)Vision Pro會(huì)有攝像頭來(lái)記錄周?chē)挛?，但我沒(méi)想到Vision Pro能夠拍出如此令人驚艷的視頻。你們是怎么想到的？

Mike Rockwell：當(dāng)我們構(gòu)建這個(gè)頭顯的某天，我們有了打造空間照片/視頻的想法，并做了一些嘗試。我們發(fā)現(xiàn)空間視頻能夠讓他們想和他們愛(ài)的人重溫歡快時(shí)光的功能，察覺(jué)這一點(diǎn)后，我們決定把它放在產(chǎn)品中。

空間視頻就像是時(shí)光機(jī)。當(dāng)你拍下一些對(duì)家人來(lái)說(shuō)特別的時(shí)刻，你通過(guò)播放視頻或者查看照片不斷“回到”那個(gè)時(shí)刻。想象一下，你的父母住在大洋彼岸。當(dāng)你給孩子拍攝這樣的視頻給父母看，父母會(huì)覺(jué)得離親人很近。

▲空間視頻功能

問(wèn)題5：空間視頻的呈現(xiàn)的方式真的很棒，當(dāng)我用手指向視頻回憶里的內(nèi)容時(shí)，仿佛我正在和他們交互。你是如何看待虛實(shí)交互方式的？

Mike Rockwell：我們所做的一件事，就是要在物理世界上呈現(xiàn)數(shù)字世界的內(nèi)容。特別是，如果你要想要兩種世界的細(xì)節(jié)也能相互交互，現(xiàn)在我們的交互方式是通過(guò)手部捏動(dòng)，或者注視某個(gè)圖標(biāo)完成交互。

一般來(lái)說(shuō)，物理世界和虛擬世界交互時(shí)，我們很難數(shù)字內(nèi)容放在自己的手中。盡管我們能畫(huà)出它，畫(huà)出一雙手，但是在數(shù)字世界里，你不能“呈現(xiàn)”自己的雙手。所以我們必須做出一個(gè)非常復(fù)雜的實(shí)時(shí)扣圖算法來(lái)識(shí)別你的手在哪里，R1搜集信息扣出圖片，然后將它通過(guò)視頻和我們?cè)O(shè)計(jì)的內(nèi)容相合成。

你可以將手放在數(shù)字內(nèi)容前面并與之相互動(dòng)。雖然你可能認(rèn)為其看起來(lái)很簡(jiǎn)單，但是事實(shí)上，這背后發(fā)生了很多事情。

問(wèn)題6:當(dāng)我戴著頭顯回頭和同事聊天后，轉(zhuǎn)身回來(lái)，發(fā)現(xiàn)之前的窗口位置不會(huì)發(fā)生變化。你們是怎么保證畫(huà)面穩(wěn)定性的？

Mike Rockwell：它的穩(wěn)定性是所有相機(jī)、傳感器以及芯片的功勞。尤其是，我在visionOS部分曾談到我們系統(tǒng)擁有實(shí)時(shí)模塊。我們對(duì)系統(tǒng)進(jìn)行了細(xì)致的調(diào)整，所以我們能夠提供非常穩(wěn)定的畫(huà)面。

即便在40000米高空，我們?nèi)阅軌虮ＷC畫(huà)面穩(wěn)定。這并不容易，因?yàn)轱w機(jī)會(huì)轉(zhuǎn)彎、前行等不斷變動(dòng)位置，系統(tǒng)上的IMU難以處理數(shù)據(jù)。在這里，我們做了一些“神秘”的事情，能讓你隨時(shí)去到你想去的地方。

問(wèn)題7:頭顯的開(kāi)機(jī)設(shè)置時(shí)需要測(cè)量眼睛的數(shù)據(jù)、手部的數(shù)據(jù)？

Mike Rockwell：對(duì)，我們的輸入系統(tǒng)會(huì)涉及到多個(gè)設(shè)備，這些信息通過(guò)神經(jīng)網(wǎng)絡(luò)匯總，從而定制化用戶信息。

在開(kāi)機(jī)設(shè)置時(shí)，我們只要一部分信息。我們要做的第一件事就是“認(rèn)識(shí)”你的手。因此，你要做的就是將舉起雙手幾秒鐘，我們就能夠準(zhǔn)確地識(shí)別輸入你的雙手信息。

至于我們的眼動(dòng)追蹤，十分精準(zhǔn)。當(dāng)你剛剛拿到產(chǎn)品時(shí)，我們需要對(duì)你做一次測(cè)試，只需要一次，后續(xù)使用的時(shí)候并不需要重新設(shè)置。整個(gè)設(shè)置的流程非?？?。一旦我們有了這兩項(xiàng)技能，我們就可以開(kāi)始進(jìn)入到界面。

我們的手部追蹤功能十分精準(zhǔn)，我們不想讓你的雙手緊握控制器?，F(xiàn)在你可以通過(guò)雙手來(lái)提高工作效率，你可以通過(guò)鍵盤(pán)輸入，可以通過(guò)手機(jī)手表來(lái)控制信息。方式多樣，選擇自由。當(dāng)你在使用Freeform時(shí)，你可以看到頭顯的手部追蹤相當(dāng)精準(zhǔn)。

問(wèn)題9：3499美元是一個(gè)非?！皩I(yè)”的價(jià)格。但是頭顯能夠適配足夠?qū)I(yè)的軟件嗎？比如說(shuō)，像是Final Cut Pro和iPad適配，人們等待了很長(zhǎng)時(shí)間。

Mike Rockwell：我們現(xiàn)在主要在做的幾件事：一個(gè)是協(xié)作。我們所有人都在做某種形式的混合工作或者會(huì)在不同的地方工作，或者在路上工作。面對(duì)這些場(chǎng)景，Vision Pro能夠帶來(lái)超乎尋常的體驗(yàn)，因?yàn)槟憧梢噪S時(shí)創(chuàng)造完美的工作環(huán)境。

我知道你們中的許多人都參與過(guò)Web 或者Zoom的電話會(huì)議。線上會(huì)議上，有人正在展現(xiàn)一些內(nèi)容，但是當(dāng)你看到其他人的時(shí)候，他們就像一個(gè)小方塊，每個(gè)人都就像一個(gè)像素。

而Vision Pro則提供了一個(gè)巨大的屏幕，你可以以這種方式與人們一起工作。不僅如此，如果你使用像Freeform這類(lèi)的協(xié)作應(yīng)用程序，在Vision Pro中共享文件時(shí)，你可以讓多個(gè)同事，同時(shí)處理文件，就像在同一個(gè)房間里一起工作一樣。

另一個(gè)是，我們可以將Mac上的顯示屏同步到Vision Pro中。假設(shè)你有一款舊款的Macbook Air，它的屏幕可能比較小，但當(dāng)你戴上頭顯后，你可以擁有一個(gè)巨大4K屏幕。

并且，你還可以用Final Cut Pro，同時(shí)進(jìn)行22個(gè)8K視頻。你還可以在這里運(yùn)行iPadOS和iOS軟件，無(wú)需更改。

通過(guò)Vision Pro，你可以為你的生產(chǎn)力創(chuàng)造一個(gè)完美的空間。我們對(duì)消費(fèi)者展現(xiàn)了一些場(chǎng)景。對(duì)那些試圖借此完成工作的人來(lái)說(shuō)，它是一款超級(jí)強(qiáng)大的設(shè)備。visionOS是一個(gè)非常強(qiáng)大的多應(yīng)用程序、多任務(wù)操作系統(tǒng)，它將帶來(lái)驚人的生產(chǎn)力和專業(yè)場(chǎng)景。

至于軟件研發(fā)方面，為了讓整個(gè)設(shè)備易于開(kāi)發(fā)，我們?yōu)殚_(kāi)發(fā)人員付出了相當(dāng)大的努力。

如果你是一名iOS開(kāi)發(fā)者，您進(jìn)入Xcode，將目標(biāo)設(shè)置為visionOS，然后構(gòu)建空間應(yīng)用，你就有了構(gòu)建空間應(yīng)用的起點(diǎn)。如果你是開(kāi)始使用Unity的人，我們做了打造了一款便于開(kāi)發(fā)者的工具編寫(xiě)應(yīng)用程序。無(wú)論你用的是什么工具軟件，都是在共享相同的3D空間。

問(wèn)題10：真正地將Vision Pro和visionOS推向世界，感覺(jué)如何？

Mike Rockwell：蘋(píng)果的許多研發(fā)團(tuán)隊(duì)為推出這款產(chǎn)品付出了許多努力，就像我們有芯片團(tuán)隊(duì)、軟件工程團(tuán)隊(duì)、 Mac團(tuán)隊(duì)、我的團(tuán)隊(duì)和Siri團(tuán)隊(duì)。實(shí)際上，Vision Pro是所有工程團(tuán)隊(duì)一起開(kāi)發(fā)的蘋(píng)果產(chǎn)品。

▲Vision Pro發(fā)布

Vision Pro頭顯發(fā)布，對(duì)我們來(lái)說(shuō)是個(gè)很大的鼓舞，也是一場(chǎng)豪賭。我們構(gòu)建了它，迫不及待地想要將它交給人們手中，對(duì)產(chǎn)品的反饋也感到非常興奮。

結(jié)語(yǔ)：頭顯賽道的創(chuàng)新，蘋(píng)果給出新回答

蘋(píng)果的Vision Pro頭顯上，既反射出的近年來(lái)產(chǎn)業(yè)玩家共同推動(dòng)的一些創(chuàng)新，如Pancake、視頻透視等，也同樣逃不脫產(chǎn)業(yè)玩家共同的難題，如續(xù)航、近視等。

但是，相較于當(dāng)前賽道的多數(shù)產(chǎn)品，蘋(píng)果通過(guò)多年深耕將每個(gè)創(chuàng)新點(diǎn)發(fā)揮到極致，在八年時(shí)間中，選擇將每項(xiàng)功能打磨成自己想要的樣子。比如說(shuō)，蘋(píng)果堅(jiān)持通過(guò)“雙面屏”的方式復(fù)原人臉、堅(jiān)持要建立人與人之間的連接，不計(jì)代價(jià)。

Vision Pro頭顯，在我個(gè)人看來(lái)，會(huì)感受到驚喜，但不會(huì)感受到意外。

驚喜之處在于，蘋(píng)果頭顯的顯示屏的確解決了不少顯示難題，效果反響較好。同時(shí)，蘋(píng)果在Vision Pro頭顯的具體應(yīng)用設(shè)計(jì)上，如空間視頻拍攝、Persona功能都頗具看點(diǎn)。但整個(gè)產(chǎn)品設(shè)計(jì)還是和常見(jiàn)的VR頭顯類(lèi)相似，并不如當(dāng)年手機(jī)從功能機(jī)走向智能手機(jī)那般意外。

不過(guò)，頭顯屆的“iPhone”才剛剛到，或許到了“iPhone 4”面世時(shí)，有更多的驚喜在等著我們。

來(lái)源：The Talk Show Live From WWDC 2023（https://.youtube.com/watch?v=DgLrBSQ6x7E）