在之前推出異步時(shí)間扭曲技術(shù)(Asynchronous Timewarp，ATW)以幫助低端電腦獲得良好的VR體驗(yàn)之后，近日Oculus進(jìn)一步推出了異步空間扭曲技術(shù)(Asynchronous Spacewarp，ASW)。使用這項(xiàng)技術(shù)，電腦可以只渲染45Hz的畫(huà)面刷新率，而玩家最終能體驗(yàn)和本地90Hz畫(huà)面差不多的感受。

  那么這項(xiàng)技術(shù)是如何得以實(shí)現(xiàn)的呢?我們先從ATW技術(shù)說(shuō)起吧。

  一種生成中間幀的技術(shù)

  簡(jiǎn)單來(lái)說(shuō)，ATW是一種生成中間幀的技術(shù)。當(dāng)游戲畫(huà)面無(wú)法保持足夠的幀率時(shí)，它能產(chǎn)生中間幀進(jìn)行彌補(bǔ)，從而維持較高的畫(huà)面刷新率。這項(xiàng)技術(shù)的提出者John Carmack目前是Oculus的CTO。

  Oculus在博客里對(duì)ATW做了詳細(xì)的解釋。如上圖所示，GPU給左右眼的畫(huà)面分別進(jìn)行渲染，然后在畫(huà)面顯示出來(lái)之前插入一個(gè)ATW的處理過(guò)程。在左邊這幀的處理中，畫(huà)面渲染及時(shí)完成，此時(shí)直接顯示就行了;中間的第二幀渲染未能及時(shí)完成，此時(shí)如果什么都不做就會(huì)出現(xiàn)畫(huà)面抖動(dòng)，而有了ATW線(xiàn)程的話(huà)，它會(huì)將前面一幀調(diào)用出來(lái)，結(jié)合頭部運(yùn)動(dòng)變化預(yù)測(cè)新的幀，再顯示出來(lái)，從而保持幀率。這里面預(yù)測(cè)頭部運(yùn)動(dòng)的變化非常重要。但ATW只預(yù)測(cè)3自由度旋轉(zhuǎn)的的運(yùn)動(dòng)，平移沒(méi)有被包括進(jìn)來(lái)。

  ATW的主要作用是減少畫(huà)面抖動(dòng)，提高效率，同時(shí)保持低延遲。

  ASW：ATW的進(jìn)階版

  從名字就可以看出ASW和ATW是類(lèi)似的技術(shù)，根據(jù)Oculus官方的解釋?zhuān)珹SW是根據(jù)之前的畫(huà)面幀預(yù)測(cè)出新的畫(huà)面幀。聽(tīng)起來(lái)和ATW差不多，不過(guò)ATW預(yù)測(cè)的只有一個(gè)東西：用戶(hù)頭部的轉(zhuǎn)動(dòng)。在之前沒(méi)有房間級(jí)追蹤和Oculus Touch的情況下，這基本就夠用了。

  ASW可以和ATW一起將VR體驗(yàn)里所有視覺(jué)運(yùn)動(dòng)都覆蓋。包括角色運(yùn)動(dòng)，攝像頭運(yùn)動(dòng)，Touch控制器的運(yùn)動(dòng)，以及用戶(hù)自身的位置運(yùn)動(dòng)。這樣當(dāng)渲染速度跟不上時(shí)，用戶(hù)體驗(yàn)到的畫(huà)面還可以保持流暢。

  舉個(gè)例子，看下面這個(gè)動(dòng)圖，這個(gè)畫(huà)面顯示的是，從第0幀到第1幀(相隔1/45秒)，手拿一把槍從從右向左移。ASW線(xiàn)程會(huì)從這個(gè)運(yùn)動(dòng)中產(chǎn)生一個(gè)新的預(yù)測(cè)幀(第1幀之后的1/90秒)。ASW線(xiàn)程會(huì)檢測(cè)槍的運(yùn)動(dòng)并生成一個(gè)新幀，代替程序顯示在屏幕上。

  在VR中，ATW和ASW是相輔相成的。Timewarp適合頭部轉(zhuǎn)動(dòng)，實(shí)際上，對(duì)于長(zhǎng)距離觀(guān)看的靜態(tài)圖像它是完美的。類(lèi)似全景視頻這類(lèi)應(yīng)用，ASW沒(méi)必要用到。相反地，Spacewarp應(yīng)對(duì)近處的動(dòng)畫(huà)物體非常棒，但對(duì)于追蹤頭部運(yùn)動(dòng)則不大行。

  之前有了ATW時(shí)，用戶(hù)轉(zhuǎn)頭畫(huà)面可以保持流暢，現(xiàn)在有了ASW，VR里物體的運(yùn)動(dòng)也可以很流暢了。

  ASW也不完美

  和ATW一樣，ASW是自動(dòng)適配所有應(yīng)用的，不需要開(kāi)發(fā)者做什么事。但這項(xiàng)技術(shù)也不是完美的。

  在低于屏幕刷新率一半的情況下，ASW效果不是很好。另外，取決于顯示的畫(huà)面，由于不完美的幀預(yù)測(cè)，可能會(huì)出現(xiàn)視覺(jué)假象。典型的例子如下：

  1、快速的亮度變化。閃電、擺燈、淡入淡出、閃光燈，以及其它快速的亮度變化很難為ASW進(jìn)行追蹤。ASW試圖識(shí)別區(qū)塊時(shí)，這部分畫(huà)面可能會(huì)出現(xiàn)晃動(dòng)。另外，部分半透明動(dòng)畫(huà)場(chǎng)景也可能出現(xiàn)類(lèi)似效果。

  2、物體去遮擋拖尾?！叭フ趽酢笔莻€(gè)圖像術(shù)語(yǔ)，意思是物體移開(kāi)對(duì)某個(gè)區(qū)域的遮擋。當(dāng)物體移動(dòng)時(shí)，ASW需要有畫(huà)面去填補(bǔ)它不再遮擋的那個(gè)區(qū)域。而ASW并不知道給這個(gè)區(qū)域填補(bǔ)什么，此時(shí)后面的畫(huà)面就會(huì)拉長(zhǎng)來(lái)進(jìn)行填補(bǔ)，形成拖尾。由于45 FPS時(shí)物體移動(dòng)的距離通常是很小的，這個(gè)拖尾一般看不出來(lái)。

  3、重復(fù)圖樣的高速運(yùn)動(dòng)。例如在鐵欄門(mén)前跑動(dòng)并看著它。由于物體的一部分看起來(lái)和其它部分類(lèi)似，就很難判斷向哪邊移動(dòng)了。對(duì)ASW來(lái)說(shuō)，這種錯(cuò)誤預(yù)測(cè)極少出現(xiàn)，但偶爾仍會(huì)發(fā)生。

  4、頭部鎖定的元素運(yùn)動(dòng)太快而無(wú)法追蹤。一些應(yīng)用會(huì)使用頭部鎖定(意即相對(duì)你的頭不運(yùn)動(dòng))的元素，比如駕駛艙，HUD或是菜單。如果應(yīng)用試圖自己處理這樣的元素而沒(méi)有應(yīng)用Oculus SDK提供的鎖定層，那么當(dāng)背景相對(duì)鎖定元素運(yùn)動(dòng)得太快，就可能會(huì)出現(xiàn)抖動(dòng)。ASW可以進(jìn)行一些彌補(bǔ)，但有時(shí)用戶(hù)頭部運(yùn)動(dòng)太快，導(dǎo)致無(wú)法很好地追蹤，結(jié)果是畫(huà)面不流暢。如果用Oculus SDK提供的鎖定層則可以帶來(lái)理想的效果。

  Oculus提醒開(kāi)發(fā)者不一定要規(guī)避這些場(chǎng)景，但需要注意它們的出現(xiàn)。ASW在絕大多數(shù)場(chǎng)景下(但并非所有場(chǎng)景)都可以對(duì)不足90 FPS的渲染進(jìn)行彌補(bǔ)。ASW對(duì)抖動(dòng)會(huì)有很大的改善，并且和完全本地渲染的畫(huà)面相比幾乎看不出區(qū)別。