新聞動態(tài)

News Center

在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器

發(fā)布日期:
2023-04-12

瀏覽次數(shù):


.

增強現(xiàn)實(AR)系統(tǒng)為多道光路的架構(gòu)和自由曲面(free-from optics)的使用提供了良好的示范。這篇文章說明了如何在序列模式中,使用楔形棱鏡(wedge-shaped prism)和自由曲面建立頭戴式顯示器(HMD)。我們將以三個范例檔案演示不同階段的模型建立。



簡介

在設(shè)計一個增強現(xiàn)實(augmented reality, AR)透視頭戴式顯示器(OST-HMD)時,我們會針對兩道光路進(jìn)行優(yōu)化:微顯示器的投影路徑以及供用戶看見外界的透視路徑。為了達(dá)到理想的AR效果,光學(xué)設(shè)計者必須確保虛擬圖像和現(xiàn)實景物能正確結(jié)合。此技術(shù)可被廣泛應(yīng)用在軍事和醫(yī)療輔助等方面。


考慮到實際用途,設(shè)計者必須將整個光學(xué)系統(tǒng)設(shè)計成一個精巧且非侵入式的裝置,同時具備大視角(FOV)和小f-number等優(yōu)點。這篇文章說明如何使用楔形自由曲面棱鏡和膠合輔助鏡頭(cemented auxiliary lens)建立上述的光學(xué)系統(tǒng)。



參考專利


本文的范例參考了專利Patent US 2014/0009845 A1的設(shè)計(https://patents.google.com/patent/US20140009845)。


在范例檔案中,我們針對各表面大量的運用了傾斜(tilt)和偏心(decenter)技巧。在下方的示意圖中,我們可以看到系統(tǒng)使用自由曲面棱鏡(FFS prism)和膠合輔助鏡頭(cemented auxiliary lens, 圖中黃色部分)這兩個光學(xué)組件改變?nèi)肷涔獾男羞M(jìn)方向。FFS的使用增加了設(shè)計的自由度,使系統(tǒng)可使用較少的光學(xué)組件達(dá)成目的,大幅減少裝置的重量。另一方面,膠合輔助鏡頭(cemented auxiliary lens)可有效修正畸變,改善透視影像的質(zhì)量。


下圖參考自專利并稍加修改。


在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器


設(shè)計方針


OST-HMD包含了兩個光學(xué)組件:1)楔形FFS棱鏡 和 2) 膠合輔助鏡頭。在OpticStudio中我們會先建立FFS棱鏡,并根據(jù)原始規(guī)格進(jìn)行參數(shù)設(shè)定,接著以微顯示器投影路徑(第 一道光路)為目標(biāo)進(jìn)行優(yōu)化。在完成上述步驟后,我們在多重結(jié)構(gòu)編輯器(multi-configuration editor)中建立膠合輔助鏡頭。借由這個鏡頭的輔助,可以有效減少畸變的影響,并消除光學(xué)系統(tǒng)的場曲情況。透過以上的步驟,我們可以改善第二道光路使觀察者看到的外界景物不會扭曲變形。


在仿真環(huán)境中,我們翻轉(zhuǎn)了整個光學(xué)系統(tǒng),使光線路徑與現(xiàn)實情況完全相反。在實際應(yīng)用上,我們會以微顯示器作為HMD的光源,人眼的視網(wǎng)膜則會是像面。前后者分別作為整個光學(xué)路徑的出/入瞳。然而為了精確的架設(shè)各個組件且能有效的在OpticStudio中進(jìn)行優(yōu)化,我們會將實際的出瞳作為OpticStudio中的入瞳,并以微顯示器作為整個系統(tǒng)的像面。在接下來的篇幅,我們都會以光線在OpticStudio中的追跡方向來描述。


關(guān)于HMD的建立,首先我們會逐一插入表面以建立棱鏡,并追跡單一視場角(field angle)的一條主光線。接下來,為了傾斜棱鏡使光線按預(yù)期的路線行進(jìn),我們會在適當(dāng)?shù)奈恢貌迦隒oordinate Break表面。此外,我們還需要考慮組件的幾何關(guān)系,并為各表面設(shè)定適合的材質(zhì),使這個光學(xué)系統(tǒng)成為一個合理的設(shè)計。


由于序列模式(Sequential Mode)無法仿真出全反射(TIR)的現(xiàn)象,我們必須在發(fā)生TIR的表面上再覆蓋上一個表面,并定義該表面為具有Pickup solves的反射鏡表面(MIRROR),使追跡光線能符合實際情況。在完成對單一視場的優(yōu)化之后,我們接著利用多重結(jié)構(gòu)編輯器(Multi-Configuration Editor, MCE)建立第二道光路。然后我們會納入制造上的考慮,并對整個系統(tǒng)的表現(xiàn)進(jìn)行結(jié)果的優(yōu)化。



楔形自由曲面(FFS)棱鏡


為了簡化一開始的光線追跡過程,我們將系統(tǒng)的入瞳大小設(shè)置為6mm(人眼瞳孔尺寸約為2-8mm),并設(shè)定單一視場點(field point)。當(dāng)所有的表面都正確的被建立,且光線能順利的通過棱鏡后,我們可以逐步的擴大FOV和入瞳尺寸。(更多關(guān)于FOV的論述可參考后續(xù)的”定義視角”段落)


在序列模式中,我們利用多個傾斜或偏心表面建立棱鏡。為了確認(rèn)各表面的位置和存在必要性,我們必須思考系統(tǒng)中的光線是如何通過棱鏡,并與各表面交互作用的。在下方示意圖中我們可以清楚看到光線的路徑、各表面的作用和編號,這些信息有助于棱鏡模型的建立。


在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器

在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器


上方示意圖中的紅色數(shù)字代表該表面在鏡頭數(shù)據(jù)編輯器(Lens Data Editor, LDE)中的表面編號,Coordinate Break的存在已納入考慮。至于“S#”則代表了棱鏡的實際表面,可以在本文參考的專利模型中找到對應(yīng)的表面。(我們也可以在LDE中的Comment區(qū)域看到上述的編號)


舉例,我們可以看到上方紅框中的8-9-10表面代表了示意圖中的表面9,同時也代表了實際棱鏡的S1’表面,即S1的反射面(內(nèi)表面)。而表面8和10則分別代表了LDE中的表面8和10,并作為表面9的Coordinate Break。


進(jìn)行以上步驟時,光闌(stop, 在此為系統(tǒng)的入瞳)位置將被設(shè)為全局坐標(biāo)參考(Global Coordinate Reference)。棱鏡的第 一面(S1或是Coordinate Break加入后LDE中的Surface 3)位于光闌后方18.25mm處,等同于Surface 1在LDE中的厚度。而這個距離在實際應(yīng)用上是作為使用裝置時的適眼距(eye relief)。除了坐標(biāo)的設(shè)定之外,我們還需要思考如何設(shè)計表面的傾斜或偏心,才能使入射光順利到達(dá)像面。專利設(shè)計中的參數(shù)和示意圖可以在這方面提供不少幫助。


如下方示意圖,可以看到入射光自S1(LDE中的Surface 3)進(jìn)入棱鏡,接著落在S2(LDE中的Surface 6)上。示意圖中的S2作為一個平面鏡,使進(jìn)入棱鏡的光線全數(shù)反射。在實際應(yīng)用上S2是一個鍍膜的半反射鏡(half-mirror)。光線在到達(dá)該表面后會分成兩個行進(jìn)路徑: 1)在棱鏡內(nèi)部發(fā)生反射,然后到達(dá)上方的微顯示器;2)使外界光線順利通過的透射路徑。我們會在稍后的篇幅使用多重結(jié)構(gòu)化編輯器建立第二道光路。為了使光線符合示意圖中的行進(jìn)方向,我們會再次使用傾斜和偏心的功能調(diào)整表面的位置。


在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器

在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器


注意: 為了更完整的呈現(xiàn)光線追跡路徑,我們根據(jù)專利中微顯示器的位置對像面進(jìn)行調(diào)整,透過表面的傾斜或偏心使光學(xué)組件呈現(xiàn)正確的幾何關(guān)系。


檢視光路圖,我們會發(fā)現(xiàn)光線須在S1的內(nèi)表面(即S1’)反射,才能順利抵達(dá)微顯示器(像面)。根據(jù)專利的說明,前述的光線轉(zhuǎn)折是由界面處的全反射(TIR)所造成。我們在后續(xù)的”全反射(TIR)”段落中會提到更詳盡描述,此處僅針對OpticStudio的操作做說明。


由于在序列模式中無法仿真TIR,因此我們需要額外將S1’設(shè)為反射鏡表面。此外,將表面的求解(Solve type)設(shè)為Pickup,可使此表面更符合S1(LDE中的surface 3)的實際表現(xiàn),允許入射光同時呈現(xiàn)反射和穿透的現(xiàn)象。我們可以根據(jù)下圖完成上述的設(shè)定步驟,使各表面對應(yīng)的參數(shù)隨LDE中Surface 9變更。


在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器


然后我們以相同的方式在像面(LDE中的Surface 12)前插入一個表面,并設(shè)定正確的x-tilt和y-decenter。


在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器

在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器



定義視角 (FOV)


由于自由曲面的設(shè)計會隨視場(field)變化,為了分析系統(tǒng)的FOV我們需要盡可能設(shè)定更多的視場點。OpticStudio允許使用者在給定的視場中間分割,并有效率進(jìn)行優(yōu)化。此外,這些視場點還必須在X和Y方向給予定義。由于范例檔案中的光學(xué)系統(tǒng)并非旋轉(zhuǎn)對稱(該系統(tǒng)對稱于YZ平面,但對XZ平面是非對稱的),我們無法確保光線在正向和負(fù)向均有相同的行進(jìn)路線。


全反射 (TIR)


在實際的光學(xué)系統(tǒng)中,從微顯示器出發(fā)的光線會在S1’面發(fā)生TIR。當(dāng)光線從高折射率的介質(zhì)射向折射率較低的介質(zhì),且入射角大于臨界角時,此現(xiàn)象可能會發(fā)生在兩介質(zhì)的交界面。TIR的臨界角如下所示:


在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器

ni 代表光線入射的介質(zhì)折射率,而nr 代則是發(fā)生折射的介質(zhì)折射率。在本范例中,光線自PMMA(n=1.492)射向S1’表面。此時S1’表面的外側(cè)為空氣,因此nr=1。由以上的關(guān)系式我們可以得到TIR發(fā)生的臨界角(θc)為 42.09度。實際的光線入射角會成為優(yōu)化過程中的約束條件。


創(chuàng)建矩形孔徑


我們可以在LDE的semi-diameter參數(shù)調(diào)整表面上的孔徑(aperture)大小??紤]現(xiàn)實中楔形棱鏡的幾何關(guān)系,本范例中會以矩形孔徑的形式呈現(xiàn)。矩形孔徑可被定義在棱鏡的任何表面上,我們可以在 Surface Property…Aperture Type中將孔徑改為Rectangular Type。(由于Coordinate Break是虛擬表面,這些表面不會對光線行進(jìn)造成任何改變,因此我們無法在此定義孔徑。)



優(yōu)化


系統(tǒng)針對RMS波前(wavefront)進(jìn)行優(yōu)化,并且以質(zhì)心(centroid)為參考點。我們可以逐步增加光瞳采樣(Pupil Integration)中的環(huán)(ring)和臂(arm)以改良設(shè)計。以上步驟均可在優(yōu)化函數(shù)編輯器(Merit Function Editor)中完成。至于約束條件的部分,我們可以選擇以有效焦距(EFL)、厚度、全局坐標(biāo)、光線路徑長度、傾斜/偏心參數(shù)、角度和畸變等物理量作為限制。


首先,我們需要使用全局坐標(biāo)約束條件(GLCX/GLCY/GLCZ)確保S1和S1’表面(LDE中的Surface 9和3)對齊,畢竟在實際應(yīng)用上這兩個面本來就是一體的。這些操作數(shù)(operand)將被用在surface 9和3的pickup參數(shù)上。


為了使整體光學(xué)架構(gòu)更為簡潔,我們可將光線路徑長度作為約束條件。特別是從S3到像面以及S1’到像面的距離,針對這兩個長度進(jìn)行限制可確保像面被放在合理的位置。


對表面的傾斜/偏心參數(shù)進(jìn)行限制可使棱鏡在優(yōu)化過程中保持正常的形狀,避免出現(xiàn)其中一個表面異常遠(yuǎn)離其他表面的現(xiàn)象。一開始所有表面的型態(tài)為標(biāo)準(zhǔn)透鏡(Standard Lens),在優(yōu)化的過程中會漸漸的變成偶次非球面(Even Asphere),部分表面在后面將變?yōu)樽杂汕嫘蛻B(tài)。在本案例中,S1、S1’和S3表面(LDE中的 surface 3, 9, 12)會以Extended Polynomial的型態(tài)呈現(xiàn),surface 2則會是Even Asphere。



設(shè)定多重結(jié)構(gòu)化編輯器(Multi-Configuration Editor)


到目前為止,第 一道光路(投影路徑)的優(yōu)化已大致完成。接下來我們將進(jìn)行第二道光路(透視路徑)的建立和優(yōu)化。在這個階段中,我們主要針對S2表面上的輔助鏡頭(auxiliary lens)進(jìn)行設(shè)計。


下圖為FFS棱鏡優(yōu)化完成后的LDE,參數(shù)可能會因為優(yōu)化的過程和視場的添加而存在些微的差異。我們可以在結(jié)果的范例檔案中得到非球面和自由曲面系數(shù)。


在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器

在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器



注意: 在進(jìn)行優(yōu)化后,各表面在LDE中會呈現(xiàn)不同的顏色。我們也可以根據(jù)偏好在surface property中對顏色進(jìn)行變更。


在進(jìn)行輔助鏡頭的建構(gòu)時,我們首先將S4加入已建立的FFS棱鏡模型中。此時多重結(jié)構(gòu)編輯器(Multi-Configuration Editor, MCE)可以幫助我們將整個系統(tǒng)一分為二。如下圖,我們可以看到投影路徑和透視路徑清楚的呈現(xiàn)。


在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器

在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器

在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器


在根據(jù)光路對光學(xué)系統(tǒng)進(jìn)行劃分前,我們需要先在像面前加入S4表面(在實際應(yīng)用上,S4會是第二道光路的光線在到達(dá)像面前的結(jié)尾處一個表面)。在LDE中加入S4和對應(yīng)的Coordinate Break后的結(jié)果如下(surface 14, 15, 16為新增的內(nèi)容)。


在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器


接下來我們會以多重結(jié)構(gòu)編輯器(Multi-Configuration Editor, MCE)對光學(xué)系統(tǒng)進(jìn)行劃分。在明確的分割系統(tǒng)后,我們可針對不同目標(biāo)和表面特性對單一光路進(jìn)行優(yōu)化。舉例而言,設(shè)計者可以在針對FFS棱鏡以RMS波前和有限遠(yuǎn)像面優(yōu)化的同時,對輔助鏡頭和透視光路以無焦(afocal)為目標(biāo)進(jìn)行相同操作。在透視路徑中,我們希望能在配戴裝置的情況下仍可清晰看到外界景物,因此像面在這道光路中不會是位于焦點上的。為了使HMD的存在不影響使用者正常觀看周遭環(huán)境,在模擬中我們必須使無窮遠(yuǎn)出發(fā)的影像光線能順利映像在人眼的角膜(cornea)上。同時,我們還需要對輔助鏡頭進(jìn)行優(yōu)化,減少透視光路的畸變并消除光學(xué)系統(tǒng)的屈光效果。關(guān)于MCE的設(shè)定,我們可以在Help Files中找到許多有用的信息。(推薦閱讀 “Multiple Configuration Editor” 和 “Multi-Configuration Operands” 這兩個段落)


觀察上方個別光路的示意圖和LDE,可以發(fā)現(xiàn)第 一道光路包含了LDE中surface 0到surface 13的所有組件,以及像面(surface 17, 18)。第二道光路則涵蓋了S1和S2表面,但不包括S1’和S3表面。因此在針對此光路進(jìn)行設(shè)計和優(yōu)化時,S1’和S3及相對應(yīng)的Coordinate Break均會被忽略,僅會考慮Surfaces 0-7, 14-16 和 18。同時,像面的Coordinate Break也會被忽略,因為我們希望像面可以垂直于Z軸,正如實際應(yīng)用上的外界入射光。


在 Zemax OpticStudio 中建立增強現(xiàn)實頭戴式顯示器


在上方的MCE中,我們可以看到在configuration被設(shè)置為參數(shù) ”1”,代表該操作數(shù)是有效的,而”0”則代表了該操作數(shù)不會對優(yōu)化結(jié)果造成影響。透過操作數(shù)IGNR的設(shè)置,我們可以決定哪些表面會真正影響模擬結(jié)果,而哪些表面則是要被忽略的。舉例而言,觀察MCE我們可以發(fā)現(xiàn)surface 14到16(第3到5橫列)不會對第 一道光路造成影響。


此外還有一點特別重要的是操作數(shù)GLSS的使用,我們利用這個操作數(shù)將Surface 6(FFS棱鏡的S2)材質(zhì)改為玻璃。該表面在一開始的第 一道光路中被當(dāng)作反射鏡表面,為了模擬第二道光路,我們必須賦予該表面可被穿透的特性,以便在序列模式下同時仿真出透射和反射的效果。此外,多重結(jié)構(gòu)操作數(shù)AFOC可使第二道光路中的 ”離焦空間(Afocal Image Space)” 設(shè)置被啟用。


在優(yōu)化多重結(jié)構(gòu)的過程中,MCE和LDE的參數(shù)均可被調(diào)整以改進(jìn)結(jié)果。我們可以借由操作數(shù)CONF將操作數(shù)歸類到多重結(jié)構(gòu)的其中一種結(jié)構(gòu)中,這些操作數(shù)只會對該結(jié)構(gòu)造成影響。在CONF后方的”Cfg#”輸入結(jié)構(gòu)的編號,例如本例的第 一道光路即輸入”1”,MCE會將此橫列下方的所有操作數(shù)納入該結(jié)構(gòu)的優(yōu)化計算,直到下一個CONF出現(xiàn)為止。


分析


我們可以利用MCE或者其他工具欄的功能對系統(tǒng)的表現(xiàn)進(jìn)行分析。由于本范例中的模型使用了自由曲面且具有缺乏旋轉(zhuǎn)對稱的特性,我們使用了Huygens PSF的分析方法。(若想了解更多關(guān)于MTF分析的使用,請參考這篇文章'Why are FFT and Huygens MTF results different on tilted image surfaces?':https://support.zemax.com/hc/articles/1500005576222)


如果想在分析的過程中加入矢高(sag)和曲率(curvature)的考慮,我們可以在上方工具欄中依序選擇分析(Analyze)...表面(Surface)...矢高圖(Sag)/曲率圖(Curvature)。更多細(xì)節(jié)上的變更可以在設(shè)定(Settings)選單中完成。


視場光焦圖(Field Map)是另一個我們可以選用的分析工具,我們可以在分析(Analyze)...PAL/Freeform中找到這個功能。在設(shè)定選單中我們可以針對各種特性進(jìn)行分析,例如特定表面的光焦度(power)。在本范例中,我們使用該功能評估在透視路徑(see-through path)中光線抵達(dá)像面時所受到屈光的影響。要達(dá)到使人眼無法辨別差異的程度,設(shè)計者必須盡可能減少光學(xué)系統(tǒng)的屈光能力(約小于0.5D),才可降低使用時的疲勞和不適感。


參考資料

1. Cheng, Dewen, Hong Hua, and Yongtian Wang. “Optical See- Through Free- Form Head- Mounted Display.” U.S. Patent 0009845. 9 January 2014


相關(guān)閱讀

如何在Zemax OpticStudio用戶自定義表面真實建模衍射式人工晶狀體透鏡

如何使用 Zemax OpticStudio 進(jìn)行雜散光分析

解析 Zemax OpticStudio 中復(fù)合表面的工作原理

如何運用OpticStudio對中頻誤差進(jìn)行評估和公差分析

使用OpticStudio進(jìn)行閃光激光雷達(dá)系統(tǒng)建模(下)

使用OpticStudio進(jìn)行閃光激光雷達(dá)系統(tǒng)建模(中)

使用OpticStudio進(jìn)行閃光激光雷達(dá)系統(tǒng)建模(上)

大功率激光系統(tǒng)的STOP分析5:OpticStudio STAR模塊工作流程

大功率激光系統(tǒng)的STOP分析4: 使用OpticStudio仿真激光吸收

大功率激光系統(tǒng)的STOP分析3:使用OpticsBuilder完成光機初始設(shè)計

大功率激光系統(tǒng)的STOP分析2:如何進(jìn)行光機械設(shè)計準(zhǔn)備

大功率激光系統(tǒng)的STOP分析1:如何使用OpticStudio優(yōu)化光學(xué)設(shè)置


相關(guān)推薦

【Lumerical系列】無源器件-復(fù)用器件(3)丨模式(解)復(fù)用器
本期是Lumerical系列中無源器件專題-復(fù)用器件的第三期,涉及的器件...
Ansys 2024 R2-Ansys 光學(xué)與光子學(xué)仿真新功能介紹——Speos
1. 光學(xué)設(shè)計交換增強功能1.1 在2024 R1版本中引入的光學(xué)設(shè)計交...
Ansys 2024 R2-Ansys 光學(xué)與光子學(xué)仿真新功能介紹——Zemax
1. 離軸孔徑和RSI的公差操作數(shù)OpticStudio 將添加Zern...
Ansys 2024 R2-Ansys 光學(xué)與光子學(xué)仿真新功能介紹——Lumerical
Lumerical 新功能介紹1. CMOS圖像傳感光子逆向設(shè)計的改進(jìn)1...