用于成像設(shè)備建模與校準(zhǔn)的系統(tǒng)和方法
【專利說明】
[0001] 交叉引用相關(guān)申請
[0002] 本專利申請要求2013年7月2日提交的加拿大申請序列號2,819,956的優(yōu)先權(quán)。
技術(shù)領(lǐng)域
[0003] 本發(fā)明涉及用于成像設(shè)備建模與校準(zhǔn)的系統(tǒng)和方法，其用來補(bǔ)償與成像設(shè)備的像 平面垂直的視軸中的缺陷。
【背景技術(shù)】
[0004] 數(shù)字相機(jī)和其它成像設(shè)備的校準(zhǔn)試圖建立如何通過透鏡將圖像"打印"在成像設(shè) 備表面的數(shù)學(xué)模型。程序首先采用來自具有精確已知容差的校準(zhǔn)目標(biāo)的圖片，且從圖像中 提取出目標(biāo)元素。最后，數(shù)學(xué)模型將圖像信息與真實(shí)的三維（3D)目標(biāo)信息關(guān)聯(lián)。一旦校準(zhǔn)， 成像設(shè)備便可以采用比例因子（焦距f)映射真實(shí)世界的物體。在采用現(xiàn)成的相機(jī)和透鏡 工作時，我們需要對相機(jī)進(jìn)行校準(zhǔn)，以補(bǔ)償透鏡焦距上的容差，其中容差可高達(dá)10%。
[0005] 而且，一旦模型精確已知，其便能夠用于再建完美的相機(jī)圖像，也稱為針孔 (pinhole)，用于幾乎每個高端自動成像系統(tǒng)。通過軟件圖像校正，我們能夠補(bǔ)償由于透 鏡的不完美性質(zhì)、稱為幾何畸變的魚眼圖像變形，以及稱為色畸變的透鏡光學(xué)中彩虹光 分散所引起的圖像誤差。幾個成像設(shè)備將呈現(xiàn)相對于圖像平面的視線偏置垂直度偏離 (off-squareness line of sight bias)。為了準(zhǔn)確測量圖像畸變，需要補(bǔ)償圖像平面相對 于視線透鏡的垂直度偏離。為此，已知的校準(zhǔn)技術(shù)采用傾斜軸假設(shè)。然而，已經(jīng)證明該假設(shè) 會使模型中的每個相機(jī)參數(shù)偏置，引起系統(tǒng)測量誤差。結(jié)果，在圖像中引入比例大小畸變偏 差（scale-size-distortion)，其它每個相機(jī)參數(shù)都要補(bǔ)償，這些相機(jī)參數(shù)也偏置了。在3D 掃描或遙測中，當(dāng)從一對同時相機(jī)圖像中重建時，這個稱為3D物體的幾何和位置偏置。
[0006] 由此，需要改善現(xiàn)有成像設(shè)備的校準(zhǔn)與建模技術(shù)。

【發(fā)明內(nèi)容】

[0007] 提出的校準(zhǔn)與建模技術(shù)引入精確的視角校正，以考慮成像設(shè)備或相機(jī)/透鏡系統(tǒng) 中的裝配容差，該容差引起透鏡軸與圖像平面的垂直度偏離。
[0008] 精確的相機(jī)平面和透鏡裝配知識將去除遙測系統(tǒng)和采用數(shù)字相機(jī)或相機(jī)立體對 的三維掃面中的系統(tǒng)偏置，產(chǎn)生精確的焦距（圖像比例）測量，確定相機(jī)平面上真實(shí)的圖像 中心位置，以及提高測量由像彎曲（幾何畸變）和透鏡光學(xué)中的彩虹光分散（色畸變）所 引起的畸變中的精度。
[0009] 精確的相機(jī)平面和透鏡裝配知識會提高去除透鏡幾何畸變和色畸變中的計(jì)算效 率和精度。
[0010] 去除透鏡畸變會提高圖像壓縮比，但不會增加任何損耗。
[0011] 根據(jù)第一大方面，描述一種計(jì)算機(jī)實(shí)施的方法，其對成像設(shè)備進(jìn)行建模以用于校 準(zhǔn)和圖像校正，該方法包括：定義原點(diǎn)位于成像設(shè)備的焦點(diǎn)處的第一 3D正交坐標(biāo)系，第一 坐標(biāo)系的第一軸沿成像設(shè)備的視線方向延伸；定義原點(diǎn)位于與焦點(diǎn)相距單位距離處的第二 3D正交坐標(biāo)系，第二坐標(biāo)系的第一軸沿視線方向延伸，第二坐標(biāo)系的第二軸和第三軸分別 大致平行于第一坐標(biāo)系的第二軸和第三個軸，由此，第二坐標(biāo)系的第二軸和第三軸定義與 視線垂直的真實(shí)比例平面（true scale plane);定義原點(diǎn)位于與焦點(diǎn)相距焦距處的第三3D 坐標(biāo)系，第三坐標(biāo)系的第一軸沿視線方向延伸，第三坐標(biāo)系的第二軸和第三軸相對于第一 坐標(biāo)系的第二軸和第三軸的方位分別傾斜第一角度和第二角度，由此，第三坐標(biāo)系的第二 軸和第三軸定義相對于視線垂直度偏離的像平面；接收與由成像設(shè)備捕捉的真實(shí)世界3D 物體的點(diǎn)相關(guān)的3D坐標(biāo)；計(jì)算點(diǎn)到真實(shí)比例平面上的投影，由此獲得第一組平面坐標(biāo)，以 及計(jì)算點(diǎn)到像平面上的投影，由此獲得第二組平面坐標(biāo)系；以及輸出指示與3D物體的點(diǎn)對 應(yīng)的像點(diǎn)的位置的第二組平面坐標(biāo)。
[0012] 在某些實(shí)施例中，第二坐標(biāo)系被定義為使得真實(shí)比例平面建立至成像設(shè)備的透鏡 系統(tǒng)的入口，并且在真實(shí)比例平面上的投影表示成像設(shè)備的外部模型的輸出，以及第三坐 標(biāo)系被定義成使得像平面建立至透鏡系統(tǒng)的輸出，并且像平面上的投影表示成像設(shè)備的內(nèi) 部模型的輸出。
[0013] 在某些實(shí)施例中，所接收的一組3D坐標(biāo)是[X y z 1]τ，并且3D物體的點(diǎn)在真實(shí)比 例平面上的投影計(jì)算為：
[0015] 其中，^是比例等價運(yùn)算符（scale equivalent operator)，Pi定義相對于第一坐 標(biāo)系的在真實(shí)比例平面上的投影操作。
[0016] 在某些實(shí)施例中，3D物體的點(diǎn)在像平面上的投影計(jì)算為：
[0018] 其中，Pf定義在像平面上的投影操作，f是焦距，α是第一角度，β是第二角度， R(x，α)是相對于像平面的X軸的旋轉(zhuǎn)矩陣，X軸被定義為在執(zhí)行α旋轉(zhuǎn)之前大致平行于 第一坐標(biāo)系的第二軸，R(y，β)是相對于像平面的y軸的旋轉(zhuǎn)矩陣，y軸被定義為在執(zhí)行β 旋轉(zhuǎn)之前大致平行于第一坐標(biāo)系的第三軸，α旋轉(zhuǎn)從最右邊計(jì)算以便β旋轉(zhuǎn)是相對于旋 轉(zhuǎn)角度α的X軸來執(zhí)行的，其中
[0027] 在某些實(shí)施例中，該方法還包括將真實(shí)比例平面和像平面之間的單應(yīng)性Η確定 為：
其中，h31和h 32是將視角校正應(yīng)用到像平面中X和y比例 (scale)的非零元素，且第二組平面坐標(biāo)（x"，y"）是真實(shí)比例平面上的點(diǎn)圖像的畸變位置 (X'，y'）的單應(yīng)變換（homographic transformation)，單應(yīng)變換表不為：
[0033] X" = u/w+Cx，并且
[0034] y" = v/w+CY，其中，（Cx，CY)是第三坐標(biāo)系的原點(diǎn)位置。
[0035] 在某些實(shí)施例中，單應(yīng)性Η被確定為：
[0037] 其中，~是比例等價運(yùn)算符，對于小角度α和β，使用近似cos Θ~1和sin Θ~ Θ 〇
[0038] 在某些實(shí)施例中，該方法還包括補(bǔ)償真實(shí)比例平面處成像設(shè)備的透鏡的畸變，補(bǔ) 償包括應(yīng)用如下定義的透鏡畸變模型：
[0039] τ' = r+klr3+k2r5+··',
[0040] 其中，第一組平面坐標(biāo)包括在用徑向坐標(biāo)（r，θ )表示的真實(shí)比例平面上的點(diǎn)的 圖像的未畸變位置（X，y)，r2= X 2+y2和tan Θ = y/χ，（X'，y'）表示在像平面上點(diǎn)的投影 之前在透鏡輸出處的畸變位置（X，y)，r'是基于（X'，y'）計(jì)算的畸變徑向距離，以及4和 k2是透鏡的幾何畸變參數(shù)。
[0041] 根據(jù)第二大方面，描述了一種對成像設(shè)備進(jìn)行建模以用于校準(zhǔn)和圖像校正的系 統(tǒng)，該系統(tǒng)包括：存儲器；處理器；以及存儲在存儲器中且可由處理器執(zhí)行的至少一個應(yīng)用 程序，該應(yīng)用程序用于：定義原點(diǎn)位于成像設(shè)備的焦點(diǎn)處的第一 3D正交坐標(biāo)系，第一坐標(biāo) 系的第一軸沿成像設(shè)備的視線方向延伸；定義原點(diǎn)位于與焦點(diǎn)相距單位距離處的第二3D 正交坐標(biāo)系，第二坐標(biāo)系的第一軸沿視線方向延伸，第二坐標(biāo)系的第二軸和第三軸分別大 致平行于第一坐標(biāo)系的第二軸和第三軸，由此，第二坐標(biāo)系的第二軸和第三定義與視線垂 直的真實(shí)比例平面；定義原點(diǎn)位于與焦點(diǎn)相距焦距處的第三3D正交坐標(biāo)系，第三坐標(biāo)系的 第一軸沿視線方向延伸，第三坐標(biāo)系的第二軸和第三軸分別相對于第一坐標(biāo)系的第二軸和 第三軸軸傾斜第一和第二角度，由此，第三坐標(biāo)系的第二軸和第三軸定義相對于視線垂直 度偏離的像平面；接收與由成像設(shè)備捕捉的真實(shí)世界3D物體的點(diǎn)相關(guān)的一組3D坐標(biāo)；計(jì) 算點(diǎn)到真實(shí)比例平面上的投影，由此獲得第一組平面坐標(biāo)，以及計(jì)算點(diǎn)到像平面上的投影， 由此獲得第二組平面坐標(biāo)；以及輸出指示與3D物體的點(diǎn)對應(yīng)的像點(diǎn)的位置的第二組平面 坐標(biāo)。
[0042] 在某些實(shí)施例中，至少一個應(yīng)用程序可由處理器執(zhí)行，以用來定義第二坐標(biāo)系，以 便真實(shí)比例平面建立至成像設(shè)備的透鏡系統(tǒng)的入口且在真實(shí)比例平面上的投影表示成像 設(shè)備的外部模型的輸出，以及定義第三坐標(biāo)系，以便像平面建立至透鏡系統(tǒng)的輸出且像平 面上的投影表示成像設(shè)備內(nèi)部模型的輸出。
[0043] 在某些實(shí)施例中，至少一個應(yīng)用程序可由處理器執(zhí)行，以用來接收作為[X y z 1]τ的一組3D坐標(biāo)系，并且將3D物體的點(diǎn)在真實(shí)比例平面上的投影計(jì)算為：
[0045] 其中，~是比例等價運(yùn)算符，并且PiS義相對于第一坐標(biāo)系的到真實(shí)比例平面上 的投影操作。
[0046] 在某些實(shí)施例中，至少一個應(yīng)用程序可由處理器執(zhí)行，以用來將3D物體的點(diǎn)在像 平面上的投影計(jì)算為：
[0048] 其中，Pf定義到像平面上的投影操作，f是焦距，α是第一角度，β是第二角度， R(x，α)是相對于像平面的χ軸的旋轉(zhuǎn)矩陣，χ軸定義為在執(zhí)行旋轉(zhuǎn)α之前與第一坐標(biāo)系 的第二軸大致平行，R(y，β)是相對于像平面的y軸的β旋轉(zhuǎn)矩陣，y軸定義為在執(zhí)行旋轉(zhuǎn) β之前與第一坐標(biāo)系的第三軸大致平行，α旋轉(zhuǎn)從最右邊計(jì)算以便β旋轉(zhuǎn)是按照相對于 旋轉(zhuǎn)角度α的χ軸來進(jìn)行的，并且其中
[0049] hn= cos β ?
[0050] h12= sin β sin α，
[0051] h13= sin β cos α，
[0052] h22= cos α，
[0053] h23= -sin a，
[0054] h31= -sin β ?
[0055] h32= cos β sin a，以及
[0056] h33= cos β cos a 〇
[0057] 在某些實(shí)施例中，至少一個應(yīng)用程序可由處理器執(zhí)行，以用來將真實(shí)比例平面和 像平面之間的單應(yīng)性Η確定為：
其中，h31和h 32是將視角校正應(yīng)用到像平面中的χ和y 比例的非零元素，且第二組平面坐標(biāo)系（x"，y"）是真實(shí)比例平面上點(diǎn)的圖像的畸變位置 (χ'，y'）的單應(yīng)變換，單應(yīng)變換表示為：
[0063] χ" = u/w+Cx，以及
[0064] y" = v/w+CY，其中，（Cx，CY)是第三坐標(biāo)系的原點(diǎn)位置。
[0065] 在某些實(shí)施例中，至少一個應(yīng)用程序可由處理器執(zhí)行，以用來將單應(yīng)性Η確定為：
[0067] 其中，對于小角度α和β，使用近似cos Θ~1和sin Θ~Θ。
[0068] 在某些實(shí)施例中，至少一個應(yīng)用程序可由處理器執(zhí)行，以用來補(bǔ)償真實(shí)比例平面 處的成像設(shè)備透鏡的畸變，補(bǔ)償包括應(yīng)用如下定義的透鏡畸變模型：
[0069] τ' = r+klr3+k2r5+··',
[0070] 其中，第一組平面坐標(biāo)包括用徑向坐標(biāo)（r，θ )所表示的真實(shí)比例平面上的點(diǎn)的 圖像的未畸變位置（X，y)，r2= χ 2+y2和tan Θ = y/x，（X'，y'）表示在像平面上點(diǎn)的投影 之前在透鏡輸出處的畸變位置（X，y)，r'是基于（χ'，y'）計(jì)算的畸變徑向距離，以及4和 k2是透鏡的幾何畸變參數(shù)。
[0071] 在某些實(shí)施例中，成像設(shè)備包括變焦鏡頭相機(jī)、近紅外成像設(shè)備、短波長紅外成像 設(shè)備、長波長紅外成像設(shè)備、雷達(dá)設(shè)備、光探測和測距設(shè)備、拋物面反射鏡望遠(yuǎn)鏡成像儀、外 科內(nèi)窺鏡相機(jī)、計(jì)算機(jī)斷層掃描設(shè)備、衛(wèi)星成像設(shè)備、聲納設(shè)備，以及多光譜傳感器融合系 統(tǒng)。
[0072] 根據(jù)第三大方面，描述了一種計(jì)算機(jī)可讀介質(zhì)，其上存儲有可由處理器執(zhí)行的程 序代碼，以對在校準(zhǔn)和圖像校正中所使用的成像設(shè)備進(jìn)行建模，可執(zhí)行的程序代碼用來定 義原點(diǎn)位于成像設(shè)備的焦點(diǎn)處的第一 3D正交坐標(biāo)系，第一坐標(biāo)系的第一軸沿成像設(shè)備視 線方向延伸；定義原點(diǎn)位于與焦點(diǎn)相距單位距離處的第二3D正交坐標(biāo)系，第二坐標(biāo)系的第 一軸沿視線方向延伸，第二坐標(biāo)系的第二軸和第三軸分別大致平行于第一坐標(biāo)系的第二軸 和第三軸，由此，第二坐標(biāo)系的第二軸和第三軸定義與視線垂直的真實(shí)比例平面；定義原點(diǎn) 位于與焦點(diǎn)相距焦距處的第三3D正交坐標(biāo)系，第三坐標(biāo)系的第一軸沿視線方向延伸，第三 坐標(biāo)系的第二軸和第三軸分別相對于第一坐標(biāo)系的第二軸和第三軸的方位傾斜第一和第 二角度，由此，第三坐標(biāo)系的第二軸和第三軸定義相對于視線垂直度偏離的像平面；接收與 由成像設(shè)備捕捉的真實(shí)世界3D物體的點(diǎn)相關(guān)的一組3D坐標(biāo)；計(jì)算點(diǎn)到真實(shí)比例平面上 的投影，由此獲得第一組平面坐標(biāo)，以及計(jì)算點(diǎn)到像平面上的投影，由此獲得第二組平面坐 標(biāo)；以及輸出指示與3D物體的點(diǎn)對應(yīng)的像點(diǎn)