一種基于超分辨率影像重建的三維量測(cè)方法
【專利摘要】本發(fā)明涉及一種基于超分辨率影像重建的三維量測(cè)方法，其包括：根據(jù)多站拍攝的立體影像生成超分辨率立體影像；用三維檢校場(chǎng)對(duì)立體相機(jī)進(jìn)行檢校；以第一站左影像為基準(zhǔn)，建立東-北-天右手坐標(biāo)系，在檢校立體相機(jī)相對(duì)姿態(tài)的基礎(chǔ)上，進(jìn)行多基線光束法平差，確定各立體影像的方位元素；將超分辨率影像視為由虛擬相機(jī)拍攝獲得，以多基線立體影像前方交會(huì)得到的三維坐標(biāo)為真值，對(duì)虛擬立體相機(jī)進(jìn)行檢校；根據(jù)虛擬立體相機(jī)檢校得到的內(nèi)、外參數(shù)，用最小二乘法得到再檢校仿射變換系數(shù)；將待量測(cè)目標(biāo)的像點(diǎn)坐標(biāo)、虛擬立體相機(jī)的內(nèi)、外參數(shù)和再檢校系數(shù)進(jìn)行前方交會(huì)，獲得待量測(cè)目標(biāo)的三維坐標(biāo)。本發(fā)明可以廣泛用于地面攝影測(cè)量超分辨率影像的三維量測(cè)中。
【專利說明】一種基于超分辨率影像重建的三維量測(cè)方法【技術(shù)領(lǐng)域】[0001]本發(fā)明涉及一種影像重建的三維量測(cè)方法，特別是關(guān)于一種基于超分辨率影像重建的三維量測(cè)方法。
【背景技術(shù)】
[0002]在攝影測(cè)量的應(yīng)用中，高分辨率的圖像可以準(zhǔn)確定位目標(biāo)。為降低CCD(Charge-coupled Device,電荷稱合元件)分辨率的約束，可以使用超分辨率(SuperResolution, SR)重建技術(shù)獲得高分辨率的圖像。超分辨率圖像重建技術(shù)是利用關(guān)于同一場(chǎng)景的有亞像素位移且含冗余信息的多幀低分辨率(Low Resolution,LR)圖像重建出高分辨率(High Resolution，HR)圖像的技術(shù)，其基本原理是利用低分辨率圖像序列幀與幀之間的微小差異所包含的非冗余信息來提高圖像的分辨率。在近景攝影測(cè)量中可以采用多基線技術(shù)提高影像的三維量測(cè)精度，但不能提供高分辨率的影像。

【發(fā)明內(nèi)容】

[0003]針對(duì)上述問題，本發(fā)明的目的是提供一種能夠提供高分辨率影像且三維量測(cè)精度高的基于超分辨率影像重建的三維量測(cè)方法。
[0004]為實(shí)現(xiàn)上述目的，本發(fā)明采取以下技術(shù)方案:一種基于超分辨率影像重建的三維量測(cè)方法，其包括以下步驟:1)在四個(gè)攝站分別使用立體相機(jī)對(duì)待量測(cè)目標(biāo)進(jìn)行攝影，得到待量測(cè)目標(biāo)的四對(duì)立體影像(L1Ah (L2, R2), (L3, R3)和(L4，R4);對(duì)四對(duì)立體影像(L1, R1) > (L2, R2) > (L3, R3)和(L4，R4)進(jìn)行影像配準(zhǔn)和影像恢復(fù)后得到待量測(cè)目標(biāo)的超分辨率立體影像(SR_L，SR_R) ;2)使用立體相機(jī)拍攝三維檢校場(chǎng)，根據(jù)三維檢校場(chǎng)的立體影像(Calib_L, Calib_R)計(jì)算得到立體相機(jī)的內(nèi)方位元素以及立體相機(jī)中左右相機(jī)間的相對(duì)位置T(VX，VY, Vz)和姿態(tài)R ；3)以待量測(cè)目標(biāo)第一站左影像L1的中心為原點(diǎn)0，第一站左影像L1的東方向?yàn)閄軸，其北方向?yàn)閅軸，以垂直于XOY平面指向天空方向?yàn)閆軸，建立O-XYZ坐標(biāo)系，在O-XYZ坐標(biāo)系下，第一站左影像L1的外方位位置和外方位姿態(tài)分別為(0，0，0)和單位陣；根據(jù)第一站左影像L1的外方位位置和外方位姿態(tài)以及立體相機(jī)的左右相機(jī)間的相對(duì)位置T (Vx, VY, Vz)和姿態(tài)R，得到第一站右影像R1的外方位位置和外方位姿態(tài)分別為T (Vx, VY, Vz)和R ；由第一站左影像L1的外方位位置和外方位姿態(tài)以及第一站右影像R1的外方位位置和外方位姿態(tài)得到第一站立體影像(LpR1)的外方位位置和外方位姿態(tài)；4)根據(jù)第一站立體影像U1)的外方位位置和外方位姿態(tài)以及四對(duì)立體影像(L2, R2),(L3, R3)和(L4，R4)上的同名特征點(diǎn)，計(jì)算得到立體影像(L2，R2)、(L3, R3)和(L4，R4)修正后的外方位位置和外方位姿態(tài)；5)將待量測(cè)目標(biāo)的超分辨率立體影像(SR_L，SR_R)視為由虛擬立體相機(jī)拍攝獲得，在超分辨率立體影像(SR_L，SR_R)上選定均勻分布的控制點(diǎn)；將位于四對(duì)立體影像U)、(L2, R2), (L3, R3)和(L4，R4)上且與超分辨率立體影像(SR_L，SR_R)上控制點(diǎn)對(duì)應(yīng)的同名像點(diǎn)坐標(biāo)以及立體影像(L1, R1)、(L2, R2)、(L3, R3)、(L4, R4)修正后的外方位位置和姿態(tài)代入共線方程進(jìn)行多基線交會(huì)計(jì)算，得到超分辨率立體影像(SR_L，SR_R)上控制點(diǎn)的三維坐標(biāo)；利用這些控制點(diǎn)的三維坐標(biāo)和超分辨率立體影像(SR_L，SR_R)上對(duì)應(yīng)的像點(diǎn)坐標(biāo)對(duì)虛擬立體相機(jī)進(jìn)行檢校，獲得虛擬立體相機(jī)的內(nèi)方位元素、外方位位置和外方位姿態(tài)；6)在超分辨率立體影像(SR_L，SR_R)上選擇三個(gè)以上控制點(diǎn)，利用控制點(diǎn)的三維坐標(biāo)以及虛擬立體相機(jī)的內(nèi)方位元素、外方位位置和外方位姿態(tài)分別對(duì)左影像SR_L和右影像SR_R建立再檢校的仿射變換模型，并利用最小二乘法計(jì)算得到仿射變換模型的再檢校系數(shù)；7)將由步驟5)得到的虛擬立體相機(jī)檢校的內(nèi)方位元素、外方位位置和外方位姿態(tài)、由步驟6)得到的超分辨率立體影像(SR_L，SR_R)中左影像SR_L和右影像SR_R的仿射變換模型的再檢校系數(shù)如a1； a2, b0, b1； b2和cQ, C1, c2, d0, dv d2以及超分辨率立體影像(SR_L, SR_R)上的待量測(cè)點(diǎn)的坐標(biāo)代入共線方程中進(jìn)行前方交會(huì)運(yùn)算，獲得待量測(cè)目標(biāo)的三維坐標(biāo)。
[0005]所述步驟2)中，獲得立體相機(jī)的內(nèi)方位元素以及立體相機(jī)中左右相機(jī)間的相對(duì)位置T(Vx，Vy，Vz)和姿態(tài)R，其包括以下步驟:①使用立體相機(jī)拍攝三維檢校場(chǎng)，得到三維檢校場(chǎng)的立體影像(Calib_L，Calib_R)，利用特征點(diǎn)匹配方法獲得三維檢校場(chǎng)的立體影像(Calib_L, Calib_R)中控制點(diǎn)的像點(diǎn)坐標(biāo)(xtL, ytL)和(xiE, yiE), t > 6 ;②將三維檢校場(chǎng)的立體影像(Calib_L，Calib_R)中控制點(diǎn)已知的三維坐標(biāo)(Xt，Yt，Zt)以及控制點(diǎn)的像點(diǎn)坐標(biāo)(xtL, ytL)和(xtK，ytK)代入共線方程,將控制點(diǎn)的像點(diǎn)坐標(biāo)(xtu ytI)和(xtK, ytK)代入小孔成像的畸變模型，并將共線方程和小孔成像的畸變模型二者處理后的結(jié)果進(jìn)行整體光束法平差計(jì)算，得到立體相機(jī)的內(nèi)方位元素、左影像Calib_L的外方位位置Tealib Yls, Zls)和姿態(tài)Rca^以及右影像Calib_R的外方位位置Tcalib K(XKs，Yes, Zes)和姿態(tài)Rcalibji 將左影像Calib_L的外方位位置Tcalib L(Xls，Yls, Zls)和姿態(tài)RCalib—l、右影像Calib_R的外方位位置Tcalib—R (XEs, Yes, Zes)和姿態(tài) RCalib_E 代入式
【權(quán)利要求】
1.一種基于超分辨率影像重建的三維量測(cè)方法，其包括以下步驟: 1)在四個(gè)攝站分別使用立體相機(jī)對(duì)待量測(cè)目標(biāo)進(jìn)行攝影，得到待量測(cè)目標(biāo)的四對(duì)立體影像(L1, R1) > (L2, R2) > (L3, R3)和(L4, R4);對(duì)四對(duì)立體影像(L1, R1) > (L2，R2)、(L3, R3)和(L4, R4)進(jìn)行影像配準(zhǔn)和影像恢復(fù)后得到待量測(cè)目標(biāo)的超分辨率立體影像(SR_L，SR_R)； 2)使用立體相機(jī)拍攝三維檢校場(chǎng)，根據(jù)三維檢校場(chǎng)的立體影像(Calib_L，Calib_R)計(jì)算得到立體相機(jī)的內(nèi)方位元素以及立體相機(jī)中左右相機(jī)間的相對(duì)位置T (Vx, VY, Vz)和姿態(tài)R； 3)以待量測(cè)目標(biāo)第一站左影像L1的中心為原點(diǎn)O，第一站左影像L1的東方向?yàn)閄軸，其北方向?yàn)閅軸，以垂直于XOY平面指向天空方向?yàn)閆軸，建立O-XYZ坐標(biāo)系，在O-XYZ坐標(biāo)系下，第一站左影像L1的外方位位置和外方位姿態(tài)分別為(0，0，0)和單位陣；根據(jù)第一站左影像L1的外方位位置和外方位姿態(tài)以及立體相機(jī)的左右相機(jī)間的相對(duì)位置T(VX，VY, Vz)和姿態(tài)R，得到第一站右影像R1的外方位位置和外方位姿態(tài)分別為T (VX，VY，Vz)和R;由第一站左影像L1的外方位位置和外方位姿態(tài)以及第一站右影像R1的外方位位置和外方位姿態(tài)得到第一站立體影像(L1, R1)的外方位位置和外方位姿態(tài)； 4)根據(jù)第一站立體影像U1)的外方位位置和外方位姿態(tài)以及四對(duì)立體影像(L1, R1)、(L2, R2)、(L3, R3)和(L4, R4)上的同名特征點(diǎn)，計(jì)算得到立體影像(L2, R2)、(L3, R3)和(L4, R4)修正后的外方位位置和外方位姿態(tài)； 5)將待量測(cè)目標(biāo)的超分辨率立體影像(SR_L，SR_R)視為由虛擬立體相機(jī)拍攝獲得，在超分辨率立體影像(SR_L，SR_R)上選定均勻分布的控制點(diǎn)； 將位于四對(duì)立體影像(L1Ah (L2, R2), (L3, R3)和(L4，R4)上且與超分辨率立體影像(SR_L, SR_R)上控制點(diǎn)對(duì)應(yīng)的同名像點(diǎn)坐標(biāo)以及立體影像(L1, R1)、(L2, R2)、(L3, R3)、(L4, R4)修正后的外方位位置和姿態(tài)代入共線方程進(jìn)行多基線交會(huì)計(jì)算，得到超分辨率立體影像(SR_L, SR_R)上控制點(diǎn)的三維坐標(biāo)； 利用這些控制點(diǎn)的三維坐標(biāo)和超分辨率立體影像(SR_L，SR_R)上對(duì)應(yīng)的像點(diǎn)坐標(biāo)對(duì)虛擬立體相機(jī)進(jìn)行檢校，獲得虛擬立體相機(jī)的內(nèi)方位元素、外方位位置和外方位姿態(tài)； 6)在超分辨率立體影像(SR_L，SR_R)上選擇三個(gè)以上控制點(diǎn)，利用控制點(diǎn)的三維坐標(biāo)以及虛擬立體相機(jī)的內(nèi)方位元素、外方位位置和外方位姿態(tài)分別對(duì)左影像右影像SR_R建立再檢校的仿射變換模型，并利用最小二乘法計(jì)算得到仿射變換模型的再檢校系數(shù)； 7)將由步驟5)得到的虛擬立體相機(jī)檢校的內(nèi)方位元素、外方位位置和外方位姿態(tài)、由步驟6)得到的超分辨率立體影像(SR_L，SR_R)中左影像SR_L和右影像SR_R的仿射變換模型的再檢校系數(shù)aQ, a1； a2, b0, bv 132和cQ, C1, c2, d0, dv d2以及超分辨率立體影像(SR_L, SR_R)上的待量測(cè)點(diǎn)的坐標(biāo)代入共線方程中進(jìn)行前方交會(huì)運(yùn)算，獲得待量測(cè)目標(biāo)的三維坐標(biāo)。
2.如權(quán)利要求1所述的一種基于超分辨率影像重建的三維量測(cè)方法，其特征在于:所述步驟2)中，獲得立體相機(jī)的內(nèi)方位元素以及立體相機(jī)中左右相機(jī)間的相對(duì)位置T (Vx, VY, Vz)和姿態(tài)R，其包括以下步驟: ①使用立體相機(jī)拍攝三維檢校場(chǎng)，得到三維檢校場(chǎng)的立體影像(Calib_L，Calib_R)，利用特征點(diǎn)匹配方法獲得三維檢校場(chǎng)的立體影像(Calib_L，Calib_R)中控制點(diǎn)的像點(diǎn)坐標(biāo)(XtL，y\l)和(XiR，YiR)，t〉6 ;②將三維檢校場(chǎng)的立體影像(Calib_L，Calib_R)中控制點(diǎn)已知的三維坐標(biāo)(Xt，Yt，Zt)以及控制點(diǎn)的像點(diǎn)坐標(biāo)(xtu ytI)和(xtK，ytK)代入共線方程,將控制點(diǎn)的像點(diǎn)坐標(biāo)(xtu ytI)和(xtK，ytK)代入小孔成像的畸變模型，并將共線方程和小孔成像的畸變模型二者處理后的結(jié)果進(jìn)行整體光束法平差計(jì)算，得到立體相機(jī)的內(nèi)方位元素、左影像Calib_L的外方位位置 TCalib—l(\s，Yls, Zls)和姿態(tài) Rcalib L 以及右影像 Calib_R 的外方位位置 Tcalib K(XKs，YEs, ZEs)和姿態(tài)Realibji ; ③將左影像Calib_L的外方位位置Tealibl(Xls，Yls, ZJ和姿態(tài)RCalib—l、右影像Calib_R的外方位位置Tealib K(XKs，Yes, Zes)和姿態(tài)Realibji代入式

3.如權(quán)利要求1或2所述的一種基于超分辨率影像重建的三維量測(cè)方法，其特征在于:所述步驟4)中，獲得立體影像(L2，R2)、(L3，R3)和(L4，R4)修正后的外方位位置和外方位姿態(tài)，其具體包括以下步驟: ①提取待量測(cè)目標(biāo)的四對(duì)立體影像(L1,R1K (L2, R2), (L3, R3)和(L4，R4)上的同名特征點(diǎn)，獲得特征點(diǎn)在立體影像(L1, R1)、(L2, R2)、(L3, R3)和(L4, R4)上的像點(diǎn)坐標(biāo)； ②將立體相機(jī)的內(nèi)方位元素、第一站立體影像(LpR1)上特征點(diǎn)的像點(diǎn)坐標(biāo)以及第一站立體影像(LpR1)的外方位位置和外方位姿態(tài)代入共線方程進(jìn)行前方交會(huì)運(yùn)算，得到第一站立體影像(LpR1)上若干特征點(diǎn)的三維坐標(biāo)； ③對(duì)第一站立體影像(L1,R1)上若干特征點(diǎn)的三維坐標(biāo)以及左影像L2、L3和L4上的特征點(diǎn)的像點(diǎn)坐標(biāo)進(jìn)行攝影測(cè)量后方交會(huì)運(yùn)算，依次得到左影像L2、L3和L4的外方位位置與外方位姿態(tài)i?”的初始值，i = 2,3,4； ④根據(jù)左影像L2、L3和L4的外方位位置纊〃與外方位姿態(tài)的初始值以及左右相機(jī)間的相對(duì)位置T (Vx, VY, Vz)和姿態(tài)R，得到右影像R2, R3和R4的外方位位置乃一與外方位姿態(tài)R 1的初始值分別為:

4.如權(quán)利要求1或2所述的一種基于超分辨率影像重建的三維量測(cè)方法，其特征在于:所述步驟6)中，對(duì)超分辨率立體影像(SR_L，SR_R)中左影像SR_L和右影像SR_R建立仿射變換模型的過程，其包括以下步驟: ①在超分辨率立體影像(SR_L，SR_R)上選擇與在立體影像(L1,R1)、(L2, R2)、(L3, R3)和(L4, R4)上提取的同名特征點(diǎn)相對(duì)應(yīng)的特征點(diǎn)，并將這些同名特征點(diǎn)作為控制點(diǎn)，利用多基線前方交會(huì)計(jì)算得到這些控制點(diǎn)的三維坐標(biāo)； ②將超分辨率立體影像(SR_L，SR_R)上控制點(diǎn)的三維坐標(biāo)以及虛擬立體相機(jī)的外方位位置和外方位姿態(tài)代入共線方程，計(jì)算得到控制點(diǎn)在超分辨率立體影像(SR_L，SR_R)上的像平面坐標(biāo)系oxy下的坐標(biāo)(X' 1； y' x)和(X' r, y' r)； ③將虛擬立體相機(jī)的內(nèi)方位元素、控制點(diǎn)在超分辨率立體影像(SR_L，SR_R)上的像平面坐標(biāo)系oxy下的坐標(biāo)U丨,,Jr 和(x’ r, y’ r)代入小孔成像的相機(jī)畸變模型，使用牛頓迭代法計(jì)算得到控制點(diǎn)在超分辨率立體影像(SR_L, SR_R)上的框標(biāo)坐標(biāo)系o’mn下的坐標(biāo)(In1, Ii1)和(mr, nr)； ④根據(jù)控制點(diǎn)在(SR_L，SR_R)影像上的框標(biāo)坐標(biāo)系o’mn下的量測(cè)坐標(biāo)(m'x)和(m’r，n’r)以及步驟③中計(jì)算得到的控制點(diǎn)在超分辨率立體影像(SR_L，SR_R)上的框標(biāo)坐標(biāo)系o’mn下的坐標(biāo)0?,?)和(1?, rO ,對(duì)超分辨率立體影像(SR_L, SR_R)中左影像SR_L和右影像SR_R分別建立仿射變換 模型:
5.如權(quán)利要求1或2所述的一種基于超分辨率影像重建的三維量測(cè)方法，其特征在于:所述步驟7)中，獲得待量測(cè)目標(biāo)的三維坐標(biāo)，其具體包括以下步驟: ①根據(jù)超分辨率立體影像(SR_L，SR_R)中左影像SR_I^P右影像SR_R的仿射變換模型的再檢校系數(shù)a0, a” a2, b0, hv b2和c0, C1, c2, d0, d” d2以及左影像SR_L和右影像SR_R在框標(biāo)坐標(biāo)系o’ mn下量測(cè)的像點(diǎn)坐標(biāo)和(HZ1)，計(jì)算得到待量測(cè)目標(biāo)在左影像SR_L和右影像SR_R的框標(biāo)坐標(biāo)系o’ mn下改正后的坐標(biāo)(x=:,_>，=)和分別為:
【文檔編號(hào)】G01C11/08GK103644897SQ201310692480
【公開日】2014年3月19日 申請(qǐng)日期:2013年12月17日 優(yōu)先權(quán)日:2013年12月17日
【發(fā)明者】邸凱昌, 彭嫚, 李力, 劉召芹, 孫義威 申請(qǐng)人:中國(guó)科學(xué)院遙感與數(shù)字地球研究所