對(duì)齊圖像的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理領(lǐng)域，并且更具體地，涉及一種對(duì)齊圖像的方法和裝置。
【背景技術(shù)】
[0002] 圖像對(duì)齊技術(shù)是圖像處理領(lǐng)域的基礎(chǔ)技術(shù)。隨著數(shù)字圖像的快速發(fā)展，出現(xiàn)了一 系列基于圖像對(duì)齊技術(shù)的應(yīng)用。這些應(yīng)用包括全景圖的生成，高動(dòng)態(tài)圖的生成，兩張圖像 的信息融合等，例如，用紅外圖像修復(fù)彩色圖像、用帶噪聲的圖像去除另一張彩色圖的模糊 等。
[0003] 隨著各種圖像采集設(shè)備的蓬勃發(fā)展，多模態(tài)多光譜圖像的對(duì)齊成為了一個(gè)新的問 題，這些多模態(tài)多光譜圖像包括近紅外圖像、彩圖圖像、深度圖像、核磁共振圖像以及超聲 圖像等。采集設(shè)備的不同以及采集場(chǎng)景的動(dòng)態(tài)性會(huì)導(dǎo)致采集到的圖像存在很大差異。圖1 示出了 4組常見的多模態(tài)多光譜圖像，從左到右：第1組為不同曝光度的圖像，第2組為彩 色和深度圖像，第3組為彩色和近紅外圖像，第4組為開閃光燈和不開閃光燈的圖像。從圖 1中可以看出，多模態(tài)多光譜圖像間主要存在以下的差別：
[0004] ?圖像間顏色反差大；
[0005] ?圖像間梯度大小和方向的反差大。
[0006]傳統(tǒng)的基于SIFT(尺度不變特征變換，Scale-invariantFeatureTransform)特 征點(diǎn)的對(duì)齊技術(shù)在圖像對(duì)齊領(lǐng)域具有廣泛的應(yīng)用。具體而言，該技術(shù)通過找SIFT特征點(diǎn)對(duì) 需要對(duì)齊的圖像進(jìn)行匹配。以兩張圖像為例，基于SIFT特征點(diǎn)的圖像對(duì)齊方法首先提取兩 張圖像的SIFT特征點(diǎn)向量，通過向量的歐式距離來尋找最近鄰，從而得到兩張圖像間的對(duì) 應(yīng)關(guān)系。但是，SIFT特征點(diǎn)與圖像的梯度大小方向有很大關(guān)系，也就是說，基于SIFT特征點(diǎn) 的圖像對(duì)齊技術(shù)很大程度上依賴圖像結(jié)構(gòu)相似區(qū)域在梯度大小方向的一致性。但是，從圖 1可以看出，多模態(tài)多光譜圖像在結(jié)構(gòu)相似區(qū)域的梯度方向，是存在較大反差的，因此，基于 SIFT特征點(diǎn)的圖像對(duì)齊技術(shù)不適用于多模態(tài)多光譜圖像的對(duì)齊。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明實(shí)施例提供了一種對(duì)齊圖像的方法和裝置，能夠提高圖像對(duì)齊的準(zhǔn)確性。
[0008] 第一方面，提供一種對(duì)齊圖像的方法，包括：獲取待對(duì)齊的兩個(gè)圖像的圖像信息， 其中，第一圖像的圖像信息包括所述第一圖像中像素點(diǎn)在選取的坐標(biāo)系中的坐標(biāo)，所述第 一圖像中像素點(diǎn)的像素值，以及所述第一圖像中像素點(diǎn)的像素值梯度，第二圖像的圖像信 息包括：所述第二圖像中像素點(diǎn)的像素值，以及所述第二圖像中像素點(diǎn)的像素值梯度，其 中，所述兩個(gè)圖像均位于所述坐標(biāo)系中；根據(jù)所述兩個(gè)圖像的圖像信息，通過互相關(guān)度量模 型，確定第一坐標(biāo)偏移量，所述第一坐標(biāo)偏移量用于指示所述兩個(gè)圖像間待對(duì)齊的像素點(diǎn) 在所述坐標(biāo)系中的位置偏差；根據(jù)所述第一圖像中像素點(diǎn)在所述坐標(biāo)系中的坐標(biāo)和所述第 一坐標(biāo)偏移量，對(duì)齊所述兩個(gè)圖像。
[0009] 結(jié)合第一方面，在第一方面的一種實(shí)現(xiàn)方式中，在根據(jù)所述兩個(gè)圖像的圖像信息， 通過互相關(guān)度量模型，確定第一坐標(biāo)偏移量之前，所述方法還包括：獲取第三圖像的圖像信 息，所述第三圖像的圖像信息包括：所述第三圖像中像素點(diǎn)的像素值，以及所述第三圖像中 像素點(diǎn)的像素值梯度，其中，所述第三圖像位于所述坐標(biāo)系中，且所述第一圖像和所述第三 圖像為待對(duì)齊的初始圖像；根據(jù)所述初始圖像的圖像信息，通過所述互相關(guān)度量模型，確定 坐標(biāo)變換矩陣，所述坐標(biāo)變換矩陣用于指示所述初始圖像間待對(duì)齊的像素點(diǎn)在所述坐標(biāo)系 中的空間位置關(guān)系；根據(jù)所述坐標(biāo)變換矩陣，確定第二坐標(biāo)偏移量，所述第二坐標(biāo)偏移量用 于指示所述初始圖像間的待對(duì)齊的像素點(diǎn)在所述坐標(biāo)系中的位置偏差；根據(jù)所述第二坐標(biāo) 偏移量和所述第三圖像中像素點(diǎn)的像素值，得到所述第二圖像。
[0010] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式 中，所述根據(jù)所述初始圖像的圖像信息，通過所述互相關(guān)度量模型，確定坐標(biāo)變換矩 陣，包括：通過計(jì)算
的最小值，確定所述坐標(biāo)變換矩陣，其中，
%
，Η表示所述坐標(biāo)變換矩陣，且Η 滿足[up，vp，1]T =[Vyp，1]Τ(Η-Ι)，I表示單位矩陣，ρ表示所述第一圖像中像素點(diǎn)在所述 坐標(biāo)系中的坐標(biāo)，χρ表示Ρ的橫坐標(biāo)，yp表示Ρ的縱坐標(biāo)，wp表示所述第二坐標(biāo)偏移量，up 表示wp的橫坐標(biāo)，Vp表示W(wǎng)p的縱坐標(biāo)，lliP表示所述第一圖像的以p為中心的圖像塊內(nèi)，各 像素點(diǎn)的像素值組成的一維列向量，表示所述圖像塊內(nèi)，各像素點(diǎn)的像素值梯度組成 的一維列向量，Γ1ιΡ表示所述圖像塊內(nèi)，各像素點(diǎn)的像素均值組成的一維列向量， 示所述圖像塊內(nèi)，各像素點(diǎn)的像素值梯度的均值組成的一維列向量，Ι3ιΡ表示所述第三圖像 的以P+Wp為中心的圖像塊內(nèi)，各像素點(diǎn)的像素值組成的一維列向量，夂表示所述以p+Wp 為中心的圖像塊內(nèi)，各像素點(diǎn)的像素值梯度組成的一維列向量，Γ3ιΡ表示所述以P+Wp為 中心的圖像塊內(nèi)，各像素點(diǎn)的像素均值組成的一維列向量，Wi,,表示所述以P+wp為中心的 圖像塊內(nèi)，各像素點(diǎn)的像素值梯度的均值組成的一維列向量，β和T為常數(shù)，β用于控制 函數(shù)Ρ (X)的形狀，τ*E2(p，wp)中(卜項(xiàng)的權(quán)重。
[0011] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述根據(jù)所述坐標(biāo)變換矩陣，確定第二坐標(biāo)偏移量，包括：根據(jù)公式[up，vp，1]T = [xp，yp，1] T(H_I)，確定所述第二坐標(biāo)偏移量。
[0012] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述根據(jù)所述第二坐標(biāo)偏移量和所述第三圖像中像素點(diǎn)的像素值，得到所述第二圖像，包括： 根據(jù)公式I2(p) =I3(p+wp)，得到所述第二圖像，其中，I2(p)表示所述第二圖像在ρ的像素 值，I3(P+wp)表示所述第三圖像在p+wp的像素值。
[0013] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述根據(jù)所述兩個(gè)圖像的圖像信息，通過互相關(guān)度量模型，確定第一坐標(biāo)偏移量，包括：根據(jù) 公式
1角定所述第一坐標(biāo)偏移 量，其中，
.，.
P = (Xp，yp)，W p = (U p，V P)
P表不 所述第一圖像的像素點(diǎn)在所述坐標(biāo)系中的坐標(biāo)，χρ表示P的橫坐標(biāo)，yp表示P的縱坐標(biāo)，W'p 表示所述第一坐標(biāo)偏移量，u'p表示w'p的橫坐標(biāo)，ν'p表示w'p的縱坐標(biāo)，Ι1ιΡ表示所述第一 圖像的以P為中心的圖像塊內(nèi)，各像素點(diǎn)的像素值組成的一維列向量，,表示所述圖像 塊內(nèi)，各像素點(diǎn)的像素值梯度組成的一維列向量，Γ1ιΡ表示所述圖像塊內(nèi)，各像素點(diǎn)的像 素均值組成的一維列向量，表示所述圖像塊內(nèi)，各像素點(diǎn)的像素值梯度的均值組成的 一維列向量，Ι2ιΡ表示所述第二圖像的以P+W'p為中心的圖像塊內(nèi)，各像素點(diǎn)的像素值組成 的一維列向量，表示所述以P+W'p為中心的圖像塊內(nèi)，各像素點(diǎn)的像素值梯度組成的 一維列向量，I' 2ιΡ表示所述以P+W'p為中心的圖像塊內(nèi)，各像素點(diǎn)的像素均值組成的一維列 向量，表示所述以P+W'p為中心的圖像塊內(nèi)，各像素點(diǎn)的像素值梯度的均值組成的一 維列向量，λρβ、λ2和τ為常數(shù)，λi和λ2為E3(W'p)中第二項(xiàng)和第三項(xiàng)的權(quán)重，β用 于控制函數(shù)Ρ(X)的形狀，τSE2(p，w'p)中項(xiàng)的權(quán)重，Ν(ρ)表示所述第 一圖像中像素點(diǎn)Ρ的相鄰像素點(diǎn)組成的集合，q表示所述集合中的任意像素點(diǎn)，wq表示q與q在所述第二圖像中的待對(duì)齊像素點(diǎn)之間的坐標(biāo)偏移量，ε為常數(shù)。
[0014] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式 中，所述互相關(guān)度量模型為：卜 !.ν,, >|h· |Φ.、
>ρ=
>Ρ表示所述第一圖像的像素點(diǎn)在所 述坐標(biāo)系中的坐標(biāo)，χρ表示Ρ的橫坐標(biāo)，yp表示Ρ的縱坐標(biāo)，wp表示所述第一坐標(biāo)偏移量，up表示wp的橫坐標(biāo)，vp表示wp的縱坐標(biāo)，Ι1ιΡ表示所述第一圖像的以ρ為中心的圖像塊內(nèi)， 各像素點(diǎn)的像素值組成的一維列向量，所述圖像塊內(nèi)，各像素點(diǎn)的像素值梯度組成的 一維列向量，Γ1ιΡ表示所述圖像塊內(nèi)，各像素點(diǎn)的像素均值組成的一維列向量，表示 所述圖像塊內(nèi)，各像素點(diǎn)的像素值梯度的均值組成的一維列向量，Ι2ιΡ表示所述第二圖像的 以P+Wp為中心的圖像塊內(nèi)，各像素點(diǎn)的像素值組成的一維列向量，表示所述以P+Wp為 中心的圖像塊內(nèi)，各像素點(diǎn)的像素值梯度組成的一維列向量，Γ2,p表示所述以P+Wp為中心 的圖像塊內(nèi)，各像素點(diǎn)的像素均值組成的一維列向量，表示所述以P+Wp為中心的圖像 塊內(nèi)，各像素點(diǎn)的像素值梯度的均值組成的一維列向量，β為權(quán)重，用于控制函數(shù)P (X)的 形狀。
[0015] 第二方面，提供一種對(duì)齊圖像的裝置，包括：第一獲取單元，用于獲取待對(duì)齊的兩 個(gè)圖像的圖像信息，其中，第一圖像的圖像信息包括所述第一圖像中像素點(diǎn)在選取的坐標(biāo) 系中的坐標(biāo)，所述第一圖像中像素點(diǎn)的像素值，以及所述第一圖像中像素點(diǎn)的像素值梯度， 第二圖像的圖像信息包括：所述第二圖像中像素點(diǎn)的像素值，以及所述第二圖像中像素點(diǎn) 的像素值梯度，其中，所述兩個(gè)圖像均位于所述坐標(biāo)系中；第一確定單元，用于根據(jù)所述兩 個(gè)圖像的圖像信息，通過互相關(guān)度量模型，確定第一坐標(biāo)偏移量，所述第一坐標(biāo)偏移量用于 指示所述兩個(gè)圖像間待對(duì)齊的像素點(diǎn)在所述坐標(biāo)系中的位置偏差；對(duì)齊單元，用于根據(jù)所 述第一圖像中像素點(diǎn)在所述坐標(biāo)系中的坐標(biāo)和所述第一坐標(biāo)偏移量，對(duì)齊所述兩個(gè)圖像。
[0016] 結(jié)合第二方面，在第二方面的一種實(shí)現(xiàn)方式中，所述裝置還包括：第二獲取單元， 用于獲取第三圖像的圖像信息，所述第三圖像的圖像信息包括：所述第三圖像中像素點(diǎn)的 像素值，以及所述第三圖像中像素點(diǎn)的像素值梯度，其中，所述第三圖像位于所述坐標(biāo)系 中，且所述第一圖像和所述第三圖像為待對(duì)齊的初始圖像；第二確定單元，用于根據(jù)所述初 始圖像的圖像信息，通過所述互相關(guān)度量模型，確定坐標(biāo)變換矩陣，所述坐標(biāo)變換矩陣用于 指示所述初始圖像間待對(duì)齊的像素點(diǎn)在所述坐標(biāo)系中的空間位置關(guān)系；第三確定單元，用 于根據(jù)所述坐標(biāo)變換矩陣，確定第二坐標(biāo)偏移量，所述第二坐標(biāo)偏移量用于指示所述初始 圖像間的待對(duì)齊的像素點(diǎn)在所述坐標(biāo)系中的位置偏差；第四確定單元，用于根據(jù)所述第二 坐標(biāo)偏移量和所述第三圖像中像素點(diǎn)的像素值，得到所述第二圖像。
[0017] 結(jié)合第二方面或其上述實(shí)現(xiàn)方式的任一種，在第二方面的另一種實(shí)現(xiàn)方式中，所 述第二確定單元具體用于通過計(jì)算
）:的最小值，確定所述坐標(biāo)變換矩 陣，其中，

?
Η表示所述坐標(biāo)變換矩陣，且Η 滿足[up，vp，1]T= [xp，yp，1]Τ(Η-Ι)，I表示單位矩陣，ρ表示所述第一圖像中像素點(diǎn)在所述 坐標(biāo)系中的坐標(biāo)，χρ表示Ρ的橫坐標(biāo)，yp表示Ρ的縱坐標(biāo)，wp表示所述第二坐標(biāo)偏移量，up 表示wp的橫坐標(biāo)，Vp表示W(wǎng)p的縱坐標(biāo)，lliP表示所述第一圖像的以p為中心的圖像塊內(nèi)，各 像素點(diǎn)的像素值組成的一維列向量，表示所述圖像塊內(nèi)，各像素點(diǎn)的像素值梯度組成 的一維列向量，Γ1ιΡ表示所述圖像塊內(nèi)，各像素點(diǎn)的像素均值組成的一維列向量，、表 示所述圖像塊內(nèi)，各像素點(diǎn)的像素值梯度的均值組成的一維列向量，I3,p表示所述第三圖像 的以P+Wp為中心的圖像塊內(nèi)，各像素點(diǎn)的像素值組成的一維列向量，表示所述以P+Wp 為中心的圖像塊內(nèi)，各像素點(diǎn)的像素