本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,特別涉及一種圖像中特征點的檢測方法及裝置、確定匹配點對的方法及裝置、圖像獲取方法及裝置以及X射線攝影系統(tǒng)。
背景技術(shù):
數(shù)字X射線攝影(DR,Digital Radiography)設備是計算機數(shù)字圖像處理技術(shù)與X射線放射技術(shù)相結(jié)合而形成的一種先進的醫(yī)療設備。數(shù)字X射線攝影設備因其輻射劑量小、影像質(zhì)量高、疾病的檢出率和診斷的準確性較高而被廣泛的應用。
在診斷脊椎前突、側(cè)彎、下肢畸形等骨科疾病,或者進行骨折復位、關(guān)節(jié)移位、截骨術(shù)和椎弓根螺釘插入時,需要醫(yī)學影像設備的輔助,而X射線攝影設備由于其成本低、劑量小、且能夠?qū)崿F(xiàn)無創(chuàng)可視化等優(yōu)點,目前成為上述診斷的首選設備。但是由于X射線攝影設備在平板尺寸方面的限制,其成像范圍難以覆蓋完整的脊椎或下肢區(qū)域。此時,通常通過對脊椎或四肢長骨采集圖像序列,利用圖像處理算法將圖像序列進行準確拼接,為醫(yī)生提供準確的影像信息,以完成對上述骨科疾病的診斷。
通過X射線攝影設備采集圖像時,相鄰兩次拍攝的人體解剖位有所不同,故采用的劑量也不同,因此相鄰圖像之間重疊區(qū)域的灰度差異也較大。且在拍攝圖像的過程中,為避免患者受到過多的輻射劑量,通常會通過限束器遮去不必要的原發(fā)X射線,其能將X射線照射野限制在所需的最小范圍,但是圖像中限束器覆蓋的區(qū)域會對精確拼接造成干擾。另外,為了保護受檢者,拍攝過程中也會盡量的降低輻射劑量,因此拍攝獲得的X射線圖像中噪聲干擾較大,圖像清晰度差。而在獲取多張圖像過程中受檢者也難以做到一直屏氣,難免會有輕微的呼吸或輕微移動,上述提及的都會對拼接算法的精度有所影響。此外,為避免要求受檢者長時間保持不動和屏氣,以及減少醫(yī)生的等待時間,提高診斷效率,也要求圖像拼接算法具有很快的執(zhí)行速度。
因此,能快速獲得拼接精度高的圖像是圖像拼接領(lǐng)域的技術(shù)難點。現(xiàn)有的對X射線圖像的拼接通常采用基于特征、基于灰度、基于變換域的拼接方法。對于基于特征的圖像拼接方法而言,其首先對待配準圖像進行預處理,提取特定的特征集;然后根據(jù)相似性度量函數(shù),對特征集的描述進行匹配,進而實現(xiàn)圖像的位置匹配?;谔卣鞯膱D像拼接方法對圖像的灰度變化具有較強的魯棒性,且采用基于特征的圖像拼接方法進行圖像拼接時,提取了待拼接圖像的顯著特征,在很大程度上壓縮了圖像的信息量,故采用該拼接方法計算量較小,執(zhí)行速度較快。對于基于灰度的圖像拼接方法而言,其主要是利用圖像的灰度信息,選擇一個合適的能夠度量圖像之間相似程度的代價函數(shù),然后采用某種搜索策略,取使該相似性代價函數(shù)值取得最值的對應變換模型的參數(shù)值。然而基于灰度的圖像拼接方法搜索最優(yōu)參數(shù)的過程計算量比較大,算法執(zhí)行時間長,對圖像噪聲的敏感性強,對圖像灰度依賴性比較強,且兩幅待拼接圖像重疊區(qū)域之間的灰度差異的大小將會影響拼接的精確度。而基于變換域的圖像拼接方法則是通過快速傅里葉變換將兩幅圖像從空間域變換到頻率域,通過兩幅圖像的互功率譜的相位直接計算出兩幅圖像的平移、旋轉(zhuǎn)和縮放的對應參數(shù),以實現(xiàn)圖像的拼接。然而基于變換域的圖像拼接方法受圖像邊緣顯著差異和噪聲等影響,有可能得不到正確的拼接參數(shù),故通?;谧儞Q域的圖像拼接方法較多應用于拼接初始時配準參數(shù)的確定。因此,目前較多采用基于特征的拼接方法以實現(xiàn)對X射線圖像的拼接。然而采用現(xiàn)有的基于特征的圖像拼接方法對X射線圖像進行拼接時,在對待拼接圖像中的特征點進行檢測時,檢測算法的復雜度高且檢測速度慢。此外采用現(xiàn)有的基于特征點的圖像拼接方法實現(xiàn)圖像拼接時,匹配點對中仍存在錯誤的匹配點對,匹配點對的準確度低,進而導致以基于特征的圖像拼接方法進行圖像拼接時,拼接獲得的圖像的拼接精度不高,對臨床診斷有一定的影響。
因此,如何能夠以較低的復雜度快速的檢測圖像中的特征點,簡單并準確地確定匹配點對,獲得拼接精度高的圖像,成為目前亟待解決的問題之一。
技術(shù)實現(xiàn)要素:
本發(fā)明要解決的問題是提供一種確定匹配點對的方法,以較低的復雜度和較小的計算量簡單快速準確的確定準確度高的匹配點對,以及提供一種拼接精度高的圖像獲取方法。
為解決上述問題,本發(fā)明技術(shù)方案提供一種確定匹配點對的方法,包括:
對第一圖像和第二圖像進行金字塔分解,基于分解后的第一圖像和第二圖像分別構(gòu)造與所述第一圖像對應的第一差分金字塔圖像以及與所述第二圖像對應的第二差分金字塔圖像;所述第一圖像和所述第二圖像為相鄰的圖像;
遍歷所述第一差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,遍歷所述第二差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點;所述極值點關(guān)聯(lián)于預設鄰域中的像素點的灰度值的絕對值;
去除所述第一差分金字塔圖像的極值點中為所述第一圖像強邊緣上的像素點以獲得所述第一圖像中的特征點;去除所述第二差分金字塔圖像的極值點中為所述第二圖像強邊緣上的像素點以獲得所述第二圖像中的特征點;
基于所述第一圖像中的特征點的特征向量及所述第二圖像中的特征點的特征向量,對所述第一圖像和所述第二圖像中的特征點進行雙向匹配以生成初始匹配點對;
去除所述初始匹配點對中錯誤的匹配點對以獲得匹配點對。
可選的,所述第一差分金字塔圖像的極值點是指每層差分金字塔圖像中像素點的灰度值的絕對值為所述像素點預設鄰域中像素點的灰度值的絕對值最大的像素點;所述第二差分金字塔圖像的極值點是指每層差分金字塔圖像中像素點的灰度值的絕對值為所述像素點預設鄰域中像素點的灰度值的絕對值最大的像素點。
可選的,所述第一差分金字塔圖像的極值點是指所述第一差分金字塔圖像中修正后的像素點P,修正后的像素點P是對像素點P的位置進行修正后獲得的,所述像素點P是指所述第一差分金字塔圖像的每層圖像中像素點的灰度值的絕對值為所述像素點預設鄰域中像素點的灰度值的絕對值最大的像素點;所述第二差分金字塔圖像的極值點是指所述第二差分金字塔圖像中修正后的像素點P,所述修正后的像素點P是對像素點P的位置進行修正后獲得的,像素點P是指所述第二差分金字塔圖像的每層圖像中像素點的灰度值的絕對值為所述像素點預設鄰域中像素點的灰度值的絕對值最大的像素點。
可選的,所述第一差分金字塔圖像的極值點是指對像素點P的灰度值的絕對值按照由大至小的順序排序后位于前N位的像素點P,所述像素點P是指所述第一差分金字塔圖像的每層圖像中像素點的灰度值的絕對值為所述像素點預設鄰域中像素點的灰度值的絕對值最大的像素點;所述第二差分金字塔圖像的極值點是指對像素點P的灰度值的絕對值按照由大至小的順序排序后位于前N位的像素點P,所述像素點P是指所述第二差分金字塔圖像的每層圖像中像素點的灰度值的絕對值為所述像素點預設鄰域中像素點的灰度值的絕對值最大的像素點。
可選的,所述基于所述第一圖像中的特征點的特征向量及所述第二圖像中的特征點的特征向量,對所述第一圖像和所述第二圖像中的特征點進行雙向匹配以生成初始匹配點對包括:
以所述第一圖像中的每一個特征點的特征向量與所述第二圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比為第一比值;
在所述第一比值小于第一閾值時,以與所述最小歐式距離對應的所述第一圖像中的特征點和所述第二圖像中的特征點為第三匹配點對,生成以該第三匹配點對為元素的第一集合;
以所述第二圖像中的每一個特征點的特征向量與所述第一圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比為第二比值;
在所述第二比值小于第二閾值時,以與所述最小歐式距離對應的所述第二圖像中的特征點和所述第一圖像中的特征點為第四匹配點對,生成以該第四匹配點對為元素的第二集合;
取所述第一集合和所述第二集合的交集以獲得所述第一圖像和所述第二圖像的初始匹配點對。
可選的,所述第一圖像中的每一個特征點的特征向量與所述第二圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比是指:所述第一圖像中的每一個特征點的特征向量與在所述第二圖像中與該特征點的橫坐標距離之差的絕對值小于第一預設距離且與該特征點屬于同一差分金字塔圖像層的特征點的特征向量之間的最小歐式距離和次小歐式距離的比;
所述第二圖像中的每一個特征點的特征向量與所述第一圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比是指:所述第二圖像中的每一個特征點的特征向量與在所述第一圖像中與該特征點的橫坐標距離之差的絕對值小于第二預設距離且與該特征點屬于同一差分金字塔圖像層的特征點的特征向量之間的最小歐式距離和次小歐式距離的比。
可選的,所述第一圖像中的每一個特征點的特征向量與所述第二圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比是指:所述第一圖像中的每一個特征點的特征向量與在所述第二圖像中與該特征點的縱坐標距離之差的絕對值小于第三預設距離且與該特征點屬于同一差分金字塔圖像層的特征點的特征向量之間的最小歐式距離和次小歐式距離的比;
所述第二圖像中的每一個特征點的特征向量與所述第一圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比是指:所述第二圖像中的每一個特征點的特征向量與在所述第一圖像中與該特征點的縱坐標距離之差的絕對值小于第四預設距離且與該特征點屬于同一差分金字塔圖像層的特征點的特征向量之間的最小歐式距離和次小歐式距離的比。
可選的,所述去除所述初始匹配點對中錯誤的匹配點對以獲得匹配點對包括:
計算所述第一圖像和所述第二圖像的初始匹配點對所在連線的斜率,以所述初始匹配點對所在連線的斜率為橫坐標,與所述斜率對應的初始匹配點對個數(shù)為縱坐標生成斜率直方圖;
確定所述斜率直方圖中初始匹配點對個數(shù)之和最大時所在簇的初始匹配點對為第一匹配點對;
以所述第一匹配點對的第一坐標之差為橫坐標,與第一坐標之差對應的第一匹配點對個數(shù)為縱坐標生成第一直方圖;
確定所述第一直方圖中第一匹配點對個數(shù)之和最大時所在簇的第一匹配點對為第二匹配點對;
以所述第二匹配點對的第二坐標之差為橫坐標,與第二坐標之差對應的第二匹配點對個數(shù)為縱坐標生成第二直方圖;
確定所述第二直方圖中第二匹配點對個數(shù)之和最大時所在簇的第二匹配點對為匹配點對。
可選的,通過如下方式計算所述第一圖像和所述第二圖像的初始匹配點對所在連線的斜率:
其中:Ki為第i對初始匹配點對所在連線的斜率、(x1i,y1i)、(x2i,y2i)為第i對初始匹配點對、(x1i,y1i)為所述第一圖像中的第i個初始匹配點的位置、(x2i,y2i)為所述第二圖像中的第i個初始匹配點的位置、W1為所述第一圖像的寬度。
為解決上述問題,本發(fā)明技術(shù)方案還提供一種圖像獲取方法,包括:
采用上述的確定匹配點對的方法確定第一圖像和第二圖像的匹配點對;
基于所述匹配點對之間的位置關(guān)系確定所述第一圖像和所述第二圖像之間的偏移;
根據(jù)所述第一圖像和所述第二圖像之間的偏移確定所述第一圖像和所述第二圖像的重疊區(qū)域;
根據(jù)所述重疊區(qū)域?qū)λ龅谝粓D像和所述第二圖像進行拼接。
與現(xiàn)有技術(shù)相比,本發(fā)明技術(shù)方案具有以下優(yōu)點:
先對所述圖像進行金字塔分解,基于分解后的圖像構(gòu)造差分金字塔圖像;然后遍歷所述差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,所述極值點關(guān)聯(lián)于預設鄰域中的像素點的灰度值的絕對值;最后去除所述極值點中為所述圖像強邊緣上的像素點以獲得所述圖像中的特征點。由于遍歷了所述差分金字塔圖像的每一層來搜索每層差分金字塔圖像中的極值點,相對于現(xiàn)有的以差分金字塔圖像所在空間來確定極值點的方法而言,檢測的復雜度低,進而在一定程度上提高了檢測特征點的速度,由于去除了極值點中為所述圖像強邊緣上的像素點,故可以獲得穩(wěn)定的特征點。
附圖說明
圖1是本發(fā)明實施例一的圖像中特征點的檢測方法的流程示意圖;
圖2是本發(fā)明實施例二的確定匹配點對的方法的流程示意圖;
圖3是本發(fā)明實施例二的特征點描述子示意圖;
圖4是本發(fā)明實施例三的確定匹配點對的方法的流程示意圖;
圖5是本發(fā)明實施例三的獲取第一圖像和第二圖像中初始匹配點對所在連線的斜率的示意圖;
圖6是本發(fā)明實施例四的圖像獲取方法的流程示意圖;
圖7-a至圖7-d是第一圖像和第二圖像之間的位置關(guān)系示意圖。
具體實施方式
為使本發(fā)明的上述目的、特征和優(yōu)點能夠更為明顯易懂,下面結(jié)合附圖對本發(fā)明的具體實施方式做詳細的說明。在以下描述中闡述了具體細節(jié)以便于充分理解本發(fā)明。但是本發(fā)明能夠以多種不同于在此描述的其它方式來實施,本領(lǐng)域技術(shù)人員可以在不違背本發(fā)明內(nèi)涵的情況下做類似推廣。因此本發(fā)明不受下面公開的具體實施方式的限制。
正如現(xiàn)有技術(shù)中所描述的,在對待拼接圖像中的特征點進行檢測時,現(xiàn)有的檢測算法復雜度高,且檢測速度慢,此外,在對檢測到的特征點進行匹配時,匹配點對的準確度不高,因此基于該匹配點對進行拼接,拼接后獲得的圖像的拼接精度低,對臨床診斷帶來了影響。
因此,發(fā)明人提出對現(xiàn)有的特征點檢測方法進行改進,并基于改進后的特征點檢測方法進一步的改進基于特征點來確定匹配點對的方法,改進基于特征的圖像拼接方法,以實現(xiàn)以較低的復雜度快速的檢測出圖像中的特征點,簡單快速準確地確定相鄰兩幅圖像之間的匹配點對,進而實現(xiàn)以較快的速度獲得拼接精度較高的圖像。
以下通過具體的實施例對本發(fā)明的技術(shù)方案進行詳細的說明。
實施例一
請參見圖1,圖1是本發(fā)明實施例一的圖像中特征點的檢測方法的流程示意圖;如圖1所示,本實施例的圖像中特征點的檢測方法包括:
S101:對所述圖像進行金字塔分解,基于分解后的圖像構(gòu)造差分金字塔圖像;
S102:遍歷所述差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,所述極值點關(guān)聯(lián)于預設鄰域中的像素點的灰度值的絕對值;
S103:去除所述極值點中為所述圖像強邊緣上的像素點以獲得所述圖像中的特征點。
執(zhí)行S101,對所述圖像進行金字塔分解,本實施例中是對所述圖像進行高斯金字塔分解,或者說建立所述圖像的高斯金字塔。并基于分解后的圖像構(gòu)造高斯差分金字塔圖像。本實施例中,對所述圖像進行高斯金字塔分解首先可以通過高斯函數(shù)與所述圖像進行卷積,得到不同尺度的高斯平滑圖像,然后對不同尺度的高斯平滑圖像進行降采樣以構(gòu)成高斯金字塔圖像。具體地,本實施例中,通過如下公式獲得高斯金字塔圖像:
L(x,y,σ)=G(x,y,σ)*I(x,y)
其中,I(x,y)為輸入圖像,G(x,y,σ)為高斯函數(shù),L(x,y,σ)為高斯金字塔圖像,σ為高斯核的尺度,(x,y)為像素點的坐標。
對于高斯函數(shù)G(x,y,σ)而言,(xi,yi)為高斯核的中心。本實施例中,隨著σ的逐漸增大,可以生成不同尺度的高斯平滑圖像,在σ逐漸增大的過程中,對所述高斯平滑圖像進行降采樣,經(jīng)過降采樣后的高斯平滑圖像構(gòu)成高斯金字塔圖像。本實施例中可以通過對σ的值的大小進行控制,以控制檢測到的特征點的數(shù)量,進而減少檢測所述特征點的時間。接下來,構(gòu)造所述高斯金字塔圖像的高斯差分金字塔圖像,高斯差分函數(shù)D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y)=G(x,y,kσ)*I(x,y)-G(x,y,σ)*I(x,y)。
由上述可知,G(x,y,σ)*I(x,y)為對所述圖像進行高斯金字塔分解后獲得的圖像,即L(x,y,σ)。故,所述圖像的高斯差分金字塔圖像為相鄰尺度的高斯金字塔圖像的差,也即:D(x,y,σ)=L(x,y,kσ)-L(x,y,σ)。
通過S101獲得了所述圖像的高斯差分金字塔圖像,接下來執(zhí)行S102,確定所述高斯差分金字塔圖像中的極值點,具體地,就是遍歷所述高斯差分金字塔圖像的每一層,搜索每一層的高斯差分金字塔圖像中存在的極值點,本實施例中,所述極值點關(guān)聯(lián)于預設鄰域中的像素點的灰度值的絕對值,本實施例中,所述極值點可以是每層差分金字塔圖像中像素點的灰度值的絕對值為所述像素點預設鄰域中像素點的灰度值的絕對值最大的像素點。所述預設鄰域的大小可根據(jù)實際的需求而定(如:最終要確定的特征點的強度以及特征點在所述圖像中所占區(qū)域的大小),本實施例中,所述預設鄰域可以為以該像素點為中心的八鄰域,也即以該像素點為中心的3×3的像素點陣列,還可以是以該像素點為中心的二十四鄰域,也即以該像素點為中心的5×5的像素點陣列。舉例來說,就是對每一層的高斯差分金字塔圖像而言,將該層中的每一個像素點的灰度值的絕對值與其周圍預定鄰域的像素點的灰度值的絕對值進行比較,當該像素點的灰度值的絕對值比其周圍的所有像素點的灰度值的絕對值都大時,則該像素點為該層高斯差分金字塔圖像中的極值點。
本實施例中,為了提高搜索到的極值點的準確度進而提高最終檢測到的圖像中的特征點的準確度,所述極值點還可以是修正后的像素點P,所述修正后的像素點P是對像素點P的位置進行修正后獲得的,所述像素點P是指每層差分金字塔圖像中像素點的灰度值的絕對值為所述像素點預設鄰域中像素點的灰度值的絕對值最大的像素點。此處的像素點P的獲得也是通過將每層差分金字塔圖像中的每一個像素點的灰度值的絕對值與其周圍預定鄰域的像素點的灰度值的絕對值進行比較,當該像素點的灰度值的絕對值比其周圍的所有像素點的灰度值的絕對值都大時,該像素點為像素點P。在獲得所述像素點P后,對其位置進行修正以獲得修正后的像素點P,本實施例中通過如下方式對所述像素點P的位置進行修正:
首先,先獲取偏移量,所述偏移量δ通過如下方式獲得:
其中:D為高斯差分函數(shù),X=(Δx,Δy,Δσ)T,Δx,Δy,Δσ分別為極值點的x坐標、y坐標以及σ與所述像素點P的xp坐標、yp坐標以及σp之差。
通過上述公式求解出δ后,將所述像素點P的xp坐標、yp坐標以及σp加上δ中與其對應的向量,則可以獲得修正后的像素點P的位置,也即極值點的位置。
本實施例中,為了控制檢測特征點時算法執(zhí)行的時間,提高檢測圖像中特征點的速度,所述極值點還可以是對像素點P的灰度值的絕對值按照由大至小的順序排序后位于前N位的像素點P,所述像素點P是指每層差分金字塔圖像中像素點的灰度值的絕對值為所述像素點預設鄰域中像素點的灰度值的絕對值最大的像素點。同樣地,此處的像素點P的獲得也是通過將每層差分金字塔圖像中的每一個像素點的灰度值的絕對值與其周圍預定鄰域的像素點的灰度值的絕對值進行比較,當該像素點的灰度值的絕對值比其周圍的所有像素點的灰度值的絕對值都大時,該像素點為像素點P。本實施例中,N的取值為經(jīng)驗值,通過對多幅圖像中檢測到的特征點的準確率和檢測特征點過程中算法執(zhí)行的時間進行折衷以最終獲得N值,本實施例中N的取值范圍可以為30~50,如N可以取40,對獲得的像素點P的灰度值的絕對值按照由大到小的順序進行排序,取像素點P的灰度值的絕對值位于前40位的像素點P作為極值點,去除像素點P中其他的特征較弱的像素點。
此外,本實施例中在確定極值點時,也可以是先對像素點P的灰度值的絕對值按照由大至小的順序進行排序,先取出像素點P的灰度值的絕對值位于前N位的像素點P,然后對位于前N位的像素點P的位置進行修正,最后將像素點P的灰度值的絕對值位于前N位且對這N個像素點P的位置進行修正后的像素點P作為極值點,采用該方式確定極值點,最終獲得的極值點的準確度高,且可以提高后續(xù)檢測圖像中特征點的速度。
通過S102獲得的極值點,若將其作為特征點,其中會包括不穩(wěn)定的特征點,故需要將不穩(wěn)定的特征點去除以獲得穩(wěn)定的特征點。因此,執(zhí)行S013去除所述極值點中為所述圖像強邊緣上的像素點以獲得所述圖像中穩(wěn)定的特征點。由于圖像強邊緣上的像素點在橫跨邊緣的方向有較大的主曲率,沿著垂直邊緣的方向主曲率則較小,因此可以通過主曲率來判斷極值點中那些像素點是所述圖像強邊緣上的像素點。此外,由于主曲率的大小和Hessian矩陣的特征值是呈正比的,所以本實施例中,可以通過計算Hessian矩陣的特征值來確定主曲率,進而確定位于所述圖像強邊緣上的像素點。
本實施例中,具體地,通過計算所述極值點在其預定領(lǐng)域的最大主曲率和最小主曲率,并根據(jù)二者的比值來確定該極值點是否是所述圖像強邊緣上的像素點。由上述可知,主曲率和Hessian矩陣的特征值成正比,因此最大主曲率和最小主曲率的比值可以通過計算Hessian矩陣的最大特征值和最小特征值的比值來獲得。本實施例中,Hessian矩陣如下所示:
其中:D為高斯差分函數(shù)
Dxx=D(y,x+1,σ)+D(y,x-1,σ)-2×D(x,y,σ)
Dyy=D(y+1,x,σ)+D(y-1,x,σ)-2×D(x,y,σ)
Dxy=0.25×[D(y+1,x+1,σ)+D(y-1,x-1,σ)-D(y+1,x-1,σ)-D(y-1,x+1,σ)]
(x,y)為所述極值點的坐標,計算上述的Hessian矩陣的最大特征值和最小特征值之間的比值,然后將所述比值與預設的閾值進行比較,所述預設的閾值根據(jù)經(jīng)驗而定,其關(guān)聯(lián)于剔除圖像強邊緣上像素點的準確程度,和剩余的像素點數(shù)量對后續(xù)算法執(zhí)行時間的影響。本實施例中所述預設的閾值的范圍可以為1~30,如:所述預設的閾值可以為20。由上述公式可以知曉當所述極值點在其2×2的鄰域的最大主曲率和最小主曲率的比值大于所述預設的閾值時,該極值點為所述圖像強邊緣上的像素點。通過對所述極值點在其2×2鄰域的最大主曲率和最小主曲率的比值的判斷,可以將S102中搜索到的極值點中存在的所述圖像強邊緣上的像素點進行去除,最終獲得較穩(wěn)定的特征點。
至此,通過上述的S01~S103實現(xiàn)了對圖像中特征點的檢測,由于遍歷了所述差分金字塔圖像的每一層來搜索每層差分金字塔圖像中的極值點,相對于現(xiàn)有的以差分金字塔圖像所在空間來確定極值點的方法而言,檢測的復雜度低,進而在一定程度上提高了檢測特征點的速度,由于去除了極值點中為所述圖像強邊緣上的像素點,故可以獲得穩(wěn)定的特征點。
此外,需要說明的是,在實際應用中對圖像中的特征點進行檢測時,根據(jù)不同的應用場景,可以對整幅圖像進行特征點檢測,也可以只針對部分圖像進行特征點檢測,例如:若對第一圖像和第二圖像進行特征點檢測后是應用于后續(xù)對第一圖像和第二圖像進行拼接,則在對第一圖像和第二圖像進行特征點檢測時,可以只針對第一圖像和第二圖像大致重疊的區(qū)域(初始重疊區(qū)域)在第一圖像中所在的區(qū)域進行特征點檢測,第一圖像和第二圖像的初始重疊區(qū)域在第二圖像中所在的區(qū)域進行特征點檢測。
對應于上述的圖像中特征點的檢測方法,本實施例還提供一種圖像中特征點的檢測裝置,所述圖像中特征點的檢測裝置包括:
分解單元,用于對所述圖像進行金字塔分解,基于分解后的圖像構(gòu)造差分金字塔圖像;
搜索單元,用于遍歷所述差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,所述極值點關(guān)聯(lián)于預設鄰域中的像素點的灰度值的絕對值;
第一去除單元,用于去除所述極值點中為所述圖像強邊緣上的像素點以獲得所述圖像中的特征點。
所述圖像中特征點的檢測裝置的具體實施可參考所述特征點的檢測方法的實施,在此不再贅述。
本實施例還提供一種X射線攝影系統(tǒng),包括上述的圖像中特征點的檢測裝置。
實施例二
本實施例提供一種確定匹配點對的方法,請參見圖2,圖2是本發(fā)明實施例二的確定匹配點對的方法的流程示意圖,如圖2所示,所述確定匹配點對的方法包括:
S101′:對第一圖像和第二圖像進行金字塔分解,基于分解后的第一圖像和第二圖像分別構(gòu)造與所述第一圖像對應的第一差分金字塔圖像以及與所述第二圖像對應的第二差分金字塔圖像;所述第一圖像和所述第二圖像為相鄰的圖像;
S102′:遍歷所述第一差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,遍歷所述第二差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,所述極值點關(guān)聯(lián)于預設鄰域中的像素點的灰度值的絕對值;
S103′:去除所述第一差分金字塔圖像的極值點中為所述第一圖像強邊緣上的像素點以獲得所述第一圖像中的特征點;去除所述第二差分金字塔圖像的極值點中為所述第二圖像強邊緣上的像素點以獲得所述第二圖像中的特征點;
S104:對所述第一圖像和所述第二圖像中的特征點進行匹配以生成初始匹配點對;
S105:以所述初始匹配點對的第一坐標之差為橫坐標,與第一坐標之差對應的初始匹配點對個數(shù)為縱坐標生成第一直方圖,確定所述第一直方圖中初始匹配點對個數(shù)之和最大時所在簇的初始匹配點對為第一匹配點對;
S106:以所述第一匹配點對的第二坐標之差為橫坐標,與第二坐標之差對應的第一匹配點對個數(shù)為縱坐標生成第二直方圖,確定所述第二直方圖中第一匹配點對個數(shù)之和最大時所在簇的第一匹配點對為匹配點對。
本實施例中,S101′~S103′檢測第一圖像中的特征點和檢測第二圖像中的特征點與實施例一中的S101~S103相類似,此處不再贅述,在檢測出所述第一圖像和所述第二圖像中的特征點后,執(zhí)行S104,對二者中的特征點進行匹配以生成初始匹配點對,具體地,本實施例中通過如下方式對所述第一圖像和第二圖像中的特征點進行匹配:
首先,獲取所述第一圖像和所述第二圖像中的特征點的特征向量,對于特征點的特征向量而言,通常是通過該特征點附近的像素點的信息來對該特征點的特征向量進行描述,本實施例中是用第一圖像中的特征點的預定鄰域的像素點的梯度、梯度幅值、梯度方向來對第一圖像中的特征點進行描述,也即所述第一圖像中的特征點的特征向量通過其預定鄰域的像素點的梯度、梯度幅值以及梯度向量來表征。
以下,以所述第一圖像為例,對第一圖像中的特征點的特征向量的獲取進行相應的說明。本實施例中以所述特征點為原點,以預定的長度為半徑形成以所述特征點為中心的預定鄰域,本實施例中,所述半徑radius可以通過如下公式獲得:
其中:σoct為所述特征點所在的差分金字塔圖像的高斯核的尺度,d為變量,其取值關(guān)聯(lián)于生成的特征向量對特征點鄰域描述的準確程度和算法執(zhí)行時間,d的范圍可以為2~8,本實施例中d=4。在確定了以所述特征點為中心的預定鄰域后,差分金字塔圖像中某一層的特征點在所述預定鄰域中的像素點的梯度gradI(x,y)、梯度幅值m(x,y)、梯度方向θ(x,y)分別通過如下公式獲得:
其中,I(x,y)為輸入圖像、gradI(x,y)為梯度、m(x,y)為梯度幅值、θ(x,y)為梯度方向、(x,y)為像素點的坐標。
計算了每一個特征點預定鄰域的像素點的梯度、梯度幅值以及梯度方向后,對預定鄰域的像素點的梯度方向和梯度幅值進行直方圖統(tǒng)計,以獲得該特征點的特征向量。本實施例中,以特征點的預定鄰域為8×8的單元(每一個單元代表一個像素點,特征點在8×8的單元的中心),也即預定鄰域為64個像素點為例來說明與該特征點對應的特征向量的獲得。請參見圖3,圖3是本發(fā)明實施例二的特征點描述子示意圖,圖3中左側(cè)所示為64個像素點(用64個單元格表示),每個像素點的梯度方向和梯度幅值通過圖3中左側(cè)所示的具有方向和大小的小箭頭表示,為了對64個像素點的梯度方向和梯度幅值進行直方圖統(tǒng)計,先將8×8的單元格分割成4個4×4的單元格,對4個4×4單元格里的像素點的梯度方向和梯度幅值進行直方圖統(tǒng)計,本實施例中對每一個4×4的單元格而言,分別繪制八方向的梯度分布直方圖,也就是說對于每一個4×4的單元格里的16個像素點,按照一定的規(guī)則來對這16個像素點的梯度方向和梯度幅值進行直方圖統(tǒng)計,如:將像素點的梯度方向最終統(tǒng)計在0°、45°、90°、135°、180°、225°、270°、315°和360°這8個方向上,而像素點的梯度方向為何值時將該梯度方向歸為上述8個方向之一,則可以根據(jù)預定的規(guī)則而定,如:當像素點的梯度方向大于0°小于45°時,將該像素點的梯度方向歸為45°,當像素點的梯度方向大于45°小于90°時,將該像素點的梯度方向歸為90°等,在將像素點的梯度方向歸為上述8個方向之一后,該方向上箭頭的長度則對應了不同像素點在該方向上的梯度幅值的疊加,將這4個4×4的單元格作為種子點,參見圖3所示,圖3中右側(cè)的單元格的中心(黑色的圓點)為特征點,為了體現(xiàn)不同像素點和特征點之間的距離,對每個像素點的梯度幅值附上高斯權(quán)重,于是一個特征點形成了8×4=32維向量,從而得到特征點的32維描述子:W=(w1,w2,…w32),此外為減輕不同特征點因光照不同對周圍區(qū)域造成的影響,對描述子進行標準化,本實施例中通過如下公式對上述的32維描述子進行標準化:
進而得到標準化以后的特征點的特征向量:L=(l1,l2,…l32)。至此通過特征點預定鄰域的像素點的梯度、梯度向量及梯度幅值對所述特征點進行了描述,獲得了所述特征點的特征向量。
同樣地,對于所述第二圖像中的特征點而言,也采用上述的方法獲得所述第二圖像中的特征點的特征向量。接下來基于所述第一圖像中的特征點的特征向量及所述第二圖像中的特征點的特征向量,對所述第一圖像和所述第二圖像中的特征點進行雙向匹配以生成初始匹配點對。
具體地,本實施例中采用如下方式對所述第一圖像和第二圖像中的特征點進行雙向匹配,首先:計算所述第一圖像中每一個特征點的特征向量與所述第二圖像中的特征點的特征向量之間的歐式幾何距離,舉例來說,第一圖像中的特征點的特征向量所在的集合為{a1、a2、a3…an}(集合中每一個特征向量為32維),第二圖像中的特征點的特征向量所在的集合{b1、b2、b3…bn}(集合中每一個特征向量為32維),則分別計算a1和b1、a1和b2、…a1和bn之間的歐式幾何距離,a2和b1、a2和b2、…a2和bn之間的歐式幾何距離,an和b1、an和b2、…an和bn之間的歐式幾何距離。對于a1而言其和b1、b2、b3…bn之間的歐式幾何距離中,存在一個最小歐式幾何距離和一個次小歐式幾何距離,計算二者之間的第一比值f1,同樣地對于a2而言其和b1、b2、b3…bn之間的歐式幾何距離中,也存在一個最小歐式幾何距離和一個次小歐式幾何距離,計算二者之間的第一比值f2,依此類推得到第一圖像中的每一個特征點的特征向量與第二圖像中的特征點的特征向量之間的最小歐式幾何距離和次小歐式幾何距離的第一比值,即f1、f2、f3、f4…fn。若f1、f2、f3、f4…fn中存在小于第一閾值的第一比值,則以與所述最小歐式幾何距離對應的所述第一圖像中的特征點和所述第二圖像中的特征點為第三匹配點對,舉例來說,若f4小于所述第一閾值,與f4對應的最小歐式幾何距離為特征向量a4與特征向量b12之間的歐式幾何距離,則所述第一圖像中的特征點4和所述第二圖像中的特征點12為第三匹配點對。對于所有小于所述第一閾值的第一比值,找出對應的特征點對以獲得第三匹配點對,所有的第三匹配點對組成了第一集合。本實施例中,所述第一閾值為經(jīng)驗值,關(guān)聯(lián)于匹配時第三匹配點對的準確度,本實施例中所述第一閾值的范圍可以為0.1~10,如所述第一閾值可以為6。
然后,同樣地計算所述第二圖像中每一個特征點的特征向量與所述第一圖像中的特征點的特征向量之間的歐式距離,即分別計算b1和a1、b1和a2、…b1和an之間的歐式幾何距離,b2和a1、b2和a2、…b2和an之間的歐式幾何距離,bn和a1、bn和a2、…bn和an之間的歐式幾何距離。對于b1而言其和a1、a2、a3…an之間的歐式幾何距離中,也存在一個最小歐式幾何距離和一個次小歐式幾何距離,計算二者之間的第二比值s1,依此類推得到第二圖像中的每一個特征點的特征向量與第一圖像中的特征點的特征向量之間的最小歐式幾何距離和次小歐式幾何距離的第二比值,即s1、s2、s3、s4…sn。若s1、s2、s3、s4…sn中存在小于第二閾值的第二比值,則以與所述最小歐式幾何距離對應的所述第二圖像中的特征點和所述第一圖像中的特征點為第四匹配點對,舉例來說,若s4小于所述第二閾值,與s4對應的最小歐式幾何距離為特征向量b4與特征向量a12之間的歐式幾何距離,則以所述第二圖像中的特征點4和所述第一圖像中的特征點12為第四匹配點對。對于所有小于所述第二閾值的第二比值,找出對應的特征點對以獲得第四匹配點對,所有的第四匹配點對組成了第二集合。本實施例中,所述第二閾值為經(jīng)驗值,關(guān)聯(lián)于匹配時第四匹配點對的準確度,本實施例中所述第二閾值的范圍可以為0.1~10,如所述第二閾值可以為5。
對上述的第一集合和第二集合取交集,交集中的匹配點對為所述第一圖像和所述第二圖像的初始匹配點對。通過雙向匹配的方式,可以提高匹配點對之間的匹配程度,因此最終獲得的初始匹配點對的匹配程度較好。
本實施例中,進行雙向匹配時,對于第一圖像中的每一個特征點的特征向量而言在計算其與第二圖像中的特征點的特征向量之間的歐式幾何距離時,是遍歷了第二圖像中所有的特征點的特征向量來進行計算的,同樣地,對于第二圖像中的每一個特征點的特征向量而言在計算其與第一圖像中的特征點的特征向量之間的歐式幾何距離時,是遍歷了第一圖像中所有的特征點的特征向量來進行計算的??紤]到實際的應用場景,所述第一圖像和所述第二圖像之間可能在水平方向整體偏移較大,在豎直方向的偏移非常小或者不存在;或者所述第一圖像和所述第二圖像之間可能在豎直方向整體偏移較大,在水平方向偏移非常小或者不存在。如:對于X射線攝影系統(tǒng)采集到的第一圖像和第二圖像而言,受檢者所在平面和探測器所在平面之間是平行的,第一圖像和第二圖像之間的放大率差異可以忽略不計,因此,第一圖像和第二圖像之間只存在位置上的平移關(guān)系,即第一圖像和第二圖像僅存在沿水平方向和豎直方向上的偏移,采用X射線攝影系統(tǒng)采集圖像時,探測器和球管可以沿立柱所在方向移動(通常也稱之為探測器和球管沿豎直方向移動),如:立位拍攝,也可以沿平床X軸所在方向移動(通常也稱之為探測器和球管沿水平方向移動),如:臥位拍攝。若探測器和球管沿立柱所在方向或平床X軸(長軸)所在方向移動時,探測器移動時所在導軌的精度足夠高,探測器在沿立柱所在方向移動的過程中在與其垂直的方向移動較小或者基本上沒有移動,探測器在沿平床X軸所在方向移動的過程中在與其垂直的方向移動較小或者基本上沒有移動,則第一圖像和第二圖像在與立柱所在方向垂直的方向或者在與平床X軸所在方向垂直的方向的偏移比較小或者基本上不存在,也即第一圖像和第二圖像之間僅在一個方向的偏移較大。
需要說明的是,本實施例中對于探測器和球管沿立柱所在方向移動,即立位拍攝,以立柱所在方向為豎直方向(縱坐標),與立柱所在方向垂直的方向為水平方向(橫坐標)進行說明,相應的立位拍攝時采集到的圖像的橫坐標和縱坐標與上述描述的方向相對應。對于探測器和球管沿水平方向移動,即臥位拍攝,以平床X軸所在方向為水平方向(橫坐標),與平床X軸所在方向垂直的方向為豎直方向(縱坐標),相應的以臥位拍攝時采集到的圖像的橫坐標和縱坐標與其描述的方向相對應。
本實施例中,若所述第一圖像和所述第二圖像之間可能在水平方向(橫坐標)整體偏移較大(例如:臥位拍攝),在豎直方向的偏移非常小或者不存在;此時在計算所述第一圖像中的每一個特征點的特征向量與所述第二圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比時,可以只計算所述第一圖像中的每一個特征點的特征向量與在所述第二圖像中與該特征點的縱坐標距離之差的絕對值小于第一預設距離的特征點的特征向量之間的最小歐式距離和次小歐式距離的比;所述第一預設距離關(guān)聯(lián)于匹配準確率和算法執(zhí)行時間的折衷以及不同系統(tǒng)的實際情況,所述第一預設距離的范圍可以為1~500個像素點,如所述第一預設距離可以為300個像素點。在計算所述第二圖像中的每一個特征點的特征向量與所述第一圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比時,可以只計算所述第二圖像中的每一個特征點的特征向量與在所述第一圖像中與該特征點的縱坐標距離之差的絕對值小于第二預設距離的特征點的特征向量之間的最小歐式距離和次小歐式距離的比;所述第二預設距離關(guān)聯(lián)于匹配準確率和算法執(zhí)行時間的折衷以及不同系統(tǒng)的實際情況,所述第二預設距離的范圍可以為1~500個像素點,如所述第二預設距離可以為300個像素點。舉例來說,若第一圖像中的特征點4的坐標為(x4,y4),第二圖像中的特征點12的坐標為(x12,y12),特征點21的坐標為(x21,y21),|y12-y4|、|y21-y4|均小于所述第一預設距離,則只計算第一圖像中特征點4的特征向量和第二圖像中特征點12以及特征點21的特征向量之間的最小歐式幾何距離和次小歐式幾何距離之比。
若所述第一圖像和所述第二圖像之間可能在豎直方向(縱坐標)整體偏移較大(例如:立位拍攝),在水平方向偏移非常小或者不存在;此時在計算所述第一圖像中的每一個特征點的特征向量與所述第二圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比時,可以只計算所述第一圖像中的每一個特征點的特征向量與在所述第二圖像中與該特征點的橫坐標距離之差的絕對值小于第三預設距離的特征點的特征向量之間的最小歐式距離和次小歐式距離的比;所述第三預設距離關(guān)聯(lián)于匹配準確率和算法執(zhí)行時間的折衷以及不同系統(tǒng)的實際情況,所述第三預設距離的范圍可以為1~500個像素點,本實施例中所述第三預設距離可以為100個像素點。在計算所述第二圖像中的每一個特征點的特征向量與所述第一圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比時,可以只計算所述第二圖像中的每一個特征點的特征向量與在所述第一圖像中與該特征點的橫坐標距離之差的絕對值小于第四預設距離的特征點的特征向量之間的最小歐式距離和次小歐式距離的比;所述第四預設距離關(guān)聯(lián)于匹配準確率和算法執(zhí)行時間的折衷以及不同系統(tǒng)的實際情況,所述第四預設距離的范圍可以為1~500個像素點,本實施例中所述第四預設距離可以為400個像素點。舉例來說,若第一圖像中的特征點4的坐標為(x4,y4),第二圖像中的特征點12的坐標為(x12,y12),特征點21的坐標為(x21,y21),|x12-x4|、|x21-x4|均小于所述第三預設距離,則只計算第一圖像中特征點4的特征向量和第二圖像中特征點12以及特征點21的特征向量之間的最小歐式幾何距離和次小歐式幾何距離之比。
此外,對于上述的X射線攝影系統(tǒng),由于受檢者所在平面和探測器所在平面之間平行,第一圖像和第二圖像之間的放大率差異可以忽略不計,此時在計算所述第一圖像中的每一個特征點的特征向量與所述第二圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比時,可以只計算所述第一圖像中的每一個特征點的特征向量與在所述第二圖像中與該特征點屬于同一差分金字塔圖像層的特征點的特征向量之間的最小歐式距離與次小歐式距離的比。舉例來說,所述第一圖像中的特征點4在差分金字塔圖像的第12層,而所述第二圖像中的特征點1、3、6、12、21也在差分金字塔圖像的第12層,因此可以只計算所述第一圖像中的特征點4的特征向量與所述第二圖像中的特征點1、3、6、12、21的特征向量之間的最小歐式幾何距離和次小歐式幾何距離的比。而在計算所述第二圖像中的每一個特征點的特征向量與所述第一圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比時,可以只計算所述第二圖像中的每一個特征點的特征向量與在所述第一圖像中與該特征點屬于同一差分金字塔圖像層的特征點的特征向量之間的最小歐式距離與次小歐式距離的比。
另外,由上述可知對于X射線攝影系統(tǒng)采集的圖像,第一圖像和第二圖像之間可能存在水平方向或豎直方向的偏移且二者之間的放大率差異可忽略不計,因此在對所述第一圖像和第二圖像中的特征點進行雙向匹配時,對于所述第一圖像和所述第二圖像之間在水平方向整體偏移較大,在豎直方向的偏移非常小或者不存在(例如:臥位拍攝),本實施例在計算所述第一圖像中的每一個特征點的特征向量與所述第二圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比時,還可以只計算所述第一圖像中的每一個特征點的特征向量與在所述第二圖像中與該特征點的縱坐標距離之差的絕對值小于第一預設距離且與該特征點屬于同一差分金字塔圖像層的特征點的特征向量之間的最小歐式距離和次小歐式距離的比;在計算所述第二圖像中的每一個特征點的特征向量與所述第一圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比時,還可以只計算所述第二圖像中的每一個特征點的特征向量與在所述第一圖像中與該特征點的縱坐標距離之差的絕對值小于第二預設距離且與該特征點屬于同一差分金字塔圖像層的特征點的特征向量之間的最小歐式距離和次小歐式距離的比。
同樣地,在對所述第一圖像和第二圖像中的特征點進行雙向匹配時,對于立位拍攝時,所述第一圖像和所述第二圖像之間在豎直方向整體偏移較大,在水平方向偏移非常小或者不存在;本實施例在計算所述第一圖像中的每一個特征點的特征向量與所述第二圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比時,還可以只計算所述第一圖像中的每一個特征點的特征向量與在所述第二圖像中與該特征點的橫坐標距離之差的絕對值小于第三預設距離且與該特征點屬于同一差分金字塔圖像層的特征點的特征向量之間的最小歐式距離和次小歐式距離的比;在計算所述第二圖像中的每一個特征點的特征向量與所述第一圖像中的特征點的特征向量之間的最小歐式距離與次小歐式距離的比時,還可以只計算所述第二圖像中的每一個特征點的特征向量與在所述第一圖像中與該特征點的橫坐標距離之差的絕對值小于第四預設距離且與該特征點屬于同一差分金字塔圖像層的特征點的特征向量之間的最小歐式距離和次小歐式距離的比。
本實施例中,在對所述第一圖像和所述第二圖像中的特征點進行雙向匹配時,根據(jù)不同的應用場景來計算所述第一圖像中的特征點的特征向量與所述第二圖像中的特征點的特征向量之間的最小歐式幾何距離和次小歐式幾何距離,可以提高特征點匹配的速度,進而也提高了確定匹配點對的速度,同時也可以提高匹配獲得的初始匹配點對的準確度。
至此通過上述步驟,實現(xiàn)了對S101′~S103′檢測出的所述第一圖像和所述第二圖像中的特征點的匹配,獲得了初始匹配點對。然而對于匹配獲得的初始匹配點對而言,其中會存在錯誤的匹配點對,因此,需要去除所述初始匹配點對中錯誤的匹配點對,本實施例中具體通過S105~S106來去除所述初始匹配點對中錯誤的匹配點對。
本實施例中,從第一圖像和第二圖像之間的位置關(guān)系的角度進行考慮,來去除所述初始配點對中可能存在的錯誤的匹配點對??紤]到第一圖像和第二圖像之間在水平方向和豎直方向可能均存在偏移,如采用上述的X射線攝影系統(tǒng)采集到的第一圖像和第二圖像,二者之間只存在位置上的平移關(guān)系,即第一圖像和第二圖像僅存在沿水平方向和豎直方向上的偏移,故可以根據(jù)第一圖像和第二圖像之間實際的位置關(guān)系來去除所述初始匹配點對中錯誤的匹配點對以獲得準確度高的匹配點對。
由上述可知,對于不同的拍攝體位,第一圖像和第二圖像之間在水平方向和豎直方向的偏移有所不同,對于立位拍攝而言,探測器和球管沿豎直方向移動,導軌只能保證第一圖像和第二圖像在水平(橫坐標)方向上不會出現(xiàn)較大的偏移,而在豎直(縱坐標)方向上,即使在特征點檢測和特征向量匹配相對準確的前提下,計算獲得的所有初始匹配點對的縱坐標之差會比所有初始匹配點對的橫坐標之差大,因此,初始匹配點對中真正的匹配點對(最終確定的匹配點對或稱之為正確的匹配點對)的縱坐標之差和錯誤的匹配點對的縱坐標之差的差異也會較大。而當探測器和球管沿水平方向移動時,導軌只能保證待第一圖像和第二圖像在豎直(縱坐標)方向上不會出現(xiàn)較大的偏移,而在水平(橫坐標)方向上,即使在特征點檢測和特征向量匹配相對準確的前提下,計算獲得的所有初始匹配點對的橫坐標之差會比所有初始匹配點對的縱坐標之差大,因此,初始匹配點對中真正的匹配點對(最終確定的匹配點對或稱之為正確的匹配點對)的橫坐標之差和錯誤的匹配點對的橫坐標之差的差異也會較大。
因此,對于探測器和球管沿豎直方向運動而言,對第一圖像和第二圖像中的特征點進行匹配,生成的初始匹配點對的縱坐標之差會比橫坐標之差大(豎直方向的偏移大于水平方向的偏移)。而對于探測器和球管沿水平方向運動而言,對第一圖像和第二圖像中的特征點進行匹配,生成的初始匹配點對的橫坐標之差會比縱坐標之差大(水平方向的偏移會大于豎直方向的偏移)。故,本實施例中在獲得所述第一圖像和第二圖像的初始匹配點對后,可以通過直方圖統(tǒng)計的方式分別從統(tǒng)計較相近的縱坐標之差對應的初始匹配點對個數(shù),較相近的橫坐標之差對應的初始匹配點對個數(shù)兩方面進行,以去除初始匹配點對中可能還存在的錯誤的匹配點對。
執(zhí)行S105:以所述初始匹配點對的第一坐標之差為橫坐標,與第一坐標之差對應的初始匹配點對個數(shù)為縱坐標生成第一直方圖,確定所述第一直方圖中初始匹配點對個數(shù)之和最大時所在簇的初始匹配點對為第一匹配點對;本實施例中,若是立位拍攝,則第一圖像和第二圖像之間在水平方向的偏移不大,在豎直方向的偏移較大,因此,初始匹配點對中正確的匹配點對的縱坐標之差和錯誤的匹配點對的縱坐標之差的差異也會較大,所以,對于立位拍攝而言,可以先對所述初始匹配點對的縱坐標之差進行直方圖統(tǒng)計以獲得第一匹配點對,具體的就是以所述初始匹配點對的縱坐標之差為橫坐標,與縱坐標之差對應的初始匹配點對個數(shù)為縱坐標生成第一直方圖,確定所述第一直方圖中初始匹配點對個數(shù)之和最大時所在簇的初始匹配點對為第一匹配點對。若是臥位拍攝,則第一圖像和第二圖像之間在豎直方向的偏移不大,在水平方向偏移較大,因此,初始匹配點對中正確的匹配點對的橫坐標之差和錯誤的匹配點對的橫坐標之差的差異也會較大,所以對于臥位拍攝而言,可以先對所述初始匹配點對的橫坐標之差進行直方圖統(tǒng)計以獲得第一匹配點對,具體的就是以所述初始匹配點對的橫坐標之差為橫坐標,與橫坐標之差對應的初始匹配點對個數(shù)為縱坐標生成第一直方圖,確定所述第一直方圖中初始匹配點對個數(shù)之和最大時所在簇的初始匹配點對為第一匹配點對。
以立位拍攝為例,第一圖像和第二圖像分別為I1和I2,在對I1和I2進行了特征點檢測和匹配以獲得初始匹配點對后,若在初始匹配點對中屬于I1的像素點的坐標為(x1i,y1i)、屬于I2的像素點的坐標為(x2i,y2i),(i∈[1,N],N為初始匹配點對的個數(shù)),以y2i-y1i為橫坐標,并對與y2i-y1i對應的初始匹配點對的個數(shù)進行統(tǒng)計,如:當初始匹配點對的縱坐標之差為6個像素單位時,與其對應的初始匹配點對的個數(shù)為20,根據(jù)該統(tǒng)計信息,生成以初始匹配點對的縱坐標之差為橫坐標,與該縱坐標之差對應的初始匹配點對的個數(shù)為縱坐標的第一直方圖,通過該第一直方圖中對初始匹配點對在不同縱坐標之差下所對應的初始匹配點對個數(shù)的統(tǒng)計,可以去除錯誤的初始匹配點對,這是因為對于通過S104匹配獲得的第一圖像和第二圖像的初始匹配點對而言,正確的匹配點對仍然占了大部分,因此,在所述第一直方圖中的一個簇中所包含的初始匹配點對個數(shù)最多時,其所在的簇所包含的初始匹配點對為正確的匹配點對的可能性最大,因此,保留所述第一直方圖中,初始匹配點對個數(shù)之和為最大時其所在簇中所包括的初始匹配點對,將其他簇中所包括的初始匹配點對作為錯誤的匹配點去除,并將保留的初始匹配點對作為第一匹配點對。
同樣地,對于臥位拍攝而言,通過S104匹配獲得的第一圖像和第二圖像的初始匹配點對中,正確的匹配點對仍然占了大部分,因此,在以所述初始匹配點對的橫坐標之差為橫坐標,與橫坐標之差對應的初始匹配點對個數(shù)為縱坐標生成第一直方圖中的一個簇中所包含的初始匹配點對個數(shù)最多時,其所在的簇所包含的初始匹配點對為正確的匹配點對的可能性最大,故保留所述第一直方圖中,初始匹配點對個數(shù)之和為最大時其所在簇中所包括的初始匹配點對,將其他簇中所包括的初始匹配點對作為錯誤的匹配點去除,并將保留的初始匹配點對作為第一匹配點對。
本實施例中,所述簇可以根據(jù)經(jīng)驗值而定也可以通過實驗獲得,也即在生成所述第一直方圖之前,需根據(jù)經(jīng)驗值或者實驗獲得的值對簇的寬度進行定義。本實施例中,所述簇的寬度可以在4~6個像素點之間。
通過執(zhí)行S105去除了縱坐標之差不屬于計算出的大部分的初始匹配點對的縱坐標之差的那部分,或者橫坐標之差不屬于計算出的大部分的初始匹配點對的橫坐標之差的部分,也即去除了所述初始匹配點對中錯誤的匹配點對以獲得第一匹配點對。本實施例中不管是立位拍攝還是臥位拍攝,其在水平方向和豎直方向均存在偏移,在去除了所述第一圖像和所述第二圖像沿一個方向可能存在的錯誤的匹配點對后,執(zhí)行S106,去除二者之間沿另一個方向可能存在的錯誤的匹配點對,也即以所述第一匹配點對的第二坐標之差為橫坐標,與第二坐標之差對應的第一匹配點對個數(shù)為縱坐標生成第二直方圖,同樣地,對于在所述初始匹配點對中去除了部分錯誤的匹配對后獲得的第一匹配點對而言,在所述第一匹配點對中正確的匹配點對仍然是占大部分的,因此,在所述第二直方圖中第一匹配點對個數(shù)之和最大時,其所在簇所包含的第一匹配點對為正確的匹配點對(最終確定的匹配點對)的可能性也是最大的,因此,保留所述第二直方圖中,第一匹配點對個數(shù)之和為最大時其所在簇中所包括的第一匹配點對,將其他簇中所包括的第一匹配點對作為錯誤的匹配點對去除,并將保留的第一匹配點對作為匹配點對。本實施例中,若是立位拍攝則所述第二坐標為橫坐標,即生成以橫坐標之差為橫坐標,與橫坐標之差對應的第一匹配點對個數(shù)為縱坐標的第二直方圖。若是臥位拍攝則所述第二坐標為縱坐標,即生成以縱坐標之差為橫坐標,與縱坐標之差對應的第一匹配點對個數(shù)為縱坐標的第二直方圖。最終在所述第二直方圖中,確定第一匹配點對個數(shù)之和最大時所在簇的第一匹配點對為匹配點對,所述簇的寬度可以在4~6個像素點之間。通過執(zhí)行S106,去除了橫坐標之差不屬于計算出的大部分的第一匹配點對的橫坐標之差的那部分,或者縱坐標之差不屬于計算出的大部分的第一匹配點對的縱坐標之差的部分,也即去除了所述第一匹配點對中錯誤的匹配點對以獲得匹配點對。
需要說明的是,在實際去除所述初始匹配點對中的錯誤的匹配點對的過程中,可能會出現(xiàn)第一直方圖中不同簇中所包含的初始匹配點對個數(shù)相同的情況,此時需要對第一直方圖進行均值濾波,在對經(jīng)過了均值濾波后的第一直方圖中保留初始匹配點對個數(shù)之和為最大時其所在簇中所包含的初始匹配點對為第一匹配點對,然后以該第一匹配點對的第二坐標之差為橫坐標,與第二坐標之差對應的該第一匹配點對個數(shù)為縱坐標生成第二直方圖,若所述第二直方圖中也存在不同簇中所包含的第一匹配點對個數(shù)相同的情況,此時也需對所述第二直方圖進行均值濾波,確定經(jīng)過了均值濾波的第二直方圖中第一匹配點對個數(shù)之和為最大時其所在簇中所包含的第一匹配點對為匹配點對。
本實施例中,對于不同體位的拍攝,從第一圖像和第二圖像之間的位置關(guān)系的角度進行了考慮,先對所述初始匹配點對的第一坐標之差進行直方圖統(tǒng)計以去除其中錯誤的匹配點對來獲得第一匹配點對,再對獲得的第一匹配點對的第二坐標之差進行直方圖統(tǒng)計以進一步的去除可能仍然存在的錯誤的匹配點對,篩選出準確的匹配點對,因此提高了最終獲得的匹配點對的準確度,且采用直方圖統(tǒng)計的方式在初始匹配點對中確定匹配點對方法簡單計算量小。
此外,本實施例中,所述第一圖像和第二圖像除了在水平方向和豎直方向存在整體偏移外,還可能存在第一圖像和第二圖像在豎直方向存在較大偏移在水平方向不存在偏移或者偏移較小,或者第一圖像和第二圖像在水平方向存在較大偏移在豎直方向不存在偏移或者偏移較小。例如:對于上述的X射線攝影系統(tǒng),當探測器和球管沿豎直方向移動(立位拍攝),或者沿水平方向移動(臥位拍攝)時,若探測器移動時所在導軌的精度足夠高,探測器在沿豎直方向移動的過程中在水平方向移動較小或者基本上沒有移動,探測器在沿水平方向移動的過程中在豎直方向移動較小或者基本上沒有移動,則第一圖像和第二圖像之間可能出現(xiàn)僅在一個方向的偏移較大,在另外一個方向的偏移較小或者基本上不存在,此時初始匹配點對在一個方向或者說沿一個坐標的偏移接近零,此時可以從統(tǒng)計較相近的縱坐標之差對應的初始匹配點對個數(shù),或者從統(tǒng)計較相近的橫坐標之差對應的初始匹配點對個數(shù)來去除初始匹配點對中存在的錯誤的匹配點對。
具體的,本實施例中以所述初始匹配點對的坐標之差為橫坐標,與坐標之差對應的初始匹配點對個數(shù)為縱坐標生成直方圖,確定所述直方圖中初始匹配點對個數(shù)之和最大時所在簇的初始匹配點對為匹配點對。同樣地,對于在這種應用場景下檢測到的初始匹配點對中,占了大部分的仍然是正確的匹配點對,因此,在所述直方圖中的一個簇中所包含的初始匹配點對個數(shù)最多時,其所在的簇所包含的初始匹配點對為正確的匹配點對的可能性最大,故保留直方圖中初始匹配點對個數(shù)之和為最大時其所在簇中所包括的初始匹配點對,將其他簇中所包括的初始匹配點對作為錯誤的匹配點對去除。本實施例中,對于第一圖像和第二圖像在豎直方向存在較大偏移在水平方向不存在偏移或者偏移較小(立位拍攝),所述坐標為縱坐標;對于第一圖像和第二圖像在水平方向存在較大偏移在豎直方向不存在偏移或者偏移較小(臥位拍攝),所述坐標為橫坐標;所述簇的寬度在生成所述直方圖之前,需根據(jù)經(jīng)驗值或者實驗獲得的值進行定義。本實施例中,所述簇的寬度可以在4~6個像素點之間。
至此,通過上述的S101'~S106實現(xiàn)了對第一圖像和第二圖像中的匹配點對的確定,由于確定匹配點對的過程中,特征點的檢測復雜度低速度快,因此在一定程度上也降低了確定匹配點對的復雜度,提高了確定匹配點對的速度。由于檢測到的特征點較穩(wěn)定,因此也提高了匹配獲得的初始匹配點對的準確度,此外在去除所述初始匹配點對中錯誤的匹配點對時,從第一圖像和第二圖像之間的位置關(guān)系的角度考慮,進而通過直方圖統(tǒng)計的方式確定匹配點對,方法簡單,計算量小,獲得的匹配點對的準確度高。因此,本實施例確定匹配點對的方法,在一定程度上降低了確定匹配點對的復雜度,在一定程度上提高了確定匹配點對的速度,且最終獲得的匹配點對的準確度高。
對應于上述的確定匹配點對的方法,本實施例還提供一種確定匹配點對的裝置,所述確定匹配點對的裝置包括:
分解單元,用于對第一圖像和第二圖像進行金字塔分解,基于分解后的第一圖像和第二圖像分別構(gòu)造與所述第一圖像對應的第一差分金字塔圖像以及與所述第二圖像對應的第二差分金字塔圖像;所述第一圖像和所述第二圖像為相鄰的圖像;
搜索單元,用于遍歷所述第一差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,遍歷所述第二差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點;所述極值點關(guān)聯(lián)于預設鄰域中的像素點的灰度值的絕對值;
第一去除單元,用于去除所述第一差分金字塔圖像的極值點中為所述第一圖像強邊緣上的像素點以獲得所述第一圖像中的特征點;去除所述第二差分金字塔圖像的極值點中為所述第二圖像強邊緣上的像素點以獲得所述第二圖像中的特征點;
匹配單元,用于對所述第一圖像和所述第二圖像中的特征點進行匹配以生成初始匹配點對;
第一直方圖生成單元,用于以所述初始匹配點對的第一坐標之差為橫坐標,與第一坐標之差對應的初始匹配點對個數(shù)為縱坐標生成第一直方圖;
第一匹配點對確定單元,用于確定所述第一直方圖中初始匹配點對個數(shù)之和最大時所在簇的初始匹配點對為第一匹配點對;
第二直方圖生成單元,用于以所述第一匹配點對的第二坐標之差為橫坐標,與第二坐標之差對應的第一匹配點對個數(shù)為縱坐標生成第二直方圖;
匹配點對確定單元,用于確定所述第二直方圖中第一匹配點對個數(shù)之和最大時所在簇的第一匹配點對為匹配點對。
本實施例的確定匹配點對的裝置,去除所述初始匹配點對中錯誤的匹配點對以獲得匹配點對的第二去除單元包括:第一直方圖生成單元、第一匹配點對確定單元、第二直方圖生成單元和匹配點對確定單元。所述確定匹配點對的裝置的具體實施可參考所述確定匹配點對的方法的實施,在此不再贅述。
本實施例還提供一種X射線攝影系統(tǒng),包括上述的確定匹配點對的裝置。
實施例三
本實施例提供一種確定匹配點對的方法,與實施例二不同的是,本實施例中去除所述初始匹配點對中錯誤的匹配點對的方法與實施例二中不同,請參見圖4,圖4是本發(fā)明實施例三的確定匹配點對的方法的流程示意圖;本實施例中,所述確定匹配點對的方法包括:
S101′:對第一圖像和第二圖像進行金字塔分解,基于分解后的第一圖像和第二圖像分別構(gòu)造與所述第一圖像對應的第一差分金字塔圖像以及與所述第二圖像對應的第二差分金字塔圖像;所述第一圖像和所述第二圖像為相鄰的圖像;
S102′:遍歷所述第一差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,遍歷所述第二差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,所述極值點關(guān)聯(lián)于預設鄰域中的像素點的灰度值的絕對值;
S103′:去除所述第一差分金字塔圖像的極值點中為所述第一圖像強邊緣上的像素點以獲得所述第一圖像中的特征點;去除所述第二差分金字塔圖像的極值點中為所述第二圖像強邊緣上的像素點以獲得所述第二圖像中的特征點;
S104:對所述第一圖像和所述第二圖像中的特征點進行匹配以生成初始匹配點對;
S105':計算所述第一圖像和第二圖像的初始匹配點對所在連線的斜率,以所述初始匹配點對所在連線的斜率為橫坐標,與所述斜率對應的初始匹配點對個數(shù)為縱坐標生成斜率直方圖;
S106':確定所述斜率直方圖中初始匹配點對個數(shù)之和最大時所在簇的初始匹配點對為第一匹配點對;
S107:以所述第一匹配點對的第一坐標之差為橫坐標,與第一坐標之差對應的第一匹配點對個數(shù)為縱坐標生成第一直方圖,確定所述第一直方圖中第一匹配點對個數(shù)之和最大時所在簇的第一匹配點對為第二匹配點對;
S108:以所述第二匹配點對的第二坐標之差為橫坐標,與第二坐標之差對應的第二匹配點對個數(shù)為縱坐標生成第二直方圖,確定所述第二直方圖中第二匹配點對個數(shù)之和最大時所在簇的第二匹配點對為匹配點對。
本實施例中S101′~S104生成所述第一圖像和所述第二圖像的初始匹配點對與實施例二中相類似,此處不再贅述,本實施例中,在去除所述第一圖像和所述第二圖像的初始匹配點對中錯誤的匹配點對時,考慮到對于第一圖像和第二圖像而言,具有相同特性的特征點之間的連線應平行,如:對于通過X射線攝影系統(tǒng)采集到的第一圖像和第二圖像,二者在相同解剖結(jié)構(gòu)上的特征點之間的連線應平行,或者說第一圖像和第二圖像之間的正確的匹配點對之間連線所具有的平行特性(也即正確的匹配點對所在連線的斜率相同或者非常接近),非相同解剖結(jié)構(gòu)上的特征點之間的連線會呈現(xiàn)雜亂無章的狀態(tài)(第一圖像和第二圖像之間錯誤的匹配點對之間的連線呈雜亂無章狀態(tài),也即錯誤的匹配點對所在連線的斜率呈不同值),因此,本實施例中,先對初始匹配點對之間的斜率進行直方圖統(tǒng)計,以通過斜率直方圖來對生成的初始匹配點對進行篩選以去除其中錯誤的匹配點對,然后再從第一圖像和第二圖像之間的位置關(guān)系角度進行考慮,來對第一圖像和第二圖像的初始匹配點對中錯誤的匹配點對進行進一步的去除,以下以第一圖像和第二圖像為X射線攝影系統(tǒng)采集到的圖像為例,對去除初始匹配點對中錯誤的匹配點對的過程進行說明,但本發(fā)明的技術(shù)方案對此不做限定。
執(zhí)行S105':計算所述第一圖像I1和所述第二圖像I2中初始匹配點對所在連線的斜率,參見圖5,圖5是本發(fā)明實施例三的獲取第一圖像和第二圖像中初始匹配點對所在連線的斜率的示意圖,如圖5所示:本實施例中所述第一圖像I1與所述第二圖像I2緊鄰且沿水平方向并列放置,I1的左上角為坐標原點,I1的水平邊界(水平邊界的長度為I1的寬W1)與X軸重合,豎直邊界(豎直邊界的長度為所述I1和I2沿豎直方向的高度)與Y軸重合,I2的水平邊界也與X軸重合。像素點P1和P2為初始匹配點對,其中像素點P1位于I1中,其坐標為(x11,y11),像素點P2位于I2中,由于I1和I2并列放置,因此,在如圖5所示的坐標系中,像素點P2的坐標為(x21+W1,y22),m1為像素點P1和像素點P2之間的連線,則m1的斜率可以通過如下公式獲得:
對于I1和I2中的所有的初始匹配點對而言,二者之間連線的斜率則可以通過如下公式獲得:
其中:Ki為第i對初始匹配點對所在連線的斜率、(x1i,y1i)、(x2i,y2i)為第i對初始匹配點對、(x1i,y1i)為所述第一圖像I1中的第i個初始匹配點的位置、(x2i,y2i)為所述第二圖像I2中的第i個初始匹配點的位置、W1為所述第一圖像I1的寬度。
通過上述公式可以得到所述第一圖像I1和所述第二圖像I2中的初始匹配點對所在連線的斜率,以計算獲得的斜率為橫坐標,與該斜率對應的初始匹配點對的個數(shù)為縱坐標生成斜率直方圖。舉例來說,初始匹配點對P1和P2之間連線的斜率為對與對應的初始匹配點對的個數(shù)進行統(tǒng)計,繼續(xù)參見圖5,圖5中與m1平行的m2、m3、m4的斜率均與相同,因此,圖5中與對應的初始匹配點對的個數(shù)為4個。根據(jù)該統(tǒng)計信息,即可建立斜率和初始匹配點對之間的映射關(guān)系,獲得斜率直方圖。通過該斜率直方圖中對不同斜率下所對應的初始匹配點對個數(shù)的統(tǒng)計,可以去除部分錯誤的匹配點對,這是因為通過S104匹配獲得的初始匹配點對中,正確的匹配點對仍然占了大部分,因此,在所述斜率直方圖中的一個簇中所包含的初始匹配點對個數(shù)最多時,其所在的簇所包含的初始匹配點對為正確的匹配點對的可能性也最大。
因此,執(zhí)行S106',確定所述斜率直方圖中初始匹配點對個數(shù)之和最大時所在簇的初始匹配點對為第一匹配點對。也即保留斜率直方圖中,初始匹配點對個數(shù)之和為最大時其所在簇中所包括的初始匹配點對,將其他簇中所包括的初始匹配點對作為錯誤的匹配點對去除。本實施例中,所述簇可以根據(jù)經(jīng)驗值而定也可以通過實驗獲得,也即在生成所述斜率直方圖之前,需根據(jù)經(jīng)驗值或者實驗獲得的值對簇的寬度進行定義。本實施例中,所述簇的寬度可以在4~6個像素點之間。對于圖5而言,就是保留了圖5中與m1、m2、m3、m4對應的初始匹配點對,去除與m5、m6對應的初始匹配點對。
需要說明的是,本實施例中,是以圖5所示的方式建立坐標系以獲得所述第一圖像和第二圖像中初始匹配點對所在連線的斜率,在其他實施例中,所述第一圖像和第二圖像也可以沿豎直方向上下放置,此時,在該坐標系下所述第一圖像和所述第二圖像的初始匹配點對所在連線的斜率的表達方式與上述也略有不同,但是對于所述第一圖像和所述第二圖像而言,不論以何種方式建立坐標系,最終生成的斜率直方圖中,保留的初始匹配點對個數(shù)之和最大時所在簇的初始匹配點對均應相同。因此,本實施例中所述第一圖像和所述第二圖像的初始匹配點對所在連線的斜率的計算方式不應作為對本發(fā)明技術(shù)方案的限定。
由實施例二可知,所述第一圖像和所述第二圖像可能在水平和豎直方向均存在偏移,仍以X射線攝影系統(tǒng)為例,探測器和球管沿豎直方向運動時,對第一圖像和第二圖像中的特征點進行匹配,生成的初始匹配點對的縱坐標之差會比橫坐標之差大(豎直方向的偏移大于水平方向的偏移)。而探測器和球管沿水平方向運動時,對第一圖像和第二圖像中的特征點進行匹配,生成的初始匹配點對的橫坐標之差會比縱坐標之差大(水平方向的偏移會大于豎直方向的偏移)。
故,在通過斜率直方圖去除了初始匹配點對中的錯誤匹配點對獲得第一匹配點對后,可以通過直方圖統(tǒng)計的方式分別從統(tǒng)計較相近的縱坐標之差對應的第一匹配點對個數(shù),較相近的橫坐標之差對應的第一匹配點對個數(shù)兩方面進行,以去除第一匹配點對中可能還存在的錯誤的匹配點對。執(zhí)行S107:以所述第一匹配點對的第一坐標之差為橫坐標,與第一坐標之差對應的第一匹配點對個數(shù)為縱坐標生成第一直方圖,確定所述第一直方圖中第一匹配點對個數(shù)之和最大時所在簇的第一匹配點對為第二匹配點對;本實施例中,若第一圖像和第二圖像之間在水平方向的偏移不大,在豎直方向的偏移較大,如:立位拍攝,則第一匹配點對中正確的匹配點對的縱坐標之差和錯誤的匹配點對的縱坐標之差的差異也會較大,所以,可以先對所述第一匹配點對的縱坐標之差進行直方圖統(tǒng)計以獲得第二匹配點對,具體的就是以所述第一匹配點對的縱坐標之差為橫坐標,與縱坐標之差對應的第一匹配點對個數(shù)為縱坐標生成第一直方圖,確定所述第一直方圖中第一匹配點對個數(shù)之和最大時所在簇的第一匹配點對為第二匹配點對。若第一圖像和第二圖像之間在豎直方向的偏移不大,在水平方向的偏移較大,如:臥位拍攝,則第一匹配點對中正確的匹配點對的橫坐標之差和錯誤的匹配點對的橫坐標之差的差異也會較大,所以,可以先對所述第一匹配點對的橫坐標之差進行直方圖統(tǒng)計以獲得第二匹配點對,具體的就是以所述第一匹配點對的橫坐標之差為橫坐標,與橫坐標之差對應的第一匹配點對個數(shù)為縱坐標生成第一直方圖,確定所述第一直方圖中第一匹配點對個數(shù)之和最大時所在簇的第一匹配點對為第二配點對。
以立位拍攝為例,第一圖像和第二圖像分別為I1和I2,在對I1和I2進行了基于斜率直方圖統(tǒng)計的方式去除了部分錯誤的匹配點對獲得第一匹配點對后,若在第一匹配點對中屬于I1的像素點的坐標為(x1i,y1i)、屬于I2的像素點的坐標為(x2i,y2i),(i∈[1,N],N為第一匹配點對的個數(shù)),以y2i-y1i為橫坐標,并對與y2i-y1i對應的第一匹配點對的個數(shù)進行統(tǒng)計,如:當?shù)谝黄ヅ潼c對的縱坐標之差為4個像素單位時,與其對應的第一匹配點對的個數(shù)為120,根據(jù)該統(tǒng)計信息,生成以第一匹配點對的縱坐標之差為橫坐標,與該縱坐標之差對應的第一匹配點對的個數(shù)為縱坐標的第一直方圖,通過該第一直方圖中對第一匹配點對在不同縱坐標之差下所對應的第一匹配點對個數(shù)的統(tǒng)計,可以去除錯誤的第一匹配點對,這是因為通過S106'中確定的第一匹配點對中正確的匹配點對仍然占了大部分,因此,在所述第一直方圖中的一個簇中所包含的第一匹配點對個數(shù)最多時,其所在的簇所包含的第一匹配點對為正確的匹配點對的可能性最大,因此,保留所述第一直方圖中,第一匹配點對個數(shù)之和為最大時其所在簇中所包括的第一匹配點對,將其他簇中所包括的第一匹配點對作為錯誤的匹配點去除,并將保留的第一匹配點對作為第二匹配點對。
同樣地,對于臥位拍攝而言,在對第一圖像I1和第二圖像I2進行了基于斜率直方圖統(tǒng)計的方式去除了部分錯誤的匹配點對獲得第一匹配點對后,正確的匹配點對仍然占了大部分,因此,在以所述第一匹配點對的橫坐標之差為橫坐標,與橫坐標之差對應的第一匹配點對個數(shù)為縱坐標生成的第一直方圖中的一個簇中所包含的第一匹配點對個數(shù)最多時,其所在的簇所包含的第一匹配點對為正確的匹配點對的可能性最大,故保留所述第一直方圖中,第一匹配點對個數(shù)之和為最大時其所在簇中所包括的第一匹配點對,將其他簇中所包括的第一匹配點對作為錯誤的匹配點去除,并將保留的第一匹配點對作為第二匹配點對。
本實施例中,所述簇可以根據(jù)經(jīng)驗值而定也可以通過實驗獲得,也即在生成所述第一直方圖之前,需根據(jù)經(jīng)驗值或者實驗獲得的值對簇的寬度進行定義。本實施例中,所述簇的寬度可以在4~6個像素點之間。
通過執(zhí)行S107去除了縱坐標之差不屬于計算出的大部分的第一匹配點對的縱坐標之差的那部分,或者橫坐標之差不屬于計算出的大部分的第一匹配點對的橫坐標之差的部分,也即去除了所述第一匹配點對中錯誤的匹配點對以獲得第二匹配點對。本實施例中,由于所述第一圖像和所述第二圖像在水平方向和豎直方向均存在偏移,因此在去除了第一圖像I1和第二圖像I2沿一個方向可能存在的錯誤的匹配點對后,執(zhí)行S108,去除二者之間沿另一個方向可能存在的錯誤的匹配點對,也即以所述第二匹配點對的第二坐標之差為橫坐標,與第二坐標之差對應的第二匹配點對個數(shù)為縱坐標生成第二直方圖,確定所述第二直方圖中第二匹配點對個數(shù)之和最大時所在簇的第二匹配點對為匹配點對。本實施例中,若所述第一圖像和第二圖像之間在水平方向偏移不大,在豎直方向的偏移較大,如:立位拍攝,則所述第二坐標為橫坐標,即生成以橫坐標之差為橫坐標,與橫坐標之差對應的第二匹配點對個數(shù)為縱坐標的第二直方圖。若所述第一圖像和第二圖像之間在豎直方向的偏移不大,在水平方向的偏移較大,如:臥位拍攝,則所述第二坐標為縱坐標,即生成以縱坐標之差為橫坐標,與縱坐標之差對應的第二匹配點對個數(shù)為縱坐標的第二直方圖。最終在所述第二直方圖中,確定第二匹配點對個數(shù)之和最大時所在簇的第二匹配點對為匹配點對,所述簇的寬度可以在4~6個像素點之間。通過執(zhí)行S108,去除了橫坐標之差不屬于計算出的大部分的第二匹配點對的橫坐標之差的那部分,或者縱坐標之差不屬于計算出的大部分的第二匹配點對的縱坐標之差的部分,也即去除了所述第二匹配點對中錯誤的匹配點對以獲得匹配點對。
需要說明的是,在實際去除所述初始匹配點對中的錯誤的匹配點對的過程中,可能會出現(xiàn)斜率直方圖中不同簇中所包含的初始匹配點對個數(shù)相同的情況,此時需要對斜率直方圖進行均值濾波,在對經(jīng)過了均值濾波后的斜率直方圖中保留初始匹配點對個數(shù)之和為最大時其所在簇中所包含的初始匹配點對為第一匹配點對,然后以該第一匹配點對的第一坐標之差為橫坐標,與第一坐標之差對應的該第一匹配點對個數(shù)為縱坐標生成第一直方圖,若所述第一直方圖中也存在不同簇中所包含的第一匹配點對個數(shù)相同的情況,此時也需對所述第一直方圖進行均值濾波,在對經(jīng)過了均值濾波后的第一直方圖中保留第一匹配點對個數(shù)之和為最大時其所在簇中所包含的第一匹配點對為第二匹配點對,然后以該第二匹配點對的第二坐標之差為橫坐標,與第二坐標之差對應的第二匹配點對個數(shù)為縱坐標生成第二直方圖,若所述第二直方圖中仍存在不同簇中所包含的第二匹配點對個數(shù)相同的情況,則對所述第二直方圖進行均值濾波,確定經(jīng)過了均值濾波的第二直方圖中第二匹配點對個數(shù)之和為最大時其所在簇中所包含的第二匹配點對為匹配點對。
本實施例中,對于所述第一圖像和第二圖像之間在水平方向偏移不大,在豎直方向的偏移較大,如:立位拍攝,先基于斜率直方圖的方式去除了初始匹配點對中部分錯誤的匹配點對獲得第一匹配點對,然后以所述第一匹配點對的縱坐標之差為橫坐標,與縱坐標之差對應的第一匹配點對個數(shù)為縱坐標生成第一直方圖以確定第二匹配點對,最后以所述第二匹配點對的橫坐標之差為橫坐標,與橫坐標之差對應的第二匹配點對個數(shù)為縱坐標生成第二直方圖以確定匹配點對。對于所述第一圖像和第二圖像之間在豎直方向的偏移不大,在水平方向的偏移較大,如:臥位拍攝,先基于斜率直方圖的方式去除了初始匹配點對中部分錯誤的匹配點對獲得第一匹配點對,然后以所述第一匹配點對的橫坐標之差為橫坐標,與橫坐標之差對應的第一匹配點對個數(shù)為縱坐標生成第一直方圖以確定第二匹配點對,最后以所述第二匹配點對的縱坐標之差為橫坐標,與縱坐標之差對應的第二匹配點對個數(shù)為縱坐標生成第二直方圖以確定匹配點對。對于不同體位的拍攝,既考慮了第一圖像和第二圖像之間的解剖結(jié)構(gòu)特性,又從第一圖像和第二圖像之間的位置關(guān)系的角度進行了考慮以盡可能的去除第一圖像和第二圖像的初始匹配點對中錯誤的匹配點,因此在很大程上提高了最終獲得的匹配點對的準確度,且采用直方圖統(tǒng)計的方式在初始匹配點對中確定匹配點對方法簡單計算量小。
本實施例的確定匹配點對的方法,在進行特征點檢測時,檢測特征點的復雜度低,速度快,因此在一定程度上降低了確定匹配點對的復雜度,提高了確定匹配點對的速度。由于檢測到的特征點較穩(wěn)定,因此也提高了匹配獲得的初始匹配點對的準確度,在去除所述初始匹配點對中錯誤的匹配點對時,采用基于斜率直方圖統(tǒng)計和直方圖統(tǒng)計的方式去除錯誤的匹配點對,復雜度低、計算量小,獲得的匹配點對的準確度高。故,本實施例的確定匹配點對的方法,在很大程度上降低了確定匹配點對的復雜度,在很大程度上提高了確定匹配點對的速度,且最終獲得的匹配點對的準確度高。
由實施例二可知,所述第一圖像和所述第二圖像除了在水平方向和豎直方向存在整體偏移外,還可能存在所述第一圖像和所述第二圖像在豎直方向存在較大偏移在水平方向不存在偏移或者偏移較小,或者所述第一圖像和所述第二圖像在水平方向存在較大偏移在豎直方向不存在偏移或者偏移較小。例如:對于上述的X射線攝影系統(tǒng),當探測器和球管沿豎直方向移動(立位拍攝),或者沿水平方向移動(臥位拍攝)時,若探測器移動時所在導軌的精度足夠高,探測器在沿豎直方向移動的過程中在水平方向移動較小或者基本上沒有移動,探測器在沿水平方向移動的過程中在豎直方向移動較小或者基本上沒有移動,初始匹配點對在一個方向或者說沿一個坐標的偏移接近零。
因此,在另一實施例中,可以先對初始匹配點對之間的斜率進行直方圖統(tǒng)計,通過斜率直方圖來對生成的初始匹配點對進行篩選以去除其中錯誤的匹配點對,然后再從統(tǒng)計較相近的縱坐標之差對應的初始匹配點對個數(shù),或者從統(tǒng)計較相近的橫坐標之差對應的初始匹配點對個數(shù)來去除初始匹配點對中仍存在的錯誤的匹配點對。
具體的,就是先計算所述第一圖像和所述第二圖像的初始匹配點對所在連線的斜率,以所述初始匹配點對所在連線的斜率為橫坐標,與所述斜率對應的初始匹配點對個數(shù)為縱坐標生成斜率直方圖;確定所述斜率直方圖中初始匹配點對個數(shù)之和最大時所在簇的初始匹配點對為第一匹配點對;以所述第一匹配點對的坐標之差為橫坐標,與坐標之差對應的第一匹配點對個數(shù)為縱坐標生成直方圖;確定所述直方圖中第一匹配點對個數(shù)之和最大時所在簇的第一匹配點對為匹配點對。若所述第一圖像和所述第二圖像在豎直方向存在較大偏移在水平方向不存在偏移或者偏移較小,如立位拍攝,則以所述第一匹配點對的縱坐標之差為橫坐標,與縱坐標之差對應的第一匹配點對個數(shù)為縱坐標生成直方圖。若所述第一圖像和所述第二圖像在水平方向存在較大偏移在豎直方向不存在偏移或者偏移較小,如臥位拍攝,則以所述第一匹配點對的橫坐標之差為橫坐標,與橫坐標之差對應的第一匹配點對個數(shù)為縱坐標生成直方圖。
在又一實施例中,也可以僅通過斜率直方圖的方式去除所述初始匹配點對中錯誤的匹配點對。
至此,通過S101′~S108去除了所述第一圖像和所述第二圖像的初始匹配點對中存在的錯誤的匹配點對,本實施例中,先基于斜率直方圖的方式去除了初始匹配點對中部分錯誤的匹配點對獲得第一匹配點對,然后以所述第一匹配點對的第一坐標之差為橫坐標,與第一坐標之差對應的第一匹配點對個數(shù)為縱坐標生成第一直方圖以確定第二匹配點對,最后以所述第二匹配點對的第二標之差為橫坐標,與第二坐標之差對應的第二匹配點對個數(shù)為縱坐標生成第二直方圖以確定匹配點對。既考慮了第一圖像和第二圖像之間的解剖結(jié)構(gòu)特性,又從第一圖像和第二圖像之間的位置關(guān)系的角度進行了考慮以盡可能的去除第一圖像和第二圖像的初始匹配點對中錯誤的匹配點,因此在很大程上提高了最終獲得的匹配點對的準確度,在很大程度上降低了獲得匹配點對的復雜度,且采用斜率直方圖和直方圖統(tǒng)計的方式在初始匹配點對中確定匹配點對方法簡單計算量小。
對應上述的確定匹配點對的方法,本實施例還提供一種確定匹配點對的裝置,所述確定匹配點對的裝置包括:
分解單元:用于對第一圖像和第二圖像進行金字塔分解,基于分解后的第一圖像和第二圖像分別構(gòu)造與所述第一圖像對應的第一差分金字塔圖像以及與所述第二圖像對應的第二差分金字塔圖像;所述第一圖像和所述第二圖像為相鄰的圖像;
搜索單元:用于遍歷所述第一差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,遍歷所述第二差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,所述極值點關(guān)聯(lián)于預設鄰域中的像素點的灰度值的絕對值;
第一去除單元:用于去除所述第一差分金字塔圖像的極值點中為所述第一圖像強邊緣上的像素點以獲得所述第一圖像中的特征點;去除所述第二差分金字塔圖像的極值點中為所述第二圖像強邊緣上的像素點以獲得所述第二圖像中的特征點;
匹配單元:用于對所述第一圖像和所述第二圖像中的特征點進行匹配以生成初始匹配點對;
斜率直方圖生成單元:用于計算所述第一圖像和第二圖像的初始匹配點對所在連線的斜率,以所述初始匹配點對所在連線的斜率為橫坐標,與所述斜率對應的初始匹配點對個數(shù)為縱坐標生成斜率直方圖;
第一匹配點對確定單元:用于確定所述斜率直方圖中初始匹配點對個數(shù)之和最大時所在簇的初始匹配點對為第一匹配點對;
第一直方圖生成單元:用于以所述第一匹配點對的第一坐標之差為橫坐標,與第一坐標之差對應的第一匹配點對個數(shù)為縱坐標生成第一直方圖;
第二匹配點對確定單元:用于確定所述第一直方圖中第一匹配點對個數(shù)之和最大時所在簇的第一匹配點對為第二匹配點對;
第二直方圖生成單元:用于以所述第二匹配點對的第二坐標之差為橫坐標,與第二坐標之差對應的第二匹配點對個數(shù)為縱坐標生成第二直方圖;
匹配點對確定單元,用于確定所述第二直方圖中第二匹配點對個數(shù)之和最大時所在簇的第二匹配點對為匹配點對。
本實施例的確定匹配點對的裝置,去除所述初始匹配點對中錯誤的匹配點對以獲得匹配點對的第二去除單元包括:斜率直方圖生成單元、第一匹配點對確定單元、第一直方圖生成單元、第二匹配點對確定單元、第二直方圖生成單元和匹配點對確定單元。所述確定匹配點對的裝置的具體實施可參考所述確定匹配點對的方法的實施,在此不再贅述。
本實施例還提供一種X射線攝影系統(tǒng),包括上述的確定匹配點對的裝置。
實施例四
本實施例提供一種圖像獲取方法,請參見圖6,圖6是本發(fā)明實施例四的圖像獲取方法的流程示意圖,如圖6所示:所述圖像獲取方法包括:
S201:對第一圖像和第二圖像進行金字塔分解,基于分解后的第一圖像和第二圖像分別構(gòu)造與所述第一圖像對應的第一差分金字塔圖像以及與所述第二圖像對應的第二差分金字塔圖像;所述第一圖像和所述第二圖像為相鄰的圖像;
S202:遍歷所述第一差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,遍歷所述第二差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,所述極值點關(guān)聯(lián)于預設鄰域中的像素點的灰度值的絕對值;
S203:去除所述第一差分金字塔圖像的極值點中為所述第一圖像強邊緣上的像素點以獲得所述第一圖像中的特征點;去除所述第二差分金字塔圖像的極值點中為所述第二圖像強邊緣上的像素點以獲得所述第二圖像中的特征點;
S204:對所述第一圖像和所述第二圖像中的特征點進行匹配以生成初始匹配點對;
S205:去除所述初始匹配點對中錯誤的匹配點對以獲得匹配點對;
S206:基于所述匹配點對之間的位置關(guān)系確定所述第一圖像和所述第二圖像之間的偏移;
S207:根據(jù)所述第一圖像和所述第二圖像之間的偏移確定所述第一圖像和所述第二圖像的重疊區(qū)域;
S208:根據(jù)所述重疊區(qū)域?qū)λ龅谝粓D像和所述第二圖像進行拼接。
本實施例中獲取的圖像為拼接后的圖像,所述第一圖像和所述第二圖像可以是通過X射線攝影系統(tǒng)采集到的圖像,由于對所述第一圖像和所述第二圖像進行特征點檢測和匹配,主要是用于對第一圖像和第二圖像進行拼接,因此,本實施例中在執(zhí)行S201之前,可以先對所述第一圖像和所述第二圖像進行預處理,具體地,首先可以根據(jù)實際的經(jīng)驗預估所述第一圖像和所述第二圖像的初始重疊區(qū)域,根據(jù)所述第一圖像和所述第二圖像的初始重疊區(qū)域的高度在所述第一圖像中確定與該初始重疊區(qū)域?qū)牡谝粎^(qū)域,本實施例中稱之為第三圖像,在所述第二圖像中確定與該初始重疊區(qū)域?qū)牡诙^(qū)域,本實施例中稱之為第四圖像。對所述第三圖像和所述第四圖像進行預處理,具體的就是對所述第三圖像和所述第四圖像進行灰度范圍映射,將所述第三圖像和所述第四圖像的灰度值映射到相同的范圍。舉例來說,若所述第三圖像的灰度值屬于0~255,所述第四圖像的灰度值屬于0~4096,則可以將所述第三圖像的0~255的灰度值線性的映射到所述第四圖像的0~4096的灰度值范圍內(nèi)。
另外,考慮到對所述第一圖像和所述第二圖像進行拼接時,待拼接的區(qū)域(真正重疊的區(qū)域)屬于所述初始重疊區(qū)域,所以本實施例中在檢測所述第一圖像和所述第二圖像中的特征點時,即執(zhí)行S201~S203的過程中,是對所述第一圖像和所述第二圖像的部分區(qū)域即上述的初始重疊區(qū)域進行檢測,也即對所述第一圖像的第一區(qū)域和所述第二圖像的第一區(qū)域進行檢測,或者說是對所述第三圖像和所述第四圖像的特征點進行檢測。
因此,在獲取拼接圖像的過程中執(zhí)行S201時,是對所述第一圖像的部分圖像和所述第二圖像的部分圖像進行金字塔分解,也就是說S201中是對所述第三圖像和所述第四圖像進行金字塔分解,并基于分解后的第三圖像和第四圖像分別構(gòu)造與所述第三圖像對應的第三差分金字塔圖像以及與所述第四圖像對應的第四差分金字塔圖像。而具體如何對第三圖像和第四圖像進行金字塔分解,并構(gòu)造第三差分金字塔圖像和第四差分金字塔圖像,可以參見S101,此處不再贅述。
同樣地,在獲取拼接圖像的過程中執(zhí)行S202時,是遍歷所述第三差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,遍歷所述第四差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,所述極值點關(guān)聯(lián)于預設鄰域中的像素點的灰度值的絕對值;執(zhí)行S203時,是去除所述第三差分金字塔圖像的極值點中為所述第三圖像強邊緣上的像素點以獲得所述第三圖像中的特征點;去除所述第四差分金字塔圖像的極值點中為所述第四圖像強邊緣上的像素點以獲得所述第四圖像中的特征點,而所述第三圖像中的特征點也是所述第一圖像中的特征點,所述第四圖像中的特征點也是所述第二圖像中的特征點。
此外,由上述可知,在確定高斯差分金字塔圖像中的極值點時,所述極值點可以是對像素點P的灰度值的絕對值按照由大至小的順序排序后位于前N位的像素點P,在獲取拼接圖像的過程中,確定所述第三差分金字塔圖像中的極值點時,所取的極值點則可以是對像素點P的灰度值的絕對值按照由大至小的順序排序后位于前M位的像素點P(像素點P是指所述第三差分金字塔圖像的每層中像素點的灰度值的絕對值為所述像素點預設鄰域中像素點的灰度值的絕對值最大的像素點),M=N×初始重疊區(qū)域高度。同樣地,確定所述第四差分金字塔圖像中的極值點時,所取的極值點也可以是對像素點P的灰度值的絕對值按照由大至小的順序排序后位于前M位的像素點P(像素點P是指所述第四差分金字塔圖像的每層中像素點的灰度值的絕對值為所述像素點預設鄰域中像素點的灰度值的絕對值最大的像素點)。
本實施例在獲取拼接圖像時,由于考慮了對特征點的檢測和匹配主要是用于對第一圖像和第二圖像進行拼接,因此,在檢測特征點時,并未對整幅第一圖像和第二圖像進行檢測,而是對位于第一圖像中的初始重疊區(qū)域即第三圖像和位于第二圖像中的初始重疊區(qū)域即第四圖像進行了特征點的檢測和匹配,因此可以提高特征點的檢測速度,進一步地也可以提高確定所述第一圖像和所述第二圖像的匹配點對的速度。
通過執(zhí)行S201~S203獲得所述第一圖像和所述第二圖像中的特征點后,執(zhí)行S204~S205對所述第一圖像和所述第二圖像中的特征點進行匹配以生成初始匹配點對,去除所述初始匹配點對中錯誤的匹配點對以獲得匹配點對。本實施例中對所述第一圖像和所述第二圖像中的特征點如何進行匹配可以參見實施例二中的描述,去除所述初始匹配點對中錯誤的匹配點對以獲得匹配點對則可以參見實施例二和實施例三中描述的去除所述初始匹配點對中錯誤的匹配點對的方法,此處不再贅述。
在通過S201~S205獲得匹配點對后,執(zhí)行S206基于所述匹配點對之間的位置關(guān)系確定所述第一圖像和所述第二圖像之間的偏移。具體地,本實施例中是以匹配點對的橫坐標之差的均值作為所述第一圖像和所述第二圖像之間在水平方向的偏移,以匹配點對的縱坐標之差的均值作為所述第一圖像和所述第二圖像之間在豎直方向的偏移。舉例來說:若最終獲得的匹配點對為K個,其中屬于第一圖像I1的像素點的坐標為(x1i,y1i)、屬于第二圖像I2的像素點的坐標為(x2i,y2i),則所述第一圖像和所述第二圖像之間在水平方向的偏移所述第一圖像和所述第二圖像之間在豎直方向的偏移
本實施例中,若所述第一圖像和所述第二圖像之間在水平方向的偏移非常小(如:立位拍攝或者縱向拼接),故Δx趨于零,若所述第一圖像和所述第二圖像之間在豎直方向的偏移非常小(如:臥位拍攝或者橫向拼接),則Δy趨于零。
執(zhí)行S207,根據(jù)S206獲得的所述第一圖像和所述第二圖像之間在水平方向和豎直方向的偏移確定二者之間的重疊區(qū)域。由上述可知,本實施例中是根據(jù)實際的經(jīng)驗預估所述第一圖像和所述第二圖像的初始重疊區(qū)域,僅在初始重疊區(qū)域中對所述第一圖像和所述第二圖像的特征點進行檢測,這樣可以提高特征點的檢測速度,進而提高確定匹配點對的速度以及圖像拼接的速度。因此本步中,仍以在所述第一圖像I1和所述第二圖像I2中,分別提取了初始重疊區(qū)域I1′(第三圖像)和初始重疊區(qū)域I2′(第四圖像)(I1′和I2′的圖像尺寸相同)對初始重疊區(qū)域I1′和I2′進行特征點檢測和匹配后獲得的I1′和I2′之間在水平方向的偏移Δx,在豎直方向的偏移Δy為例,來說明如何獲得I1′和I2′之間的重疊區(qū)域。
具體地,本實施例中通過如下方式確定I1′和I2′之間的重疊區(qū)域。本實施例中建立水平向右為X軸正方向,豎直向下為Y軸正方向的直角坐標系,由于I1′和I2′的圖像尺寸相同,故I1′和I2′的高度H(沿Y軸方向)以及I1′和I2′的寬度W(沿X軸方向)均相同。以I2′的上邊界與I1′的上邊界之間的相對位置關(guān)系作為I1′和I2′在豎直方向的偏移Δy,以I2′的左邊界與I1′的左邊界的相對位置關(guān)系作為I1′和I2′在水平方向的偏移Δx。實際拼接過程中可能會出現(xiàn)Δx、Δy均大于零,Δx大于零、Δy小于零,Δx小于零、Δy大于零,Δx、Δy均小于零的情況,以下結(jié)合圖7-a至圖7-d的第一圖像第二圖像之間的位置關(guān)系示意圖,對這四種情況下重疊區(qū)域的確定進行簡單的說明。
此外,需要說明的是,圖7-a至圖7-d僅為第一圖像和第二圖像之間的位置關(guān)系示意圖,其示出了第一圖像和第二圖像之間在水平方向和豎直方向均存在偏移的情況,并未示意出可能存在的第一圖像和第二圖像之間在水平方向或者豎直方向的偏移趨于零的情況,但本發(fā)明的技術(shù)方案并不局限于圖7-a至圖7-d所示的情況。
本實施例中,若Δx、Δy均大于零,則如圖7-a所示,I2′的上邊界和I1′的上邊界均位于Y軸正向,I2′的上邊界位于I1′的上邊界的下方,I2′的上邊界相對于I1′的上邊界沿Y軸正向的偏移為I1′和I2′在豎直方向的偏移Δy,此時I1′和I2′在豎直方向重疊的高度為H-Δy;I2′的左邊界和I1′的左邊界均位于X軸正向,I2′的左邊界位于I1′的左邊界的右方,I2′的左邊界相對于I1′的左邊界沿X軸正向的偏移為I1′和I2′在水平方向的偏移Δx,I1′和I2′在水平方向重疊的寬度為W-Δx。在確定了I1′和I2′在水平方向和豎直方向重疊的寬度后,則可以確定I1′和I2′的重疊區(qū)域,而I1′和I2′之間的重疊區(qū)域,也即I1和I2之間的重疊區(qū)域。
若Δx大于零、Δy小于零,則如圖7-b所示,I2′的上邊界位于Y軸負向、I1′的上邊界位于X軸,I2′的上邊界位于I1′的上邊界的上方,I2′的上邊界相對于I1′的上邊界的偏移沿Y軸負向,此時I1′和I2′在豎直方向重疊的高度為H+Δy;I2′的左邊界和I1′的左邊界均位于X軸正向,I2′的左邊界位于I1′的左邊界的右方,I2′的左邊界相對于I1′的左邊界沿X軸正向的偏移為I1′和I2′在水平方向的偏移Δx,I1′和I2′在水平方向重疊的寬度為W-Δx。在確定了I1′和I2′在水平方向和豎直方向重疊的寬度后,則可以確定I1′和I2′的重疊區(qū)域,而I1′和I2′之間的重疊區(qū)域,也即I1和I2之間的重疊區(qū)域。
若Δx小于零、Δy大于零,則如圖7-c所示,I2′的上邊界和I1′的上邊界均位于Y軸正向,I2′的上邊界位于I1′的上邊界的下方,此時I1′和I2′在豎直方向重疊的高度為H-Δy;I2′的左邊界位于Y軸,I1′的左邊界位于X軸正向,I2′的左邊界位于I1′的左邊界的左方,I2′的左邊界相對于I1′的左邊界的偏移沿X軸負向,I1′和I2′在水平方向重疊的寬度為W+Δx。在確定了I1′和I2′在水平方向和豎直方向重疊的寬度后,則可以確定I1′和I2′的重疊區(qū)域,而I1′和I2′之間的重疊區(qū)域,也即I1和I2之間的重疊區(qū)域。
若Δx小于零、Δy小于零,則如圖7-d所示,I2′的上邊界位于Y軸負向、I1′的上邊界位于X軸,I2′的上邊界位于I1′的上邊界的上方,I2′的上邊界相對于I1′的上邊界的偏移沿Y軸負向,此時I1′和I2′在豎直方向重疊的高度為H+Δy;I2′的左邊界位于Y軸,I1′的左邊界位于X軸正向,I2′的左邊界位于I1′的左邊界的左方,I2′的左邊界相對于I1′的左邊界的偏移沿X軸負向,I1′和I2′在水平方向重疊的寬度為W+Δx。在確定了I1′和I2′在水平方向和豎直方向重疊的寬度后,則可以確定I1′和I2′的重疊區(qū)域,而I1′和I2′之間的重疊區(qū)域,也即I1和I2之間的重疊區(qū)域。
需要說明的是本實施例中是以I2′的上邊界與I1′的上邊界之間的相對位置關(guān)系作為I1′和I2′在豎直方向的偏移Δy,以I2′的左邊界與I1′的左邊界的相對位置關(guān)系作為I1′和I2′在水平方向的偏移Δx。在其他實施例中,I1′和I2′在豎直方向的偏移Δy也可以以I2′的下邊界與I1′的下邊界之間的相對位置關(guān)系而定,I1′和I2′在水平方向的偏移Δx也可以以I2′的右邊界與I1′的右邊界的相對位置關(guān)系而定,本實施例中對此不做限定。
執(zhí)行S208,根據(jù)S207獲得的第一圖像和第二圖像的重疊區(qū)域,對二者之間進行拼接,仍以上述的I1和I2為例,由上述可知,S207中實際上是對第一圖像I1和第二圖像I2中的初始重疊區(qū)域I1′和I2′的重疊區(qū)域進行了確定,而I1′和I2′的重疊區(qū)域也即I1和I2的重疊區(qū)域。本實施例中,以該重疊區(qū)域的中心作為拼接點,先確定拼接點在I1′和I2′中的位置坐標,由于I1′和I2′與原圖像I1和I2之間的相對位置關(guān)系是已知的,因此可以知曉拼接點在I1的位置以及拼接點在I2的位置,然后基于拼接點的位置來對I1和I2進行拼接,并對拼接后的圖像進行融合。具體地,本實施例中仍建立以水平向右為X軸正向,豎直向下為Y軸正向的直角坐標系,I1和I2的左上角均位于該坐標系的原點,以I1為采集到的第一幅圖像,I2為采集到的第二副圖像為例,則在I1中保留像素點的縱坐標小于I1中的拼接點的縱坐標的像素點所在的區(qū)域,在I2中保留像素點的縱坐標大于拼接點的縱坐標的像素點所在的區(qū)域,將這兩部分區(qū)域進行拼接以使得位于I1和I2中的拼接點重合。由于I1和I2之間存在灰度差異,因此在對I1和I2進行拼接后,位于拼接處上方和下方的圖像會存在明顯的灰度差異,故需對拼接后的圖像進行融合。具體地,在拼接后的圖像中過拼接點做與X軸平行的直線,稱其為I1和I2之間的拼縫,在所述拼縫的上方(為I1)和下方(為I2)各取N個像素點,2N個像素點中每一個像素點的灰度值g通過如下公式獲得:
g=a1×I1(x1,y1)+a2×I2(x2,y2)
其中,a1+a2=1,I1(x1,y1)為該像素點在I1中的灰度值,I2(x2,y2)為該像素點在I2中的灰度值。a1和a2為權(quán)重,當每一列的像素點的位置從位于I1到逐漸靠近拼縫,然后位于拼縫,再從遠離拼縫到位于I2中,上述公式中權(quán)重a1由1逐漸變?yōu)?,權(quán)重a2由零逐漸變?yōu)?,通過加權(quán)平均的方式使得位于拼縫附近的區(qū)域的過渡較平滑以使得拼接后的圖像更加符合實際的臨床需求。
實際應用中,在對I1和I2完成拼接后,二者之間產(chǎn)生相對偏移的部分(該部分沒有圖像)可以采用黑色進行填充,或者采用與該偏移部分接近的背景區(qū)域的灰度值進行相應的填充。
至此,通過上述的步驟實現(xiàn)了對所述第一圖像和所述第二圖像中的特征點進行檢測,并對其進行匹配,生成匹配點對,最終根據(jù)匹配點對來確定所述第一圖像和所述第二圖像的重疊區(qū)域,進而完成對所述第一圖像和所述第二圖像的拼接。本實施例中采用了復雜度低,計算量小且速度快的方式確定了準確度高的匹配點對,進而基于該匹配點對進行拼接后獲得的圖像的拼接精度高。
對應上述的圖像獲取方法,本實施例還提供一種圖像獲取裝置,所述圖像獲取裝置包括:
分解單元,用于對第一圖像和第二圖像進行金字塔分解,基于分解后的第一圖像和第二圖像分別構(gòu)造與所述第一圖像對應的第一差分金字塔圖像以及與所述第二圖像對應的第二差分金字塔圖像;所述第一圖像和所述第二圖像為相鄰的圖像;
搜索單元,用于遍歷所述第一差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,遍歷所述第二差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點;所述極值點關(guān)聯(lián)于預設鄰域中的像素點的灰度值的絕對值;
第一去除單元,用于去除所述第一差分金字塔圖像的極值點中為所述第一圖像強邊緣上的像素點以獲得所述第一圖像中的特征點;去除所述第二差分金字塔圖像的極值點中為所述第二圖像強邊緣上的像素點以獲得所述第二圖像中的特征點;
匹配單元,用于對所述第一圖像和所述第二圖像中的特征點進行匹配以生成初始匹配點對;
第二去除單元,用于去除所述初始匹配點對中錯誤的匹配點對以獲得匹配點對;
偏移確定單元,用于基于所述匹配點對之間的位置關(guān)系確定所述第一圖像和所述第二圖像之間的偏移;
重疊區(qū)域確定單元,用于根據(jù)所述第一圖像和所述第二圖像之間的偏移確定所述第一圖像和所述第二圖像的重疊區(qū)域;
拼接單元,用于根據(jù)所述重疊區(qū)域?qū)λ龅谝粓D像和所述第二圖像進行拼接。
所述圖像獲取裝置的具體實施可參考所述圖像獲取方法的實施,在此不再贅述。
本實施例還提供一種X射線攝影系統(tǒng),包括上述的圖像獲取裝置。
綜上所述,本發(fā)明實施方式提供的圖像中特征點的檢測方法,至少具有如下有益效果:
先對所述圖像進行金字塔分解,基于分解后的圖像構(gòu)造差分金字塔圖像;然后遍歷所述差分金字塔圖像的每一層,搜索每層差分金字塔圖像中的極值點,所述極值點關(guān)聯(lián)于預設鄰域中的像素點的灰度值的絕對值;最后去除所述極值點中為所述圖像強邊緣上的像素點以獲得所述圖像中的特征點。由于遍歷了所述差分金字塔圖像的每一層來搜索每層差分金字塔圖像中的極值點,相對于現(xiàn)有的以差分金字塔圖像所在空間來確定極值點的方法而言,檢測的復雜度低,進而在一定程度上提高了檢測特征點的速度,由于去除了極值點中為所述圖像強邊緣上的像素點,故可以獲得穩(wěn)定的特征點。
本發(fā)明雖然已以較佳實施例公開如上,但其并不是用來限定本發(fā)明,任何本領(lǐng)域技術(shù)人員在不脫離本發(fā)明的精神和范圍內(nèi),都可以利用上述揭示的方法和技術(shù)內(nèi)容對本發(fā)明技術(shù)方案做出可能的變動和修改,因此,凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容,依據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施例所作的任何簡單修改、等同變化及修飾,均屬于本發(fā)明技術(shù)方案的保護范圍。