魯棒式圖像相關(guān)性提取結(jié)構(gòu)的制作方法
【專利摘要】本發(fā)明提出一種魯棒式圖像相關(guān)性提取結(jié)構(gòu),包括幀圖像讀選擇控制模塊、相關(guān)性計算模塊和偏移量跟蹤模塊,相關(guān)性計算模塊包括,相關(guān)性算法處理模塊選定覆蓋區(qū)域數(shù)據(jù)中的每個數(shù)據(jù)進行相關(guān)性計算,并將得到的相關(guān)性計算值輸入到累加器模塊中;累加器模塊分段累加相關(guān)性計算值,得到選定覆蓋區(qū)域數(shù)據(jù)的分段相關(guān)性矩陣;累加結(jié)果處理模塊將累加器模塊得到的所有分段相關(guān)性矩陣累加得到總體相關(guān)性矩陣,并分別得到分段相關(guān)性矩陣和總體相關(guān)性矩陣的相關(guān)性數(shù)據(jù)。本發(fā)明由硬件實現(xiàn)兩幀圖像的相關(guān)性計算及提取其特殊值的方法,采用一種并行架構(gòu),結(jié)構(gòu)流水化,在資源上可復(fù)用,此種并行流水線結(jié)構(gòu),提升了處理速度。
【專利說明】魯棒式圖像相關(guān)性提取結(jié)構(gòu)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及集成電路設(shè)計領(lǐng)域,尤其涉及一種魯棒式圖像相關(guān)性提取結(jié)構(gòu)。
【背景技術(shù)】
[0002]圖像拼接就是將多幅來自同一場景的有重疊區(qū)域的小尺寸圖像合成為一幅大尺寸的高質(zhì)量圖像。圖像拼接技術(shù)解決由于采集窗口視角和大小的限制,不能產(chǎn)生很大圖片的問題。圖像拼接技術(shù)最早應(yīng)用于航空領(lǐng)域,現(xiàn)已廣泛應(yīng)用于數(shù)字視頻、動態(tài)分析、指紋重構(gòu)等領(lǐng)域。
[0003]圖像拼接的前提條件是相鄰圖像之間有一部分在邏輯上是相同的,及必須有一定的重合部分。圖像的拼接最重要的一點是選擇一個魯棒而快捷的圖像對準方法。圖像對準方法就是確定相鄰圖像在寬度和高度上的重疊程度。這種重疊程度稱為兩幀圖像的相關(guān)性。
[0004]目前現(xiàn)有的圖像相關(guān)性提取方式存在著各種缺陷:如計算量非常大、計算速度慢、精度低、成本高,無法適應(yīng)大數(shù)據(jù)量圖像拼接。從而在產(chǎn)品的性價比上大打折扣。因此需要一個能在綜合上述條件下還具有更高性價比的方法來解決這些問題。
[0005]本文提供了一種魯棒式圖像相關(guān)性提取結(jié)構(gòu)。適用于兩張或兩張以上相鄰間具有部分重疊的圖像相關(guān)性計算,且圖像無旋轉(zhuǎn)。用ASIC的方式實現(xiàn)了高速、低成本、計算量小且流水化的結(jié)構(gòu)。使計算出的相關(guān)性數(shù)據(jù)能夠較好的應(yīng)用到圖像拼接、圖像檢測和導(dǎo)航等方面。
[0006]本發(fā)明中所用到的名詞解釋如下:
[0007]每一種覆蓋情況:對于用于當前相關(guān)性計算的前后兩幀圖像完全重合的基礎(chǔ)上,固定一幀不動,在幀圖像長寬范圍內(nèi)的一定區(qū)域,有規(guī)律的上下左右移動另一幀,每次移動會產(chǎn)生一定的覆蓋區(qū)域,并產(chǎn)生兩幀之間的相對位移。每一次移動以像素級為最小單位。
[0008]坐標:坐標為直角坐標系,每一種覆蓋情況對應(yīng)一個坐標,前后兩幀圖像完全重合的覆蓋情況對應(yīng)坐標原點。
[0009]模板幀:上述兩幀中圖像中參照不動的那一幀。
[0010]當前幀:上述兩幀中圖像中參照模板幀有規(guī)律上下左右移動的另一幀(可和模板幀互換)。
[0011]上一幀:上一次參與相關(guān)性計算的兩幀圖像。
[0012]覆蓋區(qū)域數(shù)據(jù):每一種覆蓋情況下,覆蓋區(qū)域的全部數(shù)據(jù),
[0013]選定覆蓋區(qū)域數(shù)據(jù):每一種覆蓋情況下,其覆蓋區(qū)域的部分或全部數(shù)據(jù)為選定覆蓋區(qū)域數(shù)據(jù)。選取時可以根據(jù)幀圖像數(shù)據(jù)的行、列跳躍選擇。且每種覆蓋情況下的選定覆蓋區(qū)域大小相同。
[0014]總體相關(guān)性矩陣:對每一種覆蓋情況下的選定覆蓋區(qū)域數(shù)據(jù)進行相關(guān)性運算,將所求得的相關(guān)性運算結(jié)果以兩幀移動的位移坐標映射成的矩陣。
[0015]分段相關(guān)性矩陣:將選定覆蓋區(qū)域數(shù)據(jù)在采集對象相對于采集窗口的主要移動方向上分成X段(段數(shù)可調(diào)),分別對每一段數(shù)據(jù)的每一種覆蓋情況下的選定覆蓋區(qū)域數(shù)據(jù)進行相關(guān)性運算,將所求得的相關(guān)性運算結(jié)果以兩幀移動的位移坐標映射成的矩陣作為分段相關(guān)性矩陣。
[0016]相關(guān)性矩陣:總體相關(guān)性矩陣和分段相關(guān)性矩陣統(tǒng)稱相關(guān)性矩陣。
[0017]RAM控制信號:包括RAM讀寫地址、數(shù)據(jù)、和使能信號。
[0018]偏移量數(shù)據(jù):包括參與運算的兩幀水平和垂直方向的偏移量、水平和垂直方向的速度、水平和垂直方向的速度權(quán)重。
[0019]總體相關(guān)性數(shù)據(jù):包括總體相關(guān)性矩陣的最大值最小值及其對應(yīng)的坐標。
[0020]分段相關(guān)性數(shù)據(jù):包括分段相關(guān)性矩陣的最大值最小值及其對應(yīng)的坐標。
[0021]相關(guān)性數(shù)據(jù):總體相關(guān)性數(shù)據(jù)和分段相關(guān)性數(shù)據(jù)的統(tǒng)稱。
[0022]控制信號:數(shù)據(jù)有效信號或同步信號,也包括利用子功能或者其組合描述的控制信號。
[0023]RAM矩陣:即存儲陣列,由多個RAM單元組成。用于循環(huán)存儲幀圖像和相關(guān)性矩陣或其他。存儲幀圖像時每一個RAM單元存儲一幀圖像數(shù)據(jù)。
[0024]開窗范圍:在偏移量跟蹤模塊根據(jù)當前總體相關(guān)性矩陣求出的開窗范圍包括上下左右四個值,用在下一幀相關(guān)性計算時,在前后兩幀圖像完全重合的基礎(chǔ)上,固定一幀不動,上下左右(對應(yīng)于開窗范圍的四個值)移動另一巾貞的范圍。
【發(fā)明內(nèi)容】
[0025]現(xiàn)有的技術(shù)存在速度慢、拼接圖像效果差,有明顯的圖像錯位、圖像形變、短圖像、圖像拖尾等現(xiàn)象。為了解決上述技術(shù)問題,本發(fā)明提出一種魯棒式圖像相關(guān)性提取結(jié)構(gòu),包括幀圖像讀選擇控制模塊、相關(guān)性計算模塊和偏移量跟蹤模塊,其特征在于,相關(guān)性計算模塊包括相關(guān)性算法處理模塊、累加器模塊、累加結(jié)果處理模塊,其中,
[0026]相關(guān)性算法處理模塊對選定覆蓋區(qū)域數(shù)據(jù)中的每個數(shù)據(jù)進行相關(guān)性計算,并將得到的相關(guān)性計算值輸入到累加器模塊中;
[0027]累加器模塊分段累加相關(guān)性計算值,得到選定覆蓋區(qū)域數(shù)據(jù)的分段相關(guān)性矩陣;
[0028]累加結(jié)果處理模塊將累加器模塊得到的所有分段相關(guān)性矩陣累加得到總體相關(guān)性矩陣,并分別得到分段相關(guān)性矩陣和總體相關(guān)性矩陣的極大值、極小值以及極大值對應(yīng)的坐標、極小值對應(yīng)的坐標。
[0029]所述選定覆蓋區(qū)域數(shù)據(jù)是按照上一幀圖像求得的開窗范圍內(nèi)的所有覆蓋情況下所覆蓋區(qū)域的部分或全部數(shù)據(jù),且每種覆蓋情況下的選定覆蓋區(qū)域大小相同。
[0030]還包括RAM矩陣,RAM矩陣與幀圖像讀選擇控制模塊和相關(guān)性計算模塊相連,幀圖像讀選擇控制模塊提供選定覆蓋區(qū)域數(shù)據(jù)的讀控信號給RAM矩陣,使得RAM矩陣可根據(jù)選定覆蓋區(qū)域數(shù)據(jù)的讀控信號流水線的將讀取的選定覆蓋區(qū)域數(shù)據(jù)傳給相關(guān)性計算模塊。
[0031]偏移量跟蹤模塊與相關(guān)性計算模塊相連,根據(jù)相關(guān)性計算模塊得到的當前幀的分段相關(guān)性矩陣和總體相關(guān)性矩陣的極大值、極小值以及極大值對應(yīng)的坐標、極小值對應(yīng)的坐標得到開窗范圍和當前幀的偏移量。
[0032]當前幀的總體相關(guān)性矩陣的極大值或者極小值對應(yīng)的坐標即為當前幀的偏移量。
[0033]當前相關(guān)性矩陣求出的開窗范圍是,在下一幀相關(guān)性計算時,在前后兩幀圖像完全重合的基礎(chǔ)上,固定一幀不動,上下左右移動另一幀的范圍;開窗范圍包括上下左右四個值,具體計算方法為:由當前幀的垂直偏移量減去閾值thre得到開窗范圍內(nèi)的向上的最大移動范圍;由當前幀的垂直偏移量加上閾值thre得到開窗范圍內(nèi)的向下的最大移動范圍;由當前幀的水平偏移量加上閾值thre得到開窗范圍內(nèi)的向右的最大移動范圍;由當前幀的水平偏移量減去閾值thre得到開窗范圍內(nèi)的向左的最大移動范圍;(后面還有多處)
[0034]閾值thre的設(shè)定要使得在開窗范圍內(nèi)每一種覆蓋情況下的覆蓋區(qū)域的數(shù)據(jù)大于等于選定覆蓋區(qū)域的數(shù)據(jù)。
[0035]所述相關(guān)性算法處理模塊包括k個相關(guān)性計算單元,可同時進行兩幀圖像在一個垂直位移情況下的所有k個水平方向可移動范圍內(nèi)覆蓋區(qū)域的選定覆蓋區(qū)域數(shù)據(jù)的相關(guān)性計算,或者兩幀圖像在一個水平位移情況下的所有k個垂直方向可移動范圍內(nèi)覆蓋區(qū)域的選定覆蓋區(qū)域數(shù)據(jù)的相關(guān)性計算。
[0036]所述累加器模塊由多個加法器組成,包括第一累加器和第二累加器,所述第一累加器由k個加法器構(gòu)成,對應(yīng)累加k個相關(guān)性計算單元內(nèi)得到的相關(guān)性計算值,若選定覆蓋區(qū)域被分為X段,這k組加法器每次在當前段內(nèi)所有數(shù)據(jù)的相關(guān)性計算值累加完畢后被清零。
[0037]所述第二累加器有X組加法器組成,其中每組加法器中包含k個加法器;所述X組加法器中的k個加法器分別對應(yīng)累加第一累加器中X段的被清零前累加的數(shù)據(jù),得到X段的分段相關(guān)性矩陣。
[0038]本發(fā)明由硬件實現(xiàn)兩幀圖像的相關(guān)性計算及提取其特殊值的方法。硬件實現(xiàn)時,本方案采用一種并行架構(gòu),結(jié)構(gòu)流水化,在資源上可復(fù)用。此種并行流水線結(jié)構(gòu),大大提升了處理速度。此模塊特別適用于指紋刮擦傳感器采集到的連續(xù)指紋圖像的相關(guān)性提取,也能廣泛適用于采集物在采集窗口上移動獲得的連續(xù)圖像、或移動采集窗口獲得的連續(xù)圖像的處理。
【專利附圖】
【附圖說明】
[0039]圖1是本發(fā)明結(jié)構(gòu)框圖;
[0040]圖2是幀圖像讀選擇控制模塊控制RAM矩陣流水線選數(shù)的示意圖;
[0041]圖3是相關(guān)性計算模塊的結(jié)構(gòu)框圖;
[0042]圖4是相關(guān)性計算模塊詳細累加結(jié)構(gòu)示意圖。
【具體實施方式】
[0043]下面結(jié)合附圖對本發(fā)明做詳細介紹,其中所用到的附圖中細線表示控制信號線,寬線表示數(shù)據(jù)線。
[0044]如圖1所示,相關(guān)性模塊架構(gòu)圖包括:幀圖像讀選擇控制模塊1、相關(guān)性計算模塊2和偏移量跟蹤模塊3,具體細化如下:
[0045]1、幀圖像讀選擇控制模塊
[0046]幀圖像讀選擇控制模塊I提供選定覆蓋區(qū)域數(shù)據(jù)的讀控信號給RAM矩陣4,使得RAM矩陣4可根據(jù)選定覆蓋區(qū)域數(shù)據(jù)的讀控信號流水線的將讀取的選定覆蓋區(qū)域數(shù)據(jù)傳給相關(guān)性計算模塊2。[0047]所述選定覆蓋區(qū)域數(shù)據(jù)是按照上一幀圖像求得的開窗范圍內(nèi)的所有覆蓋情況下所覆蓋區(qū)域的部分或全部數(shù)據(jù),且每種覆蓋情況下的選定覆蓋區(qū)域大小相同。所述選定覆蓋區(qū)域數(shù)據(jù)的具體大小是人為定制的參數(shù),根據(jù)不同計算速度反比調(diào)整選定覆蓋區(qū)域數(shù)據(jù)大小。
[0048]此模塊生成指定RAM矩陣4的選定覆蓋區(qū)域數(shù)據(jù)的讀控制信號(包括RAM的讀地址,讀使能),并生成相關(guān)控制信號給相關(guān)性計算模塊2和偏移量跟蹤模塊3。
[0049]幀圖像數(shù)據(jù)在RAM矩陣4中以一定規(guī)則順序存儲。如以行順序存儲、以列順序存儲等,一幀圖像數(shù)據(jù)存儲在RAM矩陣4中的連續(xù)區(qū)域。
[0050]1)如圖像數(shù)據(jù)在RAM矩陣4中以行順序存儲,讀數(shù)據(jù)時,先讀在一種垂直方向覆蓋情況的所有水平覆蓋情況之后,再讀下一種垂直方向覆蓋情況的所有水平覆蓋情況,直至所有垂直方向覆蓋情況讀取完成。
[0051]2)如圖像數(shù)據(jù)在RAM矩陣4中以列順序存儲,讀數(shù)據(jù)時,先讀在一種水平方向覆蓋情況的所有垂直覆蓋情況之后,再讀下一種水平方向覆蓋情況的所有垂直覆蓋情況,直至所有水平方向覆蓋情況讀取完成。
[0052]定義:一種垂直方向覆蓋情況下的每一種水平方向覆蓋情況或者一種水平方向覆蓋情況下的每一種垂直方向覆蓋情況運算完時為一種大覆蓋情況。
[0053]圖2描述了幀圖像讀選擇控制模塊I控制RAM矩陣4流水線選數(shù)的流程,本實施例中圖像數(shù)據(jù)在RAM矩陣4中以行順序存儲。圖中模板幀和當前幀各有r行。陰影部分為覆蓋區(qū)域數(shù)據(jù)。
[0054]圖中的a、b、c、d分別對應(yīng)開窗范圍的上下左右四個參數(shù),由偏移量跟蹤模塊3提供,即偏移量跟蹤模塊3計算出當前幀的開窗范圍用于幀圖像讀選擇控制模塊I在下一幀相關(guān)性計算讀取數(shù)據(jù)。
[0055]在垂直方向上,如圖2左側(cè)列中Fv (0)到Fv (b+a)為:從當前幀位于模板幀下方b行時,到覆蓋所有行,再到當前幀位于模板幀上方a行。
[0056]在水平方向上,如圖2右側(cè)列中F1 (0)到F1 (c+d)為:從當前幀位于模板幀右方c列,到覆蓋所有列,再到當前幀位于模板幀左方d列。
[0057]幀圖像讀選擇控制模塊I在提供選定覆蓋區(qū)域數(shù)據(jù)的讀控信號給RAM矩陣4時,按照上面所述四個方向的所有組合位移,提供每一個組合位移下的選定覆蓋區(qū)域數(shù)據(jù)的讀控信號。
[0058]其流水化取數(shù)可以有如下幾種方式:
[0059]方式一:雙向取數(shù)方式,例如,先讀取當前幀位于模板幀下方b行(圖Fv (0))時的所有水平方向覆蓋情況(即從F1 (0)到匕(c+d))內(nèi)的選定覆蓋區(qū)域數(shù)據(jù),在一種垂直方向覆蓋情況的所有水平覆蓋情況取數(shù)完成之后,再按從當前幀位于模板幀下方b行時,到所有行覆蓋,再到當前幀位于模板幀上方a行的順序(即從Fv (0)到^ (b+a))依次讀取每一個垂直方向覆蓋情況下的所有水平方向覆蓋情況的選定覆蓋區(qū)域數(shù)據(jù)。
[0060]在讀取每一種覆蓋情況下的選定覆蓋區(qū)域數(shù)據(jù)時,以數(shù)據(jù)在RAM矩陣4中的存放規(guī)則(以行存儲或以列存儲或其他)依次讀取選定覆蓋區(qū)域數(shù)據(jù),實現(xiàn)流水化。
[0061]上述的讀取順序,水平方向和垂直方向的順序可以互換。垂直方向上的最少覆蓋行數(shù)可以根據(jù)實際情況進行調(diào)整。[0062]方式二:單方向的取數(shù)方式,例如,垂直方向上從當前幀位于模板幀下方b行到所有行覆蓋即止;或按從當前幀位于模板幀上方a行到所有行覆蓋即止;或從所有行覆蓋到當前幀位于模板幀上方a行即止;或從所有行覆蓋到當前幀位于模板幀下方b行即止。水平方向上從當前幀位于模板幀左方d行到所有行覆蓋即止;或從當前幀位于模板幀右方c行到所有行覆蓋即止;或從所有行覆蓋到當前幀位于模板幀左方d行即止;或從所有行覆蓋到當前幀位于模板幀右方c行即止。
[0063]在特定情況下為了減少計算時間,提高圖像拼接速度,可以根據(jù)實際需要選取此硬件結(jié)構(gòu)所包含的上述雙向取數(shù)或單向取數(shù)的方式。
[0064]2、相關(guān)性計算模塊
[0065]相關(guān)性計算模塊2從RAM矩陣4中流水線的接收兩幀圖像的選定覆蓋區(qū)域數(shù)據(jù)(即模板幀對應(yīng)的選定覆蓋區(qū)域數(shù)據(jù)和當前幀對應(yīng)的選定覆蓋區(qū)域數(shù)據(jù)),并將選定覆蓋區(qū)域數(shù)據(jù)分成X段(段數(shù)根據(jù)行列可調(diào)),并行得到總體相關(guān)性矩陣、分段式相關(guān)性矩陣和相關(guān)性數(shù)據(jù),在資源上可復(fù)用,結(jié)構(gòu)上并行執(zhí)行。此模塊輸出相關(guān)性矩陣和相關(guān)性數(shù)據(jù)及其控制信號。
[0066]如圖3所示,其結(jié)構(gòu)上包括:相關(guān)性算法處理模塊21、累加器模塊22、累加結(jié)果處理模塊23。圖4為該相關(guān)性計算模塊2的詳細累加結(jié)構(gòu)示意圖。
[0067](I)相關(guān)性算法處理模塊21:根據(jù)上級模塊提供控制信號,對兩幀圖像的選定覆蓋區(qū)域數(shù)據(jù)中的每個數(shù)據(jù)進行相關(guān)性計算,相關(guān)性計算方法是本領(lǐng)域慣用方法,此處不做詳述,在本實施例中采用求選定覆蓋區(qū)域數(shù)據(jù)中的每個數(shù)據(jù)的差值平方的方法。相關(guān)性計算處理模塊21對兩幀圖像的選定覆蓋區(qū)域數(shù)據(jù)中的每個數(shù)據(jù)求差值平方,并將得到的差值平方值依次輸入到累加器模塊22中,并輸出控制信號給累加器輸出處理模塊23。
[0068]相關(guān)性算法處理模塊21包括k個相關(guān)性計算單元,可同時處理一個垂直(水平)位移情況下的所有k個水平(垂直)方向可移動范圍內(nèi)覆蓋區(qū)域的選定覆蓋區(qū)域數(shù)據(jù)。如果幀圖像在RAM陣列4中以行存儲,那么k表示水平方向的可移動次數(shù),此時k=c+d+l ;如果幀圖像在RAM陣列k中以列存儲,那么k表示垂直方向的可移動次數(shù),此時k=a+b+l。
[0069](2)累加器模塊22:由多個或多組加法器組成(由算法需要幾個到幾十個不等),包括累加器221和累加器222,分類累加相關(guān)性算法處理模塊21得到的所有差值平方值,輸出多組累加數(shù)據(jù)和相關(guān)有效控制信號。
[0070]累加器221由k個加法器組成,對應(yīng)累加k個相關(guān)性計算單元內(nèi)得到的差值平方值,若選定覆蓋區(qū)域被分為X段,這k組加法器每次在當前段數(shù)據(jù)的所有差值平方值累加完畢后會被清零,實現(xiàn)分段式累加。
[0071]選定覆蓋區(qū)域數(shù)據(jù)分成X段時,累加器222則有X組加法器分別累加累加器221被清零前累加的數(shù)據(jù),其中每組加法器中包含k個加法器,其中每一個加法器對應(yīng)累加一種垂直(水平)方向覆蓋情況下的每一種水平(垂直)方向覆蓋情況下累加器221被清零前累加的數(shù)據(jù)。累加器222依次輸出每種大覆蓋情況下的分段相關(guān)性數(shù)據(jù),所有大覆蓋情況計算完畢時,得到分段相關(guān)性矩陣。
[0072](3)累加結(jié)果處理模塊23:包含少量加法器,在累加器模塊22工作的同時根據(jù)累加器模塊22和相關(guān)性計算模塊21輸出的控制信號,組合累加累加器模塊22輸出的多組累加數(shù)據(jù),在遍歷每一種覆蓋情況后,輸出總體相關(guān)性矩陣和分段相關(guān)性矩陣。在累加輸出相關(guān)性矩陣的同時搜索每一個相關(guān)性矩陣的最大值、最小值和對應(yīng)的坐標。累加器輸出處理模塊23還要輸出相應(yīng)的控制信號給下級模塊。
[0073]累加步驟如下:
[0074]S1、將兩幀圖像的選定覆蓋區(qū)域數(shù)據(jù)進行相關(guān)性運算,在本實施中采用求選定覆蓋區(qū)域數(shù)據(jù)中的每個數(shù)據(jù)的差值平方的方法,得到選定覆蓋區(qū)域數(shù)據(jù)中的每個數(shù)據(jù)的差值平方值送入累加器221中;
[0075]S2、分別在累加器221內(nèi)(如圖3的加法器f加法器k)分別累加一種垂直方向覆蓋情況下的k個水平方向覆蓋情況產(chǎn)生的差值平方值;或者是累加一種水平方向覆蓋情況下的k個垂直方向覆蓋情況產(chǎn)生的差值平方值。若k個選定覆蓋區(qū)域數(shù)據(jù)被分為了 X段,k個選定覆蓋區(qū)域數(shù)據(jù)的第一段數(shù)據(jù)在加法器I中累加完成后,分別將此時數(shù)據(jù)記錄到累加器222的段I加法器I至段I加法器k中,并清零累加器221 (即加法器f加法器k),累加器221再進行第二段數(shù)據(jù)的累加,累加完后放入累加器222的段2加法器I至段2加法器k內(nèi),如此循環(huán),直到X段數(shù)據(jù)全部累加結(jié)束。此時累加器222輸出一種大覆蓋情況下的分段相關(guān)性矩陣。
[0076]S3、數(shù)據(jù)按一種大覆蓋情況接下一種大覆蓋情況的順序傳入,累加器222也按照同樣的順序流水化輸出每種大覆蓋情況下的分段相關(guān)性矩陣,最終得到分段相關(guān)性矩陣。累加結(jié)果處理模塊23將每段的分段相關(guān)性矩陣相應(yīng)流水化的累加,得到總體相關(guān)性矩陣。
[0077]S4、在流水化的得到分段相關(guān)性矩陣和總體相關(guān)性矩陣中的數(shù)據(jù)的同時,累加結(jié)果處理模塊23分別搜索這些數(shù)據(jù)中的極值和坐標,分別確定分段相關(guān)性矩陣和總體相關(guān)性矩陣的最大值、最小值和其相對應(yīng)的坐標。
[0078]當選定覆蓋區(qū)域數(shù)據(jù)個數(shù)大于當前覆蓋情況下的選定覆蓋區(qū)域數(shù)據(jù)個數(shù)時,累加結(jié)果處理模塊23需要對此種大覆蓋情況下的相關(guān)性矩陣中的每一個值進行歸一化處理。歸一化處理的方法有多種,且為本領(lǐng)域技術(shù)人員的慣用手段,在本實施例中,累加結(jié)果處理模塊23輸出此種大覆蓋情況下的相關(guān)性矩陣時,對其中每一個數(shù)據(jù)乘以選定覆蓋區(qū)域數(shù)據(jù)的個數(shù)除以當前覆蓋情況下的選定覆蓋區(qū)域數(shù)據(jù)個數(shù)的商,使得到的相關(guān)性矩陣中的每一個值是通過相同數(shù)據(jù)計算得到的。
[0079]此架構(gòu)在計算總體相關(guān)性矩陣的基礎(chǔ)上,只添加了累加器2,在消耗最少資源且不增加計算時間的情況下就能夠得到分段相關(guān)性矩陣,幾組相關(guān)性矩陣同時得到,在得到幾組相關(guān)性矩陣同時搜索其最大值最小值,及其坐標,最后同時輸出,實現(xiàn)了資源復(fù)用化,結(jié)構(gòu)并行化。
[0080]3、偏移量跟蹤模塊
[0081]此模塊根據(jù)相關(guān)性計算模塊2得到的相關(guān)性矩陣和相關(guān)性數(shù)據(jù)得到開窗范圍和當前幀的偏移量以及相應(yīng)的控制信號。
[0082]在相關(guān)性算法不同時,總體相關(guān)性矩陣的極大值或者極小值對應(yīng)的坐標即為當前幀的偏移量:例如本實施例中用差分平方和求得的相關(guān)性矩陣,其極小值對應(yīng)的坐標即為當前巾貞的偏移量,該偏移量包括垂直偏移量和水平偏移量。
[0083]開窗范圍用于幀圖像讀選擇控制模塊I在下一幀相關(guān)性計算時讀取數(shù)據(jù),當前相關(guān)性矩陣求出的開窗范圍包括上下左右四個值,在下一幀相關(guān)性計算時,在前后兩幀圖像完全重合的基礎(chǔ)上,固定一巾貞不動,上下左右(對應(yīng)于開窗范圍的四個值)移動另一中貞的范圍。具體計算方法為:由當前幀的垂直偏移量減去閾值thre得到開窗范圍內(nèi)的向上的最大移動范圍;由當前幀的垂直偏移量加上閾值thre得到開窗范圍內(nèi)的向下的最大移動范圍;由當前幀的水平偏移量加上閾值thre得到開窗范圍內(nèi)的向右的最大移動范圍;由當前幀的水平偏移量減去閾值thre得到開窗范圍內(nèi)的向左的最大移動范圍。
[0084]閾值thre的設(shè)定要使得在開窗范圍內(nèi)每一種覆蓋情況下的覆蓋區(qū)域的數(shù)據(jù)大于等于選定覆蓋區(qū)域的數(shù)據(jù)。
[0085]本發(fā)明由硬件實現(xiàn)兩幀圖像的相關(guān)性計算及提取其特殊值的方法。硬件實現(xiàn)時,本方案采用一種并行架構(gòu),結(jié)構(gòu)流水化,在資源上可復(fù)用。此種并行流水線結(jié)構(gòu),大大提升了處理速度。此模塊特別適用于指紋刮擦傳感器采集到的連續(xù)指紋圖像的相關(guān)性提取外,也能廣泛適用于采集物在采集窗口上移動獲得的連續(xù)圖像、或移動采集窗口獲得的連續(xù)圖像的處理。
[0086]本領(lǐng)域的技術(shù)人員在不脫離權(quán)利要求書確定的本發(fā)明的精神和范圍的條件下,還可以對以上內(nèi)容進行各種各樣的修改。因此本發(fā)明的范圍并不僅限于以上的說明,而是由權(quán)利要求書的范圍來確定的。
【權(quán)利要求】
1.魯棒式圖像相關(guān)性提取結(jié)構(gòu),包括幀圖像讀選擇控制模塊、相關(guān)性計算模塊和偏移量跟蹤模塊,其特征在于,相關(guān)性計算模塊包括相關(guān)性算法處理模塊、累加器模塊、累加結(jié)果處理模塊,其中, 相關(guān)性算法處理模塊對選定覆蓋區(qū)域數(shù)據(jù)中的每個數(shù)據(jù)進行相關(guān)性計算,并將得到的相關(guān)性計算值輸入到累加器模塊中; 累加器模塊分段累加相關(guān)性計算值,得到選定覆蓋區(qū)域數(shù)據(jù)的分段相關(guān)性矩陣; 累加結(jié)果處理模塊將累加器模塊得到的所有分段相關(guān)性矩陣累加得到總體相關(guān)性矩陣,并分別得到分段相關(guān)性矩陣和總體相關(guān)性矩陣的極大值、極小值以及極大值對應(yīng)的坐標、極小值對應(yīng)的坐標。
2.根據(jù)權(quán)利要求1所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu),其特征在于,所述選定覆蓋區(qū)域數(shù)據(jù)是按照上一幀圖像求得的開窗范圍內(nèi)的所有覆蓋情況下所覆蓋區(qū)域的部分或全部數(shù)據(jù),且每種覆蓋情況下的選定覆蓋區(qū)域大小相同。
3.根據(jù)權(quán)利要求2所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu),其特征在于,還包括RAM矩陣,RAM矩陣與幀圖像讀選擇控制模塊和相關(guān)性計算模塊相連,幀圖像讀選擇控制模塊提供選定覆蓋區(qū)域數(shù)據(jù)的讀控信號給RAM矩陣,使得RAM矩陣可根據(jù)選定覆蓋區(qū)域數(shù)據(jù)的讀控信號流水線的將讀取的選定覆蓋區(qū)域數(shù)據(jù)傳給相關(guān)性計算模塊。
4.根據(jù)權(quán)利要求2所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu),其特征在于,偏移量跟蹤模塊與相關(guān)性計算模塊相連,根據(jù)相關(guān)性計算模塊得到的當前幀的分段相關(guān)性矩陣和總體相關(guān)性矩陣的極大值、極小值以及極大值對應(yīng)的坐標、極小值對應(yīng)的坐標得到開窗范圍和當前中貞的偏移量。
5.根據(jù)權(quán)利要求4所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu),其特征在于,當前幀的總體相關(guān)性矩陣的極大值或者極小值對 應(yīng)的坐標即為當前幀的偏移量。
6.根據(jù)權(quán)利要求5所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu),其特征在于,當前相關(guān)性矩陣求出的開窗范圍是,在下一幀相關(guān)性計算時,在前后兩幀圖像完全重合的基礎(chǔ)上,固定一幀不動,上下左右移動另一幀的范圍;開窗范圍包括上下左右四個值,由當前幀的垂直偏移量減去閾值thre得到開窗范圍內(nèi)的向上的最大移動范圍;由當前幀的垂直偏移量加上閾值thre得到開窗范圍內(nèi)的向下的最大移動范圍;由當前幀的水平偏移量加上閾值thre得到開窗范圍內(nèi)的向右的最大移動范圍;由當前幀的水平偏移量減去閾值thre得到開窗范圍內(nèi)的向左的最大移動范圍; 閾值thre的設(shè)定要使得在開窗范圍內(nèi)每一種覆蓋情況下的覆蓋區(qū)域的數(shù)據(jù)大于等于選定覆蓋區(qū)域的數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu),其特征在于,所述相關(guān)性算法處理模塊包括k個相關(guān)性計算單元,可同時進行兩幀圖像在一個垂直位移情況下的所有k個水平方向可移動范圍內(nèi)覆蓋區(qū)域的選定覆蓋區(qū)域數(shù)據(jù)的相關(guān)性計算,或者兩幀圖像在一個水平位移情況下的所有k個垂直方向可移動范圍內(nèi)覆蓋區(qū)域的選定覆蓋區(qū)域數(shù)據(jù)的相關(guān)性計算。
8.根據(jù)權(quán)利要求7所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu),其特征在于,所述累加器模塊由多個加法器組成,包括第一累加器和第二累加器,所述第一累加器由k個加法器構(gòu)成,對應(yīng)累加k個相關(guān)性計算單元內(nèi)得到的相關(guān)性計算值,若選定覆蓋區(qū)域被分為X段,這k組加法器每次在當前段內(nèi)所有數(shù)據(jù)的相關(guān)性計算值累加完畢后被清零。
9.根據(jù)權(quán)利要求8所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu),其特征在于,所述第二累加器有X組加法器組成,其中每組加法器中包含k個加法器;所述X組加法器中的k個加法器分別對應(yīng)累加第一累加器中X段的被清零前累加的數(shù)據(jù),得到X段的分段相關(guān)性矩陣。
【文檔編號】G06T1/00GK103679622SQ201210344242
【公開日】2014年3月26日 申請日期:2012年9月18日 優(yōu)先權(quán)日:2012年9月18日
【發(fā)明者】張婭舸 申請人:成都方程式電子有限公司