專利名稱：一種利用顯著邊緣進(jìn)行圖像檢索的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種利用顯著邊緣進(jìn)行圖像檢索的方法，屬于計算機(jī)視覺、圖像理解以及模式識別等領(lǐng)域。適用于邊緣比較清晰的圖像，檢索邊緣容易獲取的圖像設(shè)計的。
背景技術(shù)：
自90年代以來，隨著計算機(jī)技術(shù)、多媒體技術(shù)以及網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，越來越多的圖像出現(xiàn)在人們的日常生活中。圖像數(shù)據(jù)的爆炸性增長使得對圖像的管理和檢索成為關(guān)鍵。目前，許多圖像檢索方法都使用形狀來描述圖像的特征。形狀是表征物體的本質(zhì)特征之一，在很多情況下，人們往往單憑物體的形狀信息就能識別物體，這是形狀區(qū)別于其它視覺特征如顏色、紋理等的關(guān)鍵所在。目前應(yīng)用于圖像檢索中的形狀描述方法大致可以分為兩類基于圖像邊緣和基于區(qū)域。基于圖像邊緣的方法使用物體的邊緣信息描述和查詢圖像，這類方法適用于圖像邊緣較為清晰，較為容易獲取的圖像?；趨^(qū)域的方法主要依靠區(qū)域內(nèi)象素的顏色分布信息來描述圖像，這類方法對于區(qū)域能夠較為準(zhǔn)確的分割出來、區(qū)域內(nèi)顏色分布較為均一的圖像較為合適。
研究人員和技術(shù)人員提出了多種基于圖像邊緣的圖像檢索方法，但仍存在很多問題。方法1首先提取邊緣信息，每一條邊緣都用一個多邊形來近似，近似多邊形的頂點(diǎn)來代表圖像的形狀信息。此方法的缺點(diǎn)在于它要求邊緣曲線閉合，而對于一般圖像來說此要求很難達(dá)到。方法2一種形狀彈性匹配算法來進(jìn)行圖像檢索，首先由人工指定感興趣區(qū)域，在這些區(qū)域中采用爬山優(yōu)化算法獲取圖像邊緣，使用這些感興趣區(qū)域內(nèi)的邊緣代表物體形狀。這種方法的優(yōu)點(diǎn)是對邊緣進(jìn)行了篩選，缺點(diǎn)是需要人工干預(yù)，在圖像檢索中這往往不太現(xiàn)實(shí)。方法3使用草圖進(jìn)行圖像檢索，在他們的工作中，圖像首先經(jīng)過一系列的處理如尺度規(guī)格化、邊緣檢測、細(xì)化，然后簡單地將獲取的邊緣圖像和用戶的草圖根據(jù)模板進(jìn)行匹配。方法4采用邊緣上的拐角點(diǎn)描述形狀，其一、在拐點(diǎn)的基礎(chǔ)上進(jìn)行仿射變換，利用仿射不變特征來代表形狀。其二、采用邊緣點(diǎn)的相位直方圖來刻化圖像形狀特征。其三、提出一種曲率尺度空間方法來描述形狀，它對于每一條邊緣曲線進(jìn)行不同尺度下的高斯平滑，在每一尺度下提取曲率較大的點(diǎn)，選取在多尺度下生存時間最長的點(diǎn)來描述邊緣曲線。上述的幾種方法的共同缺點(diǎn)是僅考慮了特殊的邊緣點(diǎn)的信息，而這些邊緣點(diǎn)并不能很好地刻畫物體的形狀。方法5一種基于邊緣的結(jié)構(gòu)特征來描述形狀，它使用“灌水i±(Water-Filling)算法抽取邊緣曲線，每一條邊緣曲線用一些結(jié)構(gòu)特征如灌水時間、叉點(diǎn)個數(shù)、叉點(diǎn)直方圖等來表示，而整幅圖像的形狀特征用幾個“特殊”邊緣曲線如叉點(diǎn)最多邊緣、灌水時間最長曲線等來刻化。這種方法的優(yōu)點(diǎn)是利用了邊緣曲線的結(jié)構(gòu)信息而非單個邊緣點(diǎn)信息來表示形狀，其缺點(diǎn)是僅僅使用個別的邊緣曲線，這些邊緣曲線往往因?yàn)樵肼暬蛱崛∵吘夁^程的誤差而不準(zhǔn)確，這將會降低檢索的準(zhǔn)確率。方法6一種基于傅立葉分析的方法，該方法首先獲得一個能夠描述形狀的特征函數(shù)，如基于曲率的特征函數(shù)或基于半徑的特征函數(shù)。然后對此特征函數(shù)作離散傅立葉變換，使用變換后的傅立葉系數(shù)作為形狀特征來檢索圖像。這種方法對邊緣點(diǎn)位置的微小變化和噪聲相當(dāng)敏感，因此，在實(shí)際檢索中并不能取得很好的效果。方法7三角形劃分，首先選取圖像邊緣上的角點(diǎn)作為特征點(diǎn)，然后使用Delaunay三角形進(jìn)行劃分，可以記錄三角形的形狀特征來描述圖像的形狀特征。這種方法由于也基于邊緣上的一些特殊點(diǎn)，所以也對于噪聲和點(diǎn)位置的變化較為敏感。
目前已有的依靠邊緣信息描述圖像形狀進(jìn)而檢索圖像的方法具有以下兩個主要的缺陷其一、在利用邊緣提取形狀信息之前對邊緣不進(jìn)行分析和選擇，大多數(shù)算法使用了圖像中的所有邊緣。圖像檢索的目的是為了搜索出相似的圖像，而在實(shí)際處理中，由于邊緣提取的不準(zhǔn)確性和噪聲的影響，并不是所有的邊緣都會對描述圖像形狀和圖像匹配產(chǎn)生積極作用；其二、在度量圖像間的相似性時，采用了簡單的“一對一”匹配策略。這種匹配策略計算相當(dāng)簡單，但是由于噪聲的影響和邊緣提取的不準(zhǔn)確往往會使得抽取出的最長灌水時間邊緣和最多叉點(diǎn)邊緣不準(zhǔn)確，直接導(dǎo)致誤匹配的出現(xiàn)，從而影響檢索的準(zhǔn)確率。

發(fā)明內(nèi)容
為避免現(xiàn)有技術(shù)的缺陷，本發(fā)明在系統(tǒng)地研究了基于邊緣的形狀特征的描述方法，及形狀特征在圖像檢索中的應(yīng)用，提出了一種基于顯著邊緣的圖像檢索方法。與其它的方法不同，我們認(rèn)為最能夠代表形狀應(yīng)當(dāng)是的圖像中的顯著邊緣，并且設(shè)計了一個獨(dú)立邊界自增強(qiáng)的算法來提取圖像中的顯著邊緣。然后，我們使用三個特征來描述每一條顯著邊緣，進(jìn)而形成圖像的特征矢量。在度量圖像間的相似度時，我們沒有采用傳統(tǒng)的“一對一”匹配準(zhǔn)則，而是用了一種“多對多”的匹配準(zhǔn)則，其目的是為了減少因?yàn)閳D像邊緣提取不準(zhǔn)對檢索造成的不良影響。大量的實(shí)驗(yàn)證明，本發(fā)明所提出的方法相對于其它方法，具有優(yōu)良的性能1、由于使用了顯著邊緣，剔除短小的邊緣，去掉了一個影響檢索準(zhǔn)確率的不利因素。同時也減小計算量，提高檢索速度；2、采用“多對多”的匹配策略，能夠從一定程度上減小邊緣不準(zhǔn)確的影響。
本發(fā)明的基本思想是對描述圖像特征的邊緣有所選擇，采用顯著邊緣。它們對于尺度縮放、噪聲、邊緣提取不準(zhǔn)確等都有一定的魯棒性。顯著邊緣是指圖像中視覺強(qiáng)度較大且長度較長的的邊緣，其特征在于首先對查詢圖像進(jìn)行邊緣檢測和細(xì)化，獲取邊緣圖；其次，使用獨(dú)立邊緣自增強(qiáng)方法，通過對邊緣點(diǎn)反復(fù)地隨即啟發(fā)式搜索及增強(qiáng)，挑選出圖像中的顯著邊緣；然后，對于每一條顯著邊緣使用三個典型特征，叉點(diǎn)率、轉(zhuǎn)動頻率和角點(diǎn)率來描述，進(jìn)而生成圖像的特征矢量；接著，在匹配時采用綜合顯著邊緣匹配的方法度量圖像間的相似程度；最后，根據(jù)相似度排序，輸出相似圖像集合。
獨(dú)立邊緣自增強(qiáng)是將獨(dú)立的邊緣點(diǎn)連接成邊緣曲線，并對獲取的邊緣曲線進(jìn)行適當(dāng)?shù)奶幚?，為后續(xù)的顯著邊緣選擇提供便利。該方法是以邊緣的強(qiáng)度信息作為引導(dǎo)度量，通過反復(fù)的隨機(jī)啟發(fā)式搜索獲得各種可能的圖像邊緣，然后利用積累器對每一條獨(dú)立邊緣進(jìn)行自增強(qiáng)，這樣就使圖像中的顯著邊緣得到了很大的增強(qiáng)，最后利用增強(qiáng)后的結(jié)果就很容易的選擇到顯著邊緣。獨(dú)立邊界自增強(qiáng)方法的最大優(yōu)點(diǎn)是邊緣增強(qiáng)的幅度與自身的顯著程度成正比，因此，增強(qiáng)后的結(jié)果更有利于顯著邊緣的選擇。此外，由于多次的隨機(jī)啟發(fā)式搜索使得提取邊緣的過程受噪聲影響較小。
由于Canny算子具有良好的定位和細(xì)化性能，所以本發(fā)明中的邊緣檢測采用Canny算子。邊緣檢測后的圖像稱之為邊緣圖(Edge map)，圖中每一點(diǎn)的亮度代表了其邊緣強(qiáng)度，亮度越大意味著邊緣強(qiáng)度越大，可以發(fā)現(xiàn)灰度在局部發(fā)生突變的象素點(diǎn)。
圖像特征矢量的生成對于每一條顯著邊緣，采用三個典型特征，叉點(diǎn)率、轉(zhuǎn)動頻率和角點(diǎn)率來描述。
叉點(diǎn)率邊緣曲線的分叉點(diǎn)數(shù)目可以很好地衡量邊緣的結(jié)構(gòu)復(fù)雜程度。將每一條顯著邊緣對應(yīng)到原始的邊緣圖中，沿著顯著邊緣的端點(diǎn)，進(jìn)行“灌水”，定義分叉點(diǎn)數(shù)為當(dāng)水流沿著邊緣流動時分叉的總次數(shù)。則該條顯著邊緣的叉點(diǎn)率為分叉的總次數(shù)/它的長度。對于顯著邊緣來說，它的叉點(diǎn)率越高說明它的結(jié)構(gòu)越復(fù)雜。
轉(zhuǎn)動頻率曲線的轉(zhuǎn)動頻率是用來描述邊緣的彎曲程度。每一條顯著邊緣的轉(zhuǎn)動頻率為該邊緣發(fā)生轉(zhuǎn)動的總次數(shù)/它的長度。轉(zhuǎn)動頻率越高表示此邊緣曲線彎曲程度越大。
角點(diǎn)率拐角點(diǎn)頻率用來衡量邊緣曲線的平滑程度。拐角點(diǎn)是邊緣曲線上的一類重要的特殊點(diǎn)，拐角點(diǎn)越多說明邊緣走向在局部變化越劇烈，邊緣在整體上越不平滑。每一條顯著邊緣的角點(diǎn)率為拐角點(diǎn)數(shù)目/它的長度。
規(guī)定在小范圍的曲線段中，只能存在一個拐角點(diǎn)。
確定了每一條顯著邊緣的原始特征后，就得到一個圖像的顯著邊緣集合，也就得到圖像特征矢量。
由于采用叉點(diǎn)率、轉(zhuǎn)動頻率和角點(diǎn)率作為描述圖像的原始特征，從曲線的結(jié)構(gòu)復(fù)雜程度、彎曲程度和平滑程度三方面刻畫了曲線特征，計算相當(dāng)簡單。這三個原始特征對于平移和旋轉(zhuǎn)都不敏感，即滿足平移和旋轉(zhuǎn)不變性。至于尺度不變性，這對于用來進(jìn)行圖像檢索的特征矢量來說是相當(dāng)難滿足的，由于我們的三個原始特征均使用了比率，所以能夠滿足形狀描述子應(yīng)當(dāng)刻畫圖像特征準(zhǔn)確、算法簡單、易操作，還應(yīng)當(dāng)對旋轉(zhuǎn)、平移、尺度縮放具有不變性這一性質(zhì)。
在圖像匹配時，圖像之間的相似度一般由對應(yīng)特征矢量之間的距離來度量，最終，距離最小的圖像集合認(rèn)為是相似圖像。本發(fā)明關(guān)于圖像匹配提出的綜合顯著邊緣匹配方法沒有采用傳統(tǒng)的“一對一”匹配，而是放松了對于匹配的嚴(yán)格要求，它采用了一種“多對多”的匹配方案，一幅圖像的一條顯著邊緣允許同另一幅圖像的多條顯著邊緣相匹配，具體的匹配策略依靠兩個準(zhǔn)則來約束，即重要度滿足準(zhǔn)則和最相似最先匹配準(zhǔn)則。圖像間最終的相似度由所有有效匹配來決定。此方法的突出優(yōu)點(diǎn)是減小了因邊緣提取不準(zhǔn)確造成的誤匹配，能夠一定程度地提高檢索準(zhǔn)確率。


圖1本發(fā)明方法的基本流程2用系統(tǒng)進(jìn)行舉例查詢的例子圖3用系統(tǒng)進(jìn)行舉例查詢的例子
(a)一幅用戶手繪的草圖(b)根據(jù)用戶手繪草圖檢索的結(jié)果
具體實(shí)施例方式現(xiàn)結(jié)合附圖對本發(fā)明作進(jìn)一步描述根據(jù)本發(fā)明提出的基于顯著邊緣的圖像檢索方法，我們用C++語言實(shí)現(xiàn)了一個圖像檢索的原型系統(tǒng)。目前，我們的圖像數(shù)據(jù)庫中共有4500幅圖像，這些圖像包括建筑物、風(fēng)景、商標(biāo)、圖標(biāo)、人臉等。圖像的來源有網(wǎng)上下載、Corel stock photo library抽取、數(shù)碼照相機(jī)拍攝和Yale research Lab face database。我們圖像數(shù)據(jù)庫中的圖像均為灰度圖像且邊緣都較為清晰。
假設(shè)一個待查詢圖像Q，在圖像數(shù)據(jù)庫中檢索與Q相似的圖像I，即D(XQ，XI)≤t。上式中D是特征矢量的距離函數(shù)，t是由用戶設(shè)立的閾值，XQ是圖像Q的特征矢量，XI是圖像I的特征矢量。兩幅圖像Q和I的相似程度可以用它們的特征矢量XQ和XI的距離來表示，距離越小表示兩個圖像越相似。查詢的結(jié)果隨著閾值而變化，始終滿足與待查詢圖像的距離小于或等于閾值。用戶可也以直接要求系統(tǒng)輸出與待查詢圖像最類似的圖像集合，如輸出與待查詢圖像距離最近的20幅圖像。
首先對圖像Q進(jìn)行邊緣檢測和細(xì)化，獲取邊緣圖。然后用獨(dú)立邊緣自增強(qiáng)方法即通過對邊緣點(diǎn)反復(fù)地隨即啟發(fā)式搜索及增強(qiáng)，挑選出圖像中的顯著邊緣。計算每一條顯著邊緣的叉點(diǎn)率、轉(zhuǎn)動頻率和角點(diǎn)率。假設(shè)一條顯著邊緣Ci，它的長度為li，由“灌水”算法計算出的分叉點(diǎn)數(shù)目為fci。則Ci的叉點(diǎn)率fri＝fci/li；轉(zhuǎn)動頻率rfC＝rnT/li，其中rnT為邊緣顯著邊緣Ci發(fā)生轉(zhuǎn)動的總次數(shù)；當(dāng)它的拐角點(diǎn)數(shù)目為cni時，則拐點(diǎn)率cfi＝cni/li。
確定了每一條顯著邊緣的原始特征后，我們就可以得到圖像的特征矢量。根據(jù)圖像Q的顯著邊緣集合C＝{c1，c2，...，ci，...，cV，}，用f1，f2，...，fi...，fV分別表示顯著邊緣c1，c2，...，ci，...，cV的特征，則有f1＝(fr1，rf1，cf1)，f2＝(fr2，rf2，cf3)，...，fi(fri，rfi，cfi，...，fL＝(frV，rfV，cfV)于是，圖像Q的特征矢量 為f→Q=[f1.f2,...fi,...fV].]]>進(jìn)行圖像匹配，采用綜合顯著邊緣匹配方法，一幅圖像的一條顯著邊緣允許同另一幅圖像的多條顯著邊緣相匹配的“多對多”的匹配方案進(jìn)行圖像匹配。圖像Q的特征矢量 為f→Q=[f1.f2,...fi,...fV],]]>那么圖像Q’的特征矢量fQ’為fQ’＝[f1’，f2’，...，fj’...，fV]’。以對應(yīng)特征矢量之間的距離來度量，最終，距離最小的圖像集合認(rèn)為是相似圖像。
本發(fā)明所實(shí)施的系統(tǒng)支持用戶進(jìn)行兩種查詢舉例查詢(Query by example)和草圖查詢(Query by sketch)。舉例查詢是指由用戶提供一個待查詢圖像，由系統(tǒng)自動輸出與之相似的若干幅圖像，相似圖像的數(shù)目可以由用戶指定，范圍在0到100之間。草圖查詢是指由用戶畫出一幅草圖提交給系統(tǒng)查詢，同樣地，用戶可以指定系統(tǒng)輸出若干數(shù)目的相似圖像。在查詢過程中，用戶可以通過“雙擊”系統(tǒng)的輸出圖像來查看它的尺寸、來源等相關(guān)信息，用戶也可以以某一幅查詢結(jié)果圖像作為例子圖像進(jìn)行新的查詢。
圖2給出了本章檢索系統(tǒng)進(jìn)行舉例查詢結(jié)果較好的一個例子，圖像左上角的第一幅圖像為查詢圖像，打“√”的表示正確的檢索結(jié)果，而打“×”的表示錯誤的檢索結(jié)果。圖3給出了一個本章檢索系統(tǒng)進(jìn)行草圖查詢結(jié)果較好的一個例子，(a)中顯示的圖像是用戶手繪的草圖，(b)中的圖像是檢索的結(jié)果。
從實(shí)驗(yàn)結(jié)果看出本方法提取的顯著邊緣比較符合人的主觀判斷；相對于其它方法檢索準(zhǔn)確率較高；由于使用了顯著邊緣和“多對多”的匹配策略，因此具有較高的檢索準(zhǔn)確率。
權(quán)利要求
1.一種利用顯著邊緣進(jìn)行圖像檢索的方法，其特征在于首先對查詢圖像進(jìn)行邊緣檢測和細(xì)化，獲取邊緣圖；其次，使用獨(dú)立邊緣自增強(qiáng)方法，通過對邊緣點(diǎn)反復(fù)地隨即啟發(fā)式搜索及增強(qiáng)，挑選出圖像中的顯著邊緣；然后，對于每一條顯著邊緣使用三個典型特征，叉點(diǎn)率、轉(zhuǎn)動頻率和角點(diǎn)率來描述，進(jìn)而生成圖像的特征矢量；接著，在匹配時采用綜合顯著邊緣匹配的算法度量圖像間的相似程度；最后，根據(jù)相似度排序，輸出相似圖像集合。
2.根據(jù)權(quán)利要求1所述的一種利用顯著邊緣進(jìn)行圖像檢索的方法，其特征在于獨(dú)立邊緣自增強(qiáng)方法以邊緣的強(qiáng)度信息作為引導(dǎo)度量，通過反復(fù)的隨機(jī)啟發(fā)式搜索獲得各種可能的圖像邊緣，然后利用積累器對每一條獨(dú)立邊緣進(jìn)行自增強(qiáng)，最后利用增強(qiáng)后的結(jié)果就很容易的選擇到顯著邊緣。
3.根據(jù)權(quán)利要求1所述的一種利用顯著邊緣進(jìn)行圖像檢索的方法，其特征在于綜合顯著邊緣匹配方法，采用了一種“多對多”的匹配方案，一幅圖像的一條顯著邊緣允許同另一幅圖像的多條邊緣相匹配；具體的匹配策略依靠兩個準(zhǔn)則來約束，即重要度滿足準(zhǔn)則和最相似最先匹配準(zhǔn)則，圖像間最終的相似度由所有有效匹配來決定。
4.根據(jù)權(quán)利要求1所述的一種利用顯著邊緣進(jìn)行圖像檢索的方法，其特征在于邊緣檢測采用Canny算子。
5.根據(jù)權(quán)利要求1所述的一種利用顯著邊緣進(jìn)行圖像檢索的方法，其特征在于將每一條顯著邊緣對應(yīng)到原始的邊緣圖中，沿著顯著邊緣的端點(diǎn)，進(jìn)行“灌水”，定義分叉點(diǎn)數(shù)為當(dāng)水流沿著邊緣流動時分叉的總次數(shù)，則該條顯著邊緣的叉點(diǎn)率為分叉的總次數(shù)/它的長度。
6.根據(jù)權(quán)利要求1所述的一種利用顯著邊緣進(jìn)行圖像檢索的方法，其特征在于每一條顯著邊緣的轉(zhuǎn)動頻率為該邊緣發(fā)生轉(zhuǎn)動的總次數(shù)/它的長度。轉(zhuǎn)動頻率越高表示此邊緣曲線彎曲程度越大。
7.根據(jù)權(quán)利要求1所述的一種利用顯著邊緣進(jìn)行圖像檢索的方法，其特征在于每一條顯著邊緣的角點(diǎn)率為拐角點(diǎn)數(shù)目/它的長度。
8.根據(jù)權(quán)利要求7所述的一種利用顯著邊緣進(jìn)行圖像檢索的方法，其特征在于規(guī)定在小范圍的曲線段中，只能存在一個拐角點(diǎn)。
全文摘要
本發(fā)明涉及一種利用顯著邊緣進(jìn)行圖像檢索的方法，適用于邊緣比較清晰的圖像。基本思想是對描述圖像特征的邊緣有所選擇，采用顯著邊緣。其特征在于首先對查詢圖像進(jìn)行邊緣檢測和細(xì)化，獲取邊緣圖；其次，使用獨(dú)立邊緣自增強(qiáng)方法，通過對邊緣點(diǎn)反復(fù)地隨即啟發(fā)式搜索及增強(qiáng)，挑選出圖像中的顯著邊緣；然后，對于每一條顯著邊緣使用三個典型特征，叉點(diǎn)率、轉(zhuǎn)動頻率和角點(diǎn)率來描述，進(jìn)而生成圖像的特征矢量；接著，在匹配時采用綜合顯著邊緣匹配的方法度量圖像間的相似程度；最后，根據(jù)相似度排序，輸出相似圖像集合。本方法相對于其它方法檢索準(zhǔn)確率較高；由于使用了顯著邊緣和“多對多”的匹配策略，因此具有較高的檢索準(zhǔn)確率。
文檔編號G06T7/60GK1570973SQ0313442
公開日2005年1月26日 申請日期2003年7月23日 優(yōu)先權(quán)日2003年7月23日
發(fā)明者郭雷, 韓軍偉 申請人:西北工業(yè)大學(xué)