一種基于文本索引的實(shí)時(shí)圖像檢索方法
【專(zhuān)利摘要】本發(fā)明提供了一種基于文本索引的實(shí)時(shí)圖像檢索方法，步驟包括：構(gòu)建字典樹(shù)并獲得各個(gè)特征向量vq組成圖像查詢(xún)庫(kù)、提取輸入圖像的圖像特征點(diǎn)并生成特征描述子、將輸入圖像的特征描述子序列化為用特征字典表示的特征向量vd、計(jì)算圖庫(kù)中的特征向量與輸入圖像序列化后的特征向量間的相似度sim(vq,vd)以及驗(yàn)證檢索出來(lái)的M張圖片并檢索結(jié)果等步驟。該圖像檢索方法將圖像特征換成文本向量，特征檢索變成文本檢索的方法，使得檢索速度能達(dá)到實(shí)時(shí)，同時(shí)在識(shí)別結(jié)果上做了更深層次的驗(yàn)證，使得方法更具魯棒性。
【專(zhuān)利說(shuō)明】
一種基于文本索引的實(shí)時(shí)圖像檢索方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種圖像檢索方法，尤其是一種基于文本索引的實(shí)時(shí)圖像檢索方法。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)視覺(jué)及搜索引擎的快速發(fā)展，圖像檢索技術(shù)在各行業(yè)得到了越來(lái)越多 的重視。特別是現(xiàn)在深度學(xué)習(xí)的出現(xiàn)，使得圖像檢索方面的研究再次成為了熱點(diǎn)。
[0003] 傳統(tǒng)的圖像檢索方法主要有模板匹配以及特征匹配等方法，但是該類(lèi)算法會(huì)隨著 數(shù)據(jù)量的增大，計(jì)算量以及內(nèi)存會(huì)越來(lái)越大，沒(méi)法做到大數(shù)據(jù)的圖像檢索，而且隨著圖庫(kù)的 增加，其檢索時(shí)間也會(huì)隨之邊長(zhǎng)，當(dāng)數(shù)據(jù)量到一定程度時(shí)，該類(lèi)算法沒(méi)法做到實(shí)時(shí)，極大的 限制了其使用的范圍。之后B0W提出將圖像特征變?yōu)閱卧~向量的方法，極大的減少了內(nèi)存的 開(kāi)銷(xiāo)和檢索時(shí)間。但是傳統(tǒng)的方法采用SIFT，SURF等特征去提取特征點(diǎn)，使得算法在構(gòu)建視 覺(jué)詞庫(kù)時(shí)花的時(shí)間會(huì)比較長(zhǎng)。當(dāng)今非常流行的deep learning的提出，使得圖像檢索可以達(dá) 到一個(gè)很高的識(shí)別率，但是由于deep learning需求大量的數(shù)據(jù)，而且訓(xùn)練時(shí)間很長(zhǎng)，內(nèi)存 需求很大等限制，使得其不能用于很多場(chǎng)合。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明要解決的技術(shù)問(wèn)題是傳統(tǒng)的圖像檢索方法采用sift、SUrf等描述子提取圖 像特征，使得其生成字典樹(shù)的時(shí)間比較長(zhǎng)，在某些快速應(yīng)用場(chǎng)合不適用。
[0005] 為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于文本索引的實(shí)時(shí)圖像檢索方法， 包括如下步驟：
[0006] 步驟1，構(gòu)建字典樹(shù)，具體步驟為：
[0007] 步驟1.1，用FAST角點(diǎn)算法分層提取圖庫(kù)中每一張圖像的多尺度仿射不變特征點(diǎn)， 并根據(jù)不變特征點(diǎn)的分布篩選部分特征點(diǎn)生成特征描述子數(shù)據(jù)庫(kù)D;
[0008] 步驟1.2，用聚類(lèi)算法分層訓(xùn)練特征描述子，當(dāng)層數(shù)1 = 1時(shí)，將特征描述子數(shù)據(jù)庫(kù)D 分為K個(gè)子類(lèi)，即011，012，-_，011(，再用同樣的方法訓(xùn)練1 = 2，-_丄層的特征描述子，最終生成 L層且每層有K1個(gè)節(jié)點(diǎn)的字典樹(shù)；
[0009] 步驟1.3將字典樹(shù)最外層的節(jié)點(diǎn)作為特征字典，共K1個(gè)特征字典，再統(tǒng)計(jì)每一個(gè)特 征字典在圖庫(kù)中出現(xiàn)的次數(shù)，并根據(jù)出現(xiàn)的次數(shù)計(jì)算出每一個(gè)特征字典的權(quán)值^，再生成 圖庫(kù)中每一張圖像的特征向量Vq，并由各個(gè)特征向量Vq組成圖像查詢(xún)庫(kù)；
[0010] 步驟2,對(duì)于輸入圖像，采用FAST角點(diǎn)算法分層提取輸入圖像的圖像特征點(diǎn)，并根 據(jù)特征點(diǎn)的分布篩選部分特征點(diǎn)生成輸入圖像的特征描述子；
[0011] 步驟3,根據(jù)生成的字典樹(shù)將輸入圖像的特征描述子序列化為特征字典表示，再根 據(jù)序列化后的特征字典的權(quán)值生成輸入圖像的特征向量Vd;
[0012] 步驟4,計(jì)算圖像查詢(xún)庫(kù)中的各個(gè)特征向量vq與輸入圖像序列化后的特征向量vd之 間的相似度s i m ( v q，v d )，并返回相似度超過(guò)相似閾值的Μ張圖片，其中，
T表示矩陣的轉(zhuǎn)置；
[0013] 步驟5,分別驗(yàn)證返回的Μ張圖片與輸入圖像是否為同一張，若完全相同，則輸出該 張檢索出來(lái)的圖片為檢索結(jié)果。
[0014] 采用將圖像特征換成文本向量，特征檢索變成文本檢索的方法，使得檢索速度能 達(dá)到實(shí)時(shí);采用基于FAST多尺度提取，再結(jié)合尺度及其角度信息生成描述子，極大的縮短了 時(shí)間，同時(shí)也縮短了描述子的長(zhǎng)度;在識(shí)別結(jié)果上做了更深層次的驗(yàn)證，使得方法更具魯棒 性。
[0015] 作為本發(fā)明的進(jìn)一步限定方案，步驟1.3中，tflogi，-1，·…"，rud表示第i個(gè) 特征字典在特征描述子數(shù)據(jù)庫(kù)D中的出現(xiàn)的次數(shù)，nd表示特征描述子數(shù)據(jù)庫(kù)D中特征字典的 數(shù)量，N表示圖庫(kù)中圖像的數(shù)量，K表示圖庫(kù)中出現(xiàn)第i個(gè)特征字典的次數(shù)。
[0016] 本發(fā)明的有益效果在于：（1)采用將圖像特征換成文本向量，特征檢索變成文本檢 索的方法，使得檢索速度能達(dá)到實(shí)時(shí)；（2)采用基于FAST多尺度提取，再結(jié)合尺度及其角度 信息生成描述子，極大的縮短了時(shí)間，同時(shí)也縮短了描述子的長(zhǎng)度；（3)在識(shí)別結(jié)果上做了 更深層次的驗(yàn)證，使得方法更具魯棒性。
【附圖說(shuō)明】
[0017] 圖1為本發(fā)明的方法流程圖。
【具體實(shí)施方式】
[0018] 如圖1所示，本發(fā)明的基于文本索引的實(shí)時(shí)圖像檢索方法，包括如下步驟：
[0019] 步驟1，構(gòu)建字典樹(shù)，具體步驟為：
[0020] 步驟1.1，用FAST角點(diǎn)算法分層提取圖庫(kù)中每一張圖像的多尺度仿射不變特征點(diǎn)， 并根據(jù)不變特征點(diǎn)的分布篩選部分特征點(diǎn)生成特征描述子數(shù)據(jù)庫(kù)D;
[0021 ]步驟1.2，用聚類(lèi)算法分層訓(xùn)練特征描述子，當(dāng)層數(shù)1 = 1時(shí)，將特征描述子數(shù)據(jù)庫(kù)D 分為K個(gè)子類(lèi)，即011，012，~，011(，再用同樣的方法訓(xùn)練1 = 2，~丄層的特征描述子，最終生成 L層且每層有K1個(gè)節(jié)點(diǎn)的字典樹(shù)，本實(shí)施例中，L = 3，K=10;
[0022] 步驟1.3將字典樹(shù)最外層的節(jié)點(diǎn)作為特征字典，共妙個(gè)特征字典，再統(tǒng)計(jì)每一個(gè)特 征字典在圖庫(kù)中出現(xiàn)的次數(shù)，并根據(jù)出現(xiàn)的次數(shù)計(jì)算出每一個(gè)特征字典的權(quán)值^，再生成 圖庫(kù)中每一張圖像的特征向量v q，并由各個(gè)特征向量^組成圖像查詢(xún)庫(kù)，其中 f logf "_=|，…，w，md表示第i個(gè)特征字典在特征描述子數(shù)據(jù)庫(kù)D中的出現(xiàn)的次數(shù)，nd表 示特征描述子數(shù)據(jù)庫(kù)D中特征字典的數(shù)量，N表示圖庫(kù)中圖像的數(shù)量，化表示圖庫(kù)中出現(xiàn)第i 個(gè)特征字典的次數(shù)；
[0023] 步驟2,對(duì)于輸入圖像，采用FAST角點(diǎn)算法分層提取輸入圖像的圖像特征點(diǎn)，并根 據(jù)特征點(diǎn)的分布篩選部分特征點(diǎn)生成輸入圖像的特征描述子；
[0024] 步驟3,根據(jù)生成的字典樹(shù)將輸入圖像的特征描述子序列化為特征字典表示，再根 據(jù)序列化后的特征字典的權(quán)值生成輸入圖像的特征向量Vd;
[0025] 步驟4，計(jì)算圖像查詢(xún)庫(kù)中的各個(gè)特征向量vq與輸入圖像序列化后的特征向量Vd之 間的相似度S i m ( V q，V d )，并返回相似度超過(guò)相似閾值的Μ張圖片，其中，
「表示矩陣的轉(zhuǎn)置；
[0026]步驟5,分別驗(yàn)證返回的Μ張圖片與輸入圖像是否為同一張，若完全相同，則輸出該 張檢索出來(lái)的圖片為檢索結(jié)果。
[0027] 本發(fā)明與傳統(tǒng)的圖像檢索方法相比優(yōu)勢(shì)在于:采用將圖像特征換成文本向量，特 征檢索變成文本檢索的方法，使得檢索速度能達(dá)到實(shí)時(shí);采用基于FAST多尺度提取，再結(jié)合 尺度及其角度信息生成描述子，極大的縮短了時(shí)間，同時(shí)也縮短了描述子的長(zhǎng)度;在識(shí)別結(jié) 果上做了更深層次的驗(yàn)證，使得方法更具魯棒性。本發(fā)明的圖像檢索方法不論是圖庫(kù)的創(chuàng) 建時(shí)間、占用的內(nèi)存以及檢索準(zhǔn)確率均遠(yuǎn)遠(yuǎn)優(yōu)于現(xiàn)有算法。
[0028] 本發(fā)明的基于文本索引的實(shí)時(shí)圖像檢索方法在進(jìn)行實(shí)驗(yàn)驗(yàn)證時(shí)，硬件環(huán)境設(shè)置 為:win8、vs2010DEBUG模式下、i7處理器以及8G內(nèi)存；建圖部分:找了 100張圖像，640*480， 不變特征點(diǎn)的數(shù)量為200~500,每幅圖像所用時(shí)間少于200ms，一般在18000~20000ms之 間，生成7234K的文件;檢索部分:檢測(cè)特征點(diǎn)并生成特征描述子，20ms內(nèi)，檢索速度10ms內(nèi)， 驗(yàn)證10ms內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于文本索引的實(shí)時(shí)圖像檢索方法，其特征在于，包括如下步驟： 步驟1，構(gòu)建字典樹(shù)，具體步驟為： 步驟1.1，用FAST角點(diǎn)算法分層提取圖庫(kù)中每一張圖像的多尺度仿射不變特征點(diǎn)，并根 據(jù)不變特征點(diǎn)的分布篩選部分特征點(diǎn)生成特征描述子數(shù)據(jù)庫(kù)D; 步驟1.2，用聚類(lèi)算法分層訓(xùn)練特征描述子，當(dāng)層數(shù)1 = 1時(shí)，將特征描述子數(shù)據(jù)庫(kù)D分為 K個(gè)子類(lèi)，即Dii，Di2,…，DiK，再用同樣的方法訓(xùn)練1 = 2,…，L層的特征描述子，最終生成L層 且每層有Κ?個(gè)節(jié)點(diǎn)的字典樹(shù)； 步驟1.3將字典樹(shù)最外層的節(jié)點(diǎn)作為特征字典，共1(^個(gè)特征字典，再統(tǒng)計(jì)每一個(gè)特征字 典在圖庫(kù)中出現(xiàn)的次數(shù)，并根據(jù)出現(xiàn)的次數(shù)計(jì)算出每一個(gè)特征字典的權(quán)值ti，再生成圖庫(kù) 中每一張圖像的特征向量Vq，并由各個(gè)特征向量Vq組成圖像查詢(xún)庫(kù)； 步驟2,對(duì)于輸入圖像，采用FAST角點(diǎn)算法分層提取輸入圖像的圖像特征點(diǎn)，并根據(jù)特 征點(diǎn)的分布篩選部分特征點(diǎn)生成輸入圖像的特征描述子； 步驟3,根據(jù)生成的字典樹(shù)將輸入圖像的特征描述子序列化為特征字典表示，再根據(jù)序 列化后的特征字典的權(quán)值生成輸入圖像的特征向量Vd; 步驟4,計(jì)算圖像查詢(xún)庫(kù)中的各個(gè)特征向量Vq與輸入圖像序列化后的特征向量vd之間的 相似度sim(vq，vd)，并返回相似度超過(guò)相似闊值的Μ張圖片，其中隸 示矩陣的轉(zhuǎn)置； 步驟5,分別驗(yàn)證返回的Μ張圖片與輸入圖像是否為同一張，若完全相同，則輸出該張檢 索出來(lái)的圖片為檢索結(jié)果。2. 根據(jù)權(quán)利要求1所述的基于文本索引的實(shí)時(shí)圖像檢索方法，其特征在于，步驟1.3中，= l，-'，n，nid表示第i個(gè)特征字典在特征描述子數(shù)據(jù)庫(kù)D中的出現(xiàn)的次數(shù)，nd 表示特征描述子數(shù)據(jù)庫(kù)D中特征字典的數(shù)量，N表示圖庫(kù)中圖像的數(shù)量，Ni表示圖庫(kù)中出現(xiàn) 第i個(gè)特征字典的次數(shù)。
【文檔編號(hào)】G06F17/30GK105975643SQ201610584562
【公開(kāi)日】2016年9月28日
【申請(qǐng)日】2016年7月22日
【發(fā)明人】潘銘星, 馮向文, 孫健, 楊佩星, 趙金輝, 付俊國(guó)
【申請(qǐng)人】南京維睛視空信息科技有限公司