專利名稱：用于物體識(shí)別的圖像數(shù)據(jù)庫的制作方法、制作裝置以及制作程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于物體識(shí)別的圖像數(shù)據(jù)庫的制作方法、制作裝置以及制作程序。具體而言，本發(fā)明涉及壓縮特征向量的表示并涉及在特定物體識(shí)別上的應(yīng)用，其中使用關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)。關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)允許假陽性，當(dāng)給定某個(gè)數(shù)據(jù)集和元素時(shí)，使用該數(shù)據(jù)結(jié)構(gòu)來基于鍵(key)關(guān)聯(lián)分配給每個(gè)數(shù)據(jù)(鍵)的值。
背景技術(shù)：
特定物體識(shí)別是一項(xiàng)識(shí)別物體實(shí)例的任務(wù)。在本說明書中，描述使用如SIFT(例如參見非專利文獻(xiàn)1)的局部特征向量的特定物體識(shí)別。由于我們周圍有許多物體，需要一種允許我們識(shí)別大量物體的特定物體識(shí)別技術(shù)來提供實(shí)際服務(wù)。局部特征是基于實(shí)數(shù)值的多維向量。由于局部特征的區(qū)別能力強(qiáng)，所以局部特征適用于識(shí)別許多物體。作為特定物體識(shí)別方法，基礎(chǔ)的方法基于通過對從未知物體獲得的特征向量和從已有物體獲得的特征向量進(jìn)行匹配而實(shí)現(xiàn)的投票。該方法采用特征向量的最近鄰搜索進(jìn)行匹配。該方法面臨由大量特征向量造成的下列問題。最主要的問題涉及處理速度和存儲(chǔ)量。幸運(yùn)的是，已針對處理速度問題提出了許多方法。這些方法的例子包括如k維樹的樹結(jié)構(gòu)(例如參看非專利文獻(xiàn)1)和基于哈希的方法(例如參看非專利文獻(xiàn)1和非專利文獻(xiàn)幻。這些方法所采用的近似最近鄰搜索使我們可以極大地提高處理速度。另一方面，存儲(chǔ)量問題則難以實(shí)現(xiàn)突破。通常從一副圖像提取幾千個(gè)局部特征，而且，物體數(shù)增加時(shí)，需要大量存儲(chǔ)器進(jìn)行存儲(chǔ)。已提出了一些減少存儲(chǔ)量的方法。例如，方法之一是基于稱為“視覺詞(visual words)，，的經(jīng)向量量化的特征向量減少所需存儲(chǔ)量。該方法對于用于識(shí)別圖像中一類物體 (例如普通“汽車”類別)的“通用物體識(shí)別”是有效的。然而，這種方法不是特別適用于識(shí)別圖像中物體實(shí)例(例如，“汽車”類別中特定的型號(hào)名稱)的“特定物體識(shí)別”。為了實(shí)現(xiàn)大規(guī)模特定物體識(shí)別，必須增加視覺詞數(shù)量。然而，為了實(shí)現(xiàn)大規(guī)模識(shí)別，只有兩到三個(gè)特征向量可以與一個(gè)視覺詞關(guān)聯(lián)。據(jù)報(bào)道，如果多于兩個(gè)或三個(gè)特征向量與一個(gè)視覺詞關(guān)聯(lián)， 識(shí)別率就會(huì)降低(參看非專利文獻(xiàn)4)。因而，這種方法的存儲(chǔ)量減少有限。另一種方法是利用標(biāo)量量化(例如參看非專利文獻(xiàn)幻或者通過選擇特征向量 (例如參看非專利文獻(xiàn)6、非專利文獻(xiàn)4)減少存儲(chǔ)量。在這些使用近似最近鄰搜索的方法中，需要計(jì)算特征向量的距離，這使得在任何情況下都需要存儲(chǔ)各個(gè)特征向量。因而，需要與要存儲(chǔ)的特征向量數(shù)成正比的存儲(chǔ)量，因而，這種方法的存儲(chǔ)量減少有限。解決該問題的一個(gè)可能途徑是省去進(jìn)行匹配的距離計(jì)算。這樣，不需要存儲(chǔ)特征向量，從而可以極大減少存儲(chǔ)量?；谶@一考慮，提出了基于哈希的方法，其中，把特征向量存儲(chǔ)在哈希表中，訪問哈希表以進(jìn)行識(shí)別(例如參看專利文獻(xiàn)1和非專利文獻(xiàn)幻。在該方法中，不是通過基于例如距離和相似度的量化概念的相似度搜索過程來進(jìn)行特征向量匹配，而是通過特征向量是否具有同一哈希函數(shù)(同一哈希值)的標(biāo)識(shí)過程來進(jìn)行特征向量匹配。由于哈希表中僅標(biāo)出特征向量的存在性，可以大大減少存儲(chǔ)量。引文列表專利文獻(xiàn)專利文獻(xiàn)1 國際公開W02008/(^6414非專利文獻(xiàn)非專利文獻(xiàn) 1 :D. Lowe ,Distinctive Image Features fromScale-Invariant KeypointsInternational Journal of ComputerVision, Vol.60, No. 2, pp. 91-110(2004)非專利文獻(xiàn)2 :野口和人，黃瀬浩一，巖村雅一“近似最近傍探索O多段階化(二 J:易物體Θ高速認(rèn)識(shí)，‘‘畫像O認(rèn)識(shí) 理解* >求”勺K (MIRU2007)論文集，0 S-B2-02， pp. 111-118(2007)。# 專禾Ij 文 ^ 3 :K. Kise, K. Noguchi and Μ. Iwamura "Memory Efficient Recognition of Specific Obj ects with LocalFeatures，，，Proc. Of the 19th International Conference of PatternRecognition(ICPR2008)WeAT3. 1(2008).非專利文獻(xiàn)4 :井上勝文，三宅弘志，黃瀬浩一‘‘局所記述子(二基3 < 3次元物體認(rèn)識(shí)Q t的Q ^ U削減一局所記述子O取捨選択(二 J 3 7 口一子一〃，畫像乃認(rèn)識(shí)·理解* > 水。”々 A (MIRU2008)論文集、OS 15-3, pp. 363-370(2008)。非專利文獻(xiàn)5 本道貴行，黃瀬浩一“特定物體認(rèn)識(shí)O tz^^ 7—夕^ 一 ^容量削減法O検討 局所特徵量O量子化△取捨選択 “，電子情報(bào)通信學(xué)會(huì)技術(shù)研究報(bào)告、 Vol. 108，No. 484，PRMU2008-265, pp.171-176(2009)。非專利文獻(xiàn)6 :B. Chazelle, J. Killian, R. Rubinfeld and A. Tal :‘‘The Bloomier Filter :An Efficient Data Structure for Static Support Lookup Table", Proc.15th Annual ACM-SIAM SODA,pp.30-39 (2004).

發(fā)明內(nèi)容
發(fā)明要解決的問題然而，該方法仍然存在關(guān)于存儲(chǔ)量的問題。為了實(shí)現(xiàn)正確識(shí)別，類似的特征向量必須具有相同的哈希值。然而，這樣一來，存儲(chǔ)在哈希表中的特征向量是偏移的，而且，幾乎哈希表中的所有bin通常都是空的。因而，空間效率即存儲(chǔ)空間中有效利用的存儲(chǔ)區(qū)域比變差?？紤]到上述情況提出了本發(fā)明，其目的在于提供一種空間效率很好的制作和檢索圖像數(shù)據(jù)庫的方法，其中使用關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)來解決上述問題。關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)提供一個(gè)值，根據(jù)用作數(shù)據(jù)集元素的鍵把該鍵分配給該值。關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)包括允許假陽性的數(shù)據(jù)結(jié)構(gòu)，作為對壓縮數(shù)據(jù)量的折中，即，作為減少存儲(chǔ)數(shù)據(jù)所需的存儲(chǔ)量和實(shí)現(xiàn)高空間效率之間的平衡。數(shù)據(jù)結(jié)構(gòu)用于檢查(檢索)所存儲(chǔ)的許多鍵中是否存有某個(gè)鍵。假陽性意味著檢索時(shí)可能返回不是分配給該鍵的值，或者雖然沒有存儲(chǔ)某個(gè)鍵但是返回值。由此，可以說該數(shù)據(jù)結(jié)構(gòu)是概率(probabilistic)數(shù)據(jù)結(jié)構(gòu)。雖然不能保證可以獲得正確答案，即可能返回錯(cuò)誤結(jié)果，但錯(cuò)誤結(jié)果的概率低到實(shí)際使用沒有問題就可以。允許假陽性是降低制作數(shù)據(jù)庫所需的存儲(chǔ)量的取舍之一。不使用哈希表而使用上述數(shù)據(jù)結(jié)構(gòu)來檢查是否存儲(chǔ)了特征向量。重要區(qū)別在于在錯(cuò)誤地檢測到?jīng)]有存儲(chǔ)的特征向量時(shí)所出現(xiàn)的假陽性。在使用哈希表的方法中，不會(huì)出現(xiàn)假陽性。另一方面，在使用上述數(shù)據(jù)結(jié)構(gòu)的方法中，雖然某種程度上允許假陽性，但是可以實(shí)現(xiàn)高空間效率。用于解決問題的方案本發(fā)明提供一種圖像數(shù)據(jù)庫制作方法，用于制作物體識(shí)別用圖像數(shù)據(jù)庫，并包括如下步驟提取步驟，從通過拍攝要存儲(chǔ)在圖像數(shù)據(jù)庫中的物體所形成的圖像提取多個(gè)特征向量，其中，預(yù)先對所述物體分配了 η位的標(biāo)識(shí)符，η是自然數(shù)，并且每個(gè)特征向量表示所述圖像的局部特征；以及存儲(chǔ)步驟，通過使用一組數(shù)據(jù)結(jié)構(gòu)將每個(gè)特征向量存儲(chǔ)在所述圖像數(shù)據(jù)庫中，每個(gè)數(shù)據(jù)結(jié)構(gòu)返回表示指定的數(shù)據(jù)是否存儲(chǔ)在該數(shù)據(jù)結(jié)構(gòu)中的值，從而將所述物體的標(biāo)識(shí)符與從所述物體提取的特征向量關(guān)聯(lián)，其中，所述一組數(shù)據(jù)結(jié)構(gòu)具有至少 2Χη個(gè)標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)，每個(gè)標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)與所述標(biāo)識(shí)符的每一位的0值和1值相對應(yīng)； 所述存儲(chǔ)步驟根據(jù)提取出特征向量的所述物體把每個(gè)特征向量存儲(chǔ)到每一位的0值或1值的標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)；通過計(jì)算機(jī)訪問所述圖像數(shù)據(jù)庫，以在給出顯示有物體的圖像作為查詢時(shí)執(zhí)行識(shí)別處理，從而檢查所述圖像數(shù)據(jù)庫中是否存儲(chǔ)了與所述查詢相同的物體；其中所述識(shí)別處理包括如下步驟從所述查詢提取多個(gè)特征向量作為查詢向量；檢查所述標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)中是否存儲(chǔ)了與每個(gè)查詢向量相對應(yīng)的特征向量；以及在所述相對應(yīng)的特征向量存儲(chǔ)在所述標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)的每一位的0值或1值中時(shí)，根據(jù)每一位的存儲(chǔ)值找到與所述查詢向量相關(guān)的標(biāo)識(shí)符，從而基于對每個(gè)查詢向量進(jìn)行的檢查的統(tǒng)計(jì)將所述查詢與最相關(guān)的標(biāo)識(shí)符關(guān)聯(lián)。另一方面，本發(fā)明提供一種圖像數(shù)據(jù)庫制作裝置，用于制作物體識(shí)別用圖像數(shù)據(jù)庫，并包括提取單元，用于從通過拍攝要存儲(chǔ)在圖像數(shù)據(jù)庫中的物體所形成的圖像提取多個(gè)特征向量，其中，預(yù)先對所述物體分配了 η位的標(biāo)識(shí)符，η是自然數(shù)，并且每個(gè)特征向量表示所述圖像的局部特征；數(shù)據(jù)結(jié)構(gòu)單元，包括一組數(shù)據(jù)結(jié)構(gòu)，每個(gè)數(shù)據(jù)結(jié)構(gòu)返回表示指定的數(shù)據(jù)是否存儲(chǔ)在該數(shù)據(jù)結(jié)構(gòu)中的值；以及存儲(chǔ)單元，用于將每個(gè)特征向量存儲(chǔ)在所述數(shù)據(jù)結(jié)構(gòu)單元中，以將預(yù)先分配給所述物體的標(biāo)識(shí)符與從所述物體提取的特征向量關(guān)聯(lián)，其中， 所述數(shù)據(jù)結(jié)構(gòu)單元具有至少2Χη個(gè)標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)，每個(gè)標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)與所述標(biāo)識(shí)符的每一位的0值和1值相對應(yīng)；所述存儲(chǔ)單元根據(jù)提取出特征向量的所述物體把每個(gè)特征向量存儲(chǔ)到每一位的0值或1值的標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)；通過識(shí)別設(shè)備訪問所述圖像數(shù)據(jù)庫，以在給出顯示有物體的圖像作為查詢時(shí)檢查所述圖像數(shù)據(jù)庫中是否存儲(chǔ)了與所述查詢相同的物體；以及所述識(shí)別設(shè)備從所述查詢提取多個(gè)特征向量作為查詢向量；檢查所述標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)中是否存儲(chǔ)了與每個(gè)查詢向量相對應(yīng)的特征向量；以及在所述相對應(yīng)的特征向量存儲(chǔ)在所述標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)的每一位的0值或1值中時(shí)，根據(jù)每一位的存儲(chǔ)值找到與所述查詢向量相關(guān)的標(biāo)識(shí)符，從而基于對每個(gè)查詢向量進(jìn)行的檢查的統(tǒng)計(jì)將所述查詢與最相關(guān)的標(biāo)識(shí)符關(guān)聯(lián)。此外，本發(fā)明提供一種圖像數(shù)據(jù)庫制作程序，用于制作物體識(shí)別用圖像數(shù)據(jù)庫，并且使計(jì)算機(jī)能夠執(zhí)行如下步驟提取步驟，從通過拍攝要存儲(chǔ)在圖像數(shù)據(jù)庫中的物體所形成的圖像提取多個(gè)特征向量，其中，預(yù)先對所述物體分配了 η位的標(biāo)識(shí)符，η是自然數(shù)，并且每個(gè)特征向量表示所述圖像的局部特征；以及存儲(chǔ)步驟，通過使用一組數(shù)據(jù)結(jié)構(gòu)把每個(gè)特征向量存儲(chǔ)在所述圖像數(shù)據(jù)庫中，每個(gè)數(shù)據(jù)結(jié)構(gòu)返回表示指定的數(shù)據(jù)是否存儲(chǔ)在該數(shù)據(jù)結(jié)構(gòu)中的值，從而將所述物體的標(biāo)識(shí)符與從所述物體提取的特征向量關(guān)聯(lián)，其中，所述一組數(shù)據(jù)結(jié)構(gòu)具有至少2Xn個(gè)標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)，每個(gè)標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)與所述標(biāo)識(shí)符的每一位的0 值和1值相對應(yīng)；所述存儲(chǔ)步驟根據(jù)提取出特征向量的所述物體把每個(gè)特征向量存儲(chǔ)到每一位的0值或1值的標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)；通過所述計(jì)算機(jī)或其它計(jì)算機(jī)訪問所述圖像數(shù)據(jù)庫， 以在給出顯示物體的圖像作為查詢時(shí)執(zhí)行識(shí)別處理，從而檢查所述圖像數(shù)據(jù)庫中是否存儲(chǔ)了與所述查詢相同的物體；其中所述識(shí)別處理包括如下步驟從所述查詢提取多個(gè)特征向量作為查詢向量；檢查所述標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)中是否存儲(chǔ)了與每個(gè)查詢向量相對應(yīng)的特征向量；以及在所述相對應(yīng)的特征向量存儲(chǔ)在所述標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)的每一位的0值或1值中時(shí)， 根據(jù)每一位的存儲(chǔ)值找到與所述查詢向量相關(guān)的標(biāo)識(shí)符，從而基于對每個(gè)查詢向量進(jìn)行的檢查的統(tǒng)計(jì)將所述查詢與最相關(guān)的標(biāo)識(shí)符關(guān)聯(lián)。發(fā)明的效果在用于物體識(shí)別的圖像數(shù)據(jù)庫的制作方法中，在存儲(chǔ)步驟，根據(jù)提取出特征向量的物體，把特征向量存儲(chǔ)到每一位為O值或1值的2Xn標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)中。因而，可以根據(jù)存儲(chǔ)特征向量的數(shù)據(jù)結(jié)構(gòu)，即通過檢查對應(yīng)的特征向量是否保存在0值數(shù)據(jù)結(jié)構(gòu)或1值數(shù)據(jù)結(jié)構(gòu)中，來從特征向量關(guān)聯(lián)標(biāo)識(shí)符的值。該數(shù)據(jù)結(jié)構(gòu)允許假陽性以壓縮數(shù)據(jù)量。因而， 可以以和常規(guī)方法基本相同的存儲(chǔ)量實(shí)現(xiàn)大型物體識(shí)別圖像數(shù)據(jù)庫。如下文的圖9、10、15 和16所示，根據(jù)實(shí)驗(yàn)可以驗(yàn)證，與使用哈希表的近似最近鄰搜索相比，本發(fā)明可以減少存儲(chǔ)量。本發(fā)明中，可用作數(shù)據(jù)結(jié)構(gòu)的具體示例是Bloom濾波器，用作關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)的具體示例是Bloomier濾波器(例如參看非專利文獻(xiàn)6)。Bloomier濾波器是如下方法的數(shù)據(jù)結(jié)構(gòu)，該方法基于用作要存儲(chǔ)的元素的多個(gè)鍵來關(guān)聯(lián)分別分配給相應(yīng)的鍵的值。關(guān)聯(lián)意味著給定某個(gè)鍵時(shí)，根據(jù)預(yù)定數(shù)據(jù)結(jié)構(gòu)可以短時(shí)間內(nèi)得到與該鍵關(guān)聯(lián)的值。關(guān)聯(lián)意味著利用該策略獲得與鍵關(guān)聯(lián)的值。Bloomier濾波器包括具有多個(gè)共同哈希函數(shù)的多個(gè)Bloom濾波器(m位的位數(shù)組(bit array))。當(dāng)給定某個(gè)鍵時(shí)，使用從各個(gè)哈希函數(shù)得到的哈希值引用各個(gè)Bloom濾波器，并可以基于引用結(jié)果來得到和該鍵關(guān)聯(lián)的值。下文對此進(jìn)行詳細(xì)描述。根據(jù)本發(fā)明，把表示物體的圖像存儲(chǔ)到用于物體識(shí)別的圖像數(shù)據(jù)庫中，并且給出圖像作為查詢。如果可以從數(shù)據(jù)庫找到和該查詢的圖像代表的物體匹配的物體，則可認(rèn)為識(shí)別到了物體。在物體識(shí)別時(shí)，重要的是短時(shí)間內(nèi)完成物體識(shí)別，并且實(shí)現(xiàn)圖像數(shù)據(jù)庫的存儲(chǔ)量的減少。這兩者之間的關(guān)系通常是有所取舍的。本發(fā)明更側(cè)重于減少存儲(chǔ)量。具體而言， 本發(fā)明是一種構(gòu)建存儲(chǔ)大量圖像數(shù)據(jù)的圖像數(shù)據(jù)庫的有效方法。上述操作和效果同樣也適用于根據(jù)本發(fā)明的用于物體識(shí)別的圖像數(shù)據(jù)庫的制作裝置和制作程序。


圖1是示出常規(guī)物體識(shí)別中為了縮短識(shí)別時(shí)間而具有級(jí)聯(lián)的多個(gè)識(shí)別器的級(jí)聯(lián)結(jié)構(gòu)的示意圖。
圖2是示出根據(jù)本發(fā)明的存儲(chǔ)到Bloom濾波器的存儲(chǔ)流程的示意圖。圖3是示出根據(jù)本發(fā)明的實(shí)驗(yàn)中使用的三維物體示例的示意圖。圖4是示出根據(jù)本發(fā)明的實(shí)驗(yàn)中使用的平面物體示例的示意圖。圖5是示出本發(fā)明實(shí)驗(yàn)中用作查詢的圖像的示意圖，其中通過改變每個(gè)平面物體的視角而拍攝每個(gè)圖像。圖6是示出本發(fā)明方法以及作為比較示例的野口和人的方法改變各個(gè)參數(shù)時(shí)的物體識(shí)別率(實(shí)驗(yàn)U5個(gè)三維物體的識(shí)別實(shí)驗(yàn))的第一圖。圖7是示出本發(fā)明方法以及作為比較示例的野口和人的方法改變各個(gè)參數(shù)時(shí)的物體識(shí)別率(實(shí)驗(yàn)U5個(gè)三維物體的識(shí)別實(shí)驗(yàn))的第二圖。圖8是示出作為比較示例的野口和人的方法改變各個(gè)參數(shù)時(shí)的物體識(shí)別率(實(shí)驗(yàn) 1，55個(gè)三維物體的識(shí)別實(shí)驗(yàn))的第三圖。圖9是示出對本發(fā)明方法以及作為比較示例的野口和人的方法改變參數(shù)c時(shí)識(shí)別過程所需存儲(chǔ)量的比較結(jié)果(實(shí)驗(yàn)1巧5個(gè)三維物體的識(shí)別實(shí)驗(yàn))的第一圖。圖10是示出對本發(fā)明方法以及作為比較示例的野口和人的方法改變參數(shù)c時(shí)識(shí)別過程所需存儲(chǔ)量的比較結(jié)果(實(shí)驗(yàn)1，55個(gè)三維物體的識(shí)別實(shí)驗(yàn))的第二圖。圖11是示出改變本發(fā)明方法中的參數(shù)t的識(shí)別率(實(shí)驗(yàn)1，55個(gè)三維物體的識(shí)別實(shí)驗(yàn))的圖。圖12是示出本發(fā)明方法以及作為比較示例的野口和人的方法改變各個(gè)參數(shù)時(shí)的物體識(shí)別率(實(shí)驗(yàn)2，5000個(gè)平面物體的識(shí)別實(shí)驗(yàn))的第一圖。圖13是示出本發(fā)明方法以及作為比較示例的野口和人的方法改變各個(gè)參數(shù)時(shí)的物體識(shí)別率(實(shí)驗(yàn)2，5000個(gè)平面物體的識(shí)別實(shí)驗(yàn))的第二圖。圖14是示出作為比較示例的野口和人的方法改變各個(gè)參數(shù)時(shí)的物體識(shí)別率(實(shí)驗(yàn)2，5000個(gè)平面物體的識(shí)別實(shí)驗(yàn))的第三圖。圖15是示出對本發(fā)明方法以及作為比較示例的野口和人的方法改變參數(shù)c時(shí)識(shí)別過程所需存儲(chǔ)量的比較結(jié)果(實(shí)驗(yàn)2，5000個(gè)平面物體的識(shí)別實(shí)驗(yàn))的第一圖。圖16是示出對本發(fā)明方法以及作為比較示例的野口和人的方法改變參數(shù)c時(shí)識(shí)別過程所需存儲(chǔ)量的比較結(jié)果(實(shí)驗(yàn)2，5000個(gè)平面物體的識(shí)別實(shí)驗(yàn))的第二圖。圖17是示出對本發(fā)明方法以及作為比較示例的野口和人的方法利用相同的存儲(chǔ)器大小在d =觀和d = M時(shí)改變參數(shù)b和c時(shí)的識(shí)別率和處理時(shí)間(實(shí)驗(yàn)2，5000個(gè)平面物體的識(shí)別實(shí)驗(yàn))的圖。圖18是示出改變本發(fā)明方法中的參數(shù)t的物體識(shí)別率(實(shí)驗(yàn)2，5000個(gè)平面物體的識(shí)別實(shí)驗(yàn))的圖。圖19是示出本發(fā)明方法中錯(cuò)誤檢測所用的Bloomier濾波器(55個(gè)三維物體的識(shí)別實(shí)驗(yàn))的有效性的第一圖。圖20是示出本發(fā)明方法中錯(cuò)誤檢測所用的Bloomier濾波器(55個(gè)三維物體的識(shí)別實(shí)驗(yàn))的有效性的第二圖。圖21是示出本發(fā)明方法中錯(cuò)誤檢測所用的Bloomier濾波器(5000個(gè)平面物體的識(shí)別實(shí)驗(yàn))的有效性的第三圖。圖22是示出本發(fā)明方法中錯(cuò)誤檢測所用的Bloomier濾波器(5000個(gè)平面物體的
9識(shí)別實(shí)驗(yàn))的有效性的第四圖。圖23是描述根據(jù)本發(fā)明的數(shù)據(jù)庫制作方法的具體示例的第一示意圖。圖M是描述根據(jù)本發(fā)明的數(shù)據(jù)庫制作方法的具體示例的第二示意圖。
具體實(shí)施例方式下面描述本發(fā)明的優(yōu)選實(shí)施例。在根據(jù)本發(fā)明的用于物體識(shí)別的圖像數(shù)據(jù)庫制作方法中，每個(gè)數(shù)據(jù)結(jié)構(gòu)可允許假陽性，以減少存儲(chǔ)數(shù)據(jù)所需的存儲(chǔ)量。存儲(chǔ)步驟可應(yīng)用預(yù)定規(guī)則以獲得與標(biāo)識(shí)符相關(guān)的錯(cuò)誤檢測值，并且可把所獲得的值存儲(chǔ)到錯(cuò)誤檢測的數(shù)據(jù)結(jié)構(gòu)中；識(shí)別步驟可比較獲得的標(biāo)識(shí)符和存儲(chǔ)到錯(cuò)誤檢測的數(shù)據(jù)結(jié)構(gòu)中的值，并且當(dāng)兩者彼此相符時(shí)，識(shí)別步驟可將關(guān)于查詢向量的確定結(jié)果用于檢查的統(tǒng)計(jì)，如果兩者不等，則可不用于檢查的統(tǒng)計(jì)。具體而言，存儲(chǔ)步驟應(yīng)用預(yù)定的規(guī)則以獲得和標(biāo)識(shí)符相關(guān)的錯(cuò)誤檢測的值，并且把所獲得的值存儲(chǔ)到錯(cuò)誤檢測的數(shù)據(jù)結(jié)構(gòu)中。因而，即便確定查詢向量同時(shí)存儲(chǔ)在位的0值和1值中，仍然可確定與存儲(chǔ)到錯(cuò)誤檢測的數(shù)據(jù)結(jié)構(gòu)中的值的一致性。因而，與不使用錯(cuò)誤檢測的數(shù)據(jù)結(jié)構(gòu)的情況相比，可以以更高的準(zhǔn)確度找到和查詢向量相關(guān)的圖像。錯(cuò)誤檢測的值可包括至少一位，錯(cuò)誤檢測的數(shù)據(jù)結(jié)構(gòu)可包括用于存儲(chǔ)該位的0值的數(shù)據(jù)結(jié)構(gòu)和用于存儲(chǔ)該位的ι值的數(shù)據(jù)結(jié)構(gòu)。利用該結(jié)構(gòu)，除了包括通過利用2Xn數(shù)據(jù)結(jié)構(gòu)來關(guān)聯(lián)標(biāo)識(shí)符的關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)外，檢測用的數(shù)據(jù)結(jié)構(gòu)可被配置為還包括上述數(shù)據(jù)結(jié)構(gòu)。當(dāng)確定同一查詢向量由于假陽性既存儲(chǔ)在0值數(shù)據(jù)結(jié)構(gòu)中又存儲(chǔ)在1值數(shù)據(jù)結(jié)構(gòu)中的位的數(shù)量超過預(yù)定數(shù)值時(shí)，識(shí)別步驟可把和查詢向量相關(guān)的確定結(jié)果排除在檢查的統(tǒng)計(jì)之外。當(dāng)由于假陽性獲得超過預(yù)定數(shù)值的值作為和查詢向量相關(guān)的圖像的標(biāo)識(shí)符時(shí)，根據(jù)特定基礎(chǔ)排除包括許多錯(cuò)誤值的確定結(jié)果。這樣，與上述不排除確定結(jié)果的情況相比，可以以更高的準(zhǔn)確度找到和查詢向量相關(guān)的圖像。識(shí)別步驟可對被確定為和查詢向量相關(guān)的標(biāo)識(shí)符的值賦予預(yù)定的得分，同時(shí)，識(shí)別步驟也可以在確定沒有標(biāo)識(shí)符和查詢向量相關(guān)時(shí)不對任何標(biāo)識(shí)符賦予得分，而且識(shí)別步驟可基于對從查詢提取的查詢向量進(jìn)行的檢查的統(tǒng)計(jì)來確定得分最高的標(biāo)識(shí)符。進(jìn)行對查詢向量的多個(gè)確定結(jié)果投票的投票處理。因而，即便單個(gè)確定結(jié)果正確的概率不是100%， 仍可以通過投票處理得到有效結(jié)果。數(shù)據(jù)結(jié)構(gòu)可以是Bloom濾波器。在上述制作方法和檢索方法中，每個(gè)數(shù)據(jù)結(jié)構(gòu)的位數(shù)m (m是自然數(shù))可以大于預(yù)定的最大存儲(chǔ)向量數(shù)。更優(yōu)選地，m被確定為使得存儲(chǔ)每個(gè)向量后的每個(gè)數(shù)據(jù)結(jié)構(gòu)變得足夠稀疏從而包括0值的位。該結(jié)構(gòu)可以降低數(shù)據(jù)結(jié)構(gòu)的錯(cuò)誤檢測的概率，即降低假陽性風(fēng)險(xiǎn)。m增大太多時(shí)，空間效率變差。設(shè)計(jì)者可以通過實(shí)驗(yàn)或者根據(jù)經(jīng)驗(yàn)確定兩者之間平衡的有效值。此處所述的許多優(yōu)選實(shí)施例可彼此組合。下面參考附圖詳細(xì)描述本發(fā)明。下面的說明書從各方面來講都應(yīng)認(rèn)為是說明性的而不是對本發(fā)明的限定。
詳細(xì)描述本發(fā)明之前，詳細(xì)描述相關(guān)工作以易于理解本發(fā)明的技術(shù)含義。1、相關(guān)工作減少存儲(chǔ)量是使用局部特征向量的特定物體識(shí)別的重要問題。減少存儲(chǔ)量的傳統(tǒng)技術(shù)包括基于對特征向量進(jìn)行向量量化的技術(shù)(參看非專利文獻(xiàn)7)，或者基于標(biāo)量量化的技術(shù)(參看非專利文獻(xiàn)3)。在基于向量量化的前一種技術(shù)中，將多個(gè)特征向量轉(zhuǎn)換成稱為視覺詞的代表向量以減少存儲(chǔ)量。然而，為了實(shí)現(xiàn)大規(guī)模識(shí)別，只有幾個(gè)特征向量可以和一個(gè)視覺詞關(guān)聯(lián)。據(jù)報(bào)道，如果多于兩個(gè)或三個(gè)特征向量和一個(gè)視覺詞關(guān)聯(lián)，那么識(shí)別率會(huì)降低(參看非專利文獻(xiàn)5)。另一方面，在基于標(biāo)量量化的后一種技術(shù)中，通過對特征向量的每一維進(jìn)行標(biāo)量量化來減少存儲(chǔ)量。該技術(shù)某種程度上對大型物體識(shí)別是有效的。然而，即便特征向量數(shù)用1位表示，存儲(chǔ)量也和特征向量數(shù)成正比地增加，因而，執(zhí)行更大型物體識(shí)別受到限制。 因而，減小特征向量自身容量的技術(shù)是有限制的。減少存儲(chǔ)量的另一方法是不使用主存儲(chǔ)器而使用輔助存儲(chǔ)(例如，參看 F. Fraundorfer, H. Stewenius and D. Nister ·."k Binning Scheme for Fast Hard Drive Based Image Search", Proc. Of CVPR2007,pp. 1-6 U007)，或者Noritaka Himei，Toshikazu Wada "Approximate nearest neighbor search algorithm on HDD based on B+ tree", IEICE, Vol. 108，No. 484，PRMU2008-273, pp. 223-228 (2009))。還有一種對存儲(chǔ)在數(shù)據(jù)庫中的特征向量進(jìn)行采樣的技術(shù)(例如參看非專利文獻(xiàn)5和4)。使用輔助存儲(chǔ)的技術(shù)，策略是在主存儲(chǔ)器中僅存儲(chǔ)到特征向量的指針以減少存儲(chǔ)量。該技術(shù)可實(shí)現(xiàn)大型物體識(shí)別，但是帶來的問題是識(shí)別過程需要太多時(shí)間。在對特征向量進(jìn)行采樣的技術(shù)中，選擇對識(shí)別有效的特征向量以減少存儲(chǔ)量。即便在該技術(shù)中，對于實(shí)現(xiàn)大型物體識(shí)別而言，可以減少的特征向量的數(shù)量也是有限的。如果要減少多于限制的特征向量，識(shí)別率可能下降。在上述每種技術(shù)中，必需存儲(chǔ)各個(gè)特征向量以計(jì)算特征向量之間的距離。因而，識(shí)別所需的存儲(chǔ)量的減少是有限的。作為解決該問題的一種方法，考慮省去計(jì)算特征向量之間的距離。提出了使用哈希表的技術(shù)(參看專利文獻(xiàn)1、非專利文獻(xiàn)幻作為基于該概念的技術(shù)。然而，這種技術(shù)也存在問題。具體而言，存儲(chǔ)在哈希表中的特征向量是有偏的(biased)，其中，哈希表中的大部分bin是空的，這意味著空間效率低。鑒于此，本發(fā)明基于不進(jìn)行特征向量距離計(jì)算的概念給出使用和哈希表相比空間效率良好的Bloomier濾波器來減少存儲(chǔ)量的技術(shù)。2、野口和人的方法這部分描述本發(fā)明所基于的野口和人的方法(參看專利文獻(xiàn)1、非專利文獻(xiàn)幻。野口和人的方法是特定物體識(shí)別處理，其中特征向量的維數(shù)是36。用PCA-SIFT計(jì)算特征向量(例如參看Y. Ke and R. Sukthankar "PCI-SIFT :A more distinctive representation for local image descriptors", Proc. Of CVPR2004, Vol. 2, pp. 506-513 (2004)) 野口和人的方法分為兩個(gè)過程，這兩個(gè)過程是構(gòu)建用于把特征向量存儲(chǔ)在哈希表內(nèi)的數(shù)據(jù)庫的過程和使用該數(shù)據(jù)庫基于投票處理識(shí)別物體的識(shí)別過程。下面描述具體過程。2. 1、數(shù)據(jù)庫構(gòu)建
11
該部分描述野口和人的方法構(gòu)建數(shù)據(jù)庫的過程。在野口和人的方法中，提取特征向量P的第1 d維(d彡36)以形成P’ = (Pl, P2,…，pd)。然后，利用向量P’通過對每一維進(jìn)行二值化處理得到位向量u = (U1, U2,…，ud)。[公式1]
權(quán)利要求
1.一種圖像數(shù)據(jù)庫制作方法，用于制作物體識(shí)別用圖像數(shù)據(jù)庫，并包括如下步驟 提取步驟，從通過拍攝要存儲(chǔ)在圖像數(shù)據(jù)庫中的物體所形成的圖像提取多個(gè)特征向量，其中，預(yù)先對所述物體分配了 η位的標(biāo)識(shí)符，η是自然數(shù)，并且每個(gè)特征向量表示所述圖像的局部特征；以及存儲(chǔ)步驟，通過使用一組數(shù)據(jù)結(jié)構(gòu)將每個(gè)特征向量存儲(chǔ)在所述圖像數(shù)據(jù)庫中，每個(gè)數(shù)據(jù)結(jié)構(gòu)返回表示指定的數(shù)據(jù)是否存儲(chǔ)在該數(shù)據(jù)結(jié)構(gòu)中的值，從而將所述物體的標(biāo)識(shí)符與從所述物體提取的特征向量關(guān)聯(lián)，其中，所述一組數(shù)據(jù)結(jié)構(gòu)具有至少2Χη個(gè)標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)，每個(gè)標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)與所述標(biāo)識(shí)符的每一位的0值和1值相對應(yīng)；所述存儲(chǔ)步驟根據(jù)提取出特征向量的所述物體把每個(gè)特征向量存儲(chǔ)到每一位的0值或1值的標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)；通過計(jì)算機(jī)訪問所述圖像數(shù)據(jù)庫，以在給出顯示有物體的圖像作為查詢時(shí)執(zhí)行識(shí)別處理，從而檢查所述圖像數(shù)據(jù)庫中是否存儲(chǔ)了與所述查詢相同的物體；其中所述識(shí)別處理包括如下步驟 從所述查詢提取多個(gè)特征向量作為查詢向量；檢查所述標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)中是否存儲(chǔ)了與每個(gè)查詢向量相對應(yīng)的特征向量；以及在所述相對應(yīng)的特征向量存儲(chǔ)在所述標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)的每一位的0值或1值中時(shí)，根據(jù)每一位的存儲(chǔ)值找到與所述查詢向量相關(guān)的標(biāo)識(shí)符，從而基于對每個(gè)查詢向量進(jìn)行的檢查的統(tǒng)計(jì)將所述查詢與最相關(guān)的標(biāo)識(shí)符關(guān)聯(lián)。
2.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)庫制作方法，其中，每個(gè)數(shù)據(jù)結(jié)構(gòu)允許假陽性，以減少存儲(chǔ)數(shù)據(jù)所需的存儲(chǔ)量。
3.根據(jù)權(quán)利要求1或2所述的圖像數(shù)據(jù)庫制作方法，其中，所述存儲(chǔ)步驟應(yīng)用預(yù)定的規(guī)則以獲得與所述標(biāo)識(shí)符相關(guān)的錯(cuò)誤檢測用值，并把所獲得的錯(cuò)誤檢測用值存儲(chǔ)到錯(cuò)誤檢測用數(shù)據(jù)結(jié)構(gòu)中；以及所述識(shí)別處理將所找到的標(biāo)識(shí)符與存儲(chǔ)到所述錯(cuò)誤檢測用數(shù)據(jù)結(jié)構(gòu)中的值進(jìn)行比較， 并且，當(dāng)兩者相符時(shí)，所述識(shí)別處理將有關(guān)所述查詢向量的確定結(jié)果用于檢查的統(tǒng)計(jì)，當(dāng)兩者不相符時(shí)，所述識(shí)別處理不把所述確定結(jié)果用于檢查的統(tǒng)計(jì)。
4.根據(jù)權(quán)利要求3所述的圖像數(shù)據(jù)庫制作方法，其中， 所述錯(cuò)誤檢測用值包括至少一位，而且所述錯(cuò)誤檢測用數(shù)據(jù)結(jié)構(gòu)包括用于存儲(chǔ)所有位的0值的數(shù)據(jù)結(jié)構(gòu)和用于存儲(chǔ)所有位的1值的數(shù)據(jù)結(jié)構(gòu)。
5.根據(jù)權(quán)利要求2至4中任意一項(xiàng)所述的圖像數(shù)據(jù)庫制作方法，其中，當(dāng)同一查詢向量由于假陽性而被確定為同時(shí)存儲(chǔ)在0值的數(shù)據(jù)結(jié)構(gòu)和1值的數(shù)據(jù)結(jié)構(gòu)中的位的數(shù)量超過預(yù)定數(shù)值時(shí)，所述識(shí)別處理將關(guān)于該查詢向量的確定結(jié)果從檢查的統(tǒng)計(jì)中排除。
6.根據(jù)權(quán)利要求1至5中任意一項(xiàng)所述的圖像數(shù)據(jù)庫制作方法，其中，所述識(shí)別處理對被確定為與所述查詢向量相關(guān)的標(biāo)識(shí)符的值賦予預(yù)定的得分，并在確定沒有標(biāo)識(shí)符與所述查詢向量相關(guān)時(shí)不對任何標(biāo)識(shí)符賦予得分；而且所述識(shí)別處理根據(jù)針對從所述查詢提取的查詢向量進(jìn)行的檢查的統(tǒng)計(jì)確定得分最高的標(biāo)識(shí)符。
7.根據(jù)權(quán)利要求1至6中任意一項(xiàng)所述的圖像數(shù)據(jù)庫制作方法，其中，所述數(shù)據(jù)結(jié)構(gòu)是布隆濾波器。
8.一種圖像數(shù)據(jù)庫制作裝置，用于制作物體識(shí)別用圖像數(shù)據(jù)庫，并包括提取單元，用于從通過拍攝要存儲(chǔ)在圖像數(shù)據(jù)庫中的物體所形成的圖像提取多個(gè)特征向量，其中，預(yù)先對所述物體分配了 η位的標(biāo)識(shí)符，η是自然數(shù)，并且每個(gè)特征向量表示所述圖像的局部特征；數(shù)據(jù)結(jié)構(gòu)單元，包括一組數(shù)據(jù)結(jié)構(gòu)，每個(gè)數(shù)據(jù)結(jié)構(gòu)返回表示指定的數(shù)據(jù)是否存儲(chǔ)在該數(shù)據(jù)結(jié)構(gòu)中的值；以及存儲(chǔ)單元，用于將每個(gè)特征向量存儲(chǔ)在所述數(shù)據(jù)結(jié)構(gòu)單元中，以將預(yù)先分配給所述物體的標(biāo)識(shí)符與從所述物體提取的特征向量關(guān)聯(lián)，其中，所述數(shù)據(jù)結(jié)構(gòu)單元具有至少2Χη個(gè)標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)，每個(gè)標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)與所述標(biāo)識(shí)符的每一位的0值和1值相對應(yīng)；所述存儲(chǔ)單元根據(jù)提取出特征向量的所述物體把每個(gè)特征向量存儲(chǔ)到每一位的0值或1值的標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)；通過識(shí)別設(shè)備訪問所述圖像數(shù)據(jù)庫，以在給出顯示有物體的圖像作為查詢時(shí)檢查所述圖像數(shù)據(jù)庫中是否存儲(chǔ)了與所述查詢相同的物體；以及所述識(shí)別設(shè)備從所述查詢提取多個(gè)特征向量作為查詢向量；檢查所述標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)中是否存儲(chǔ)了與每個(gè)查詢向量相對應(yīng)的特征向量；以及在所述相對應(yīng)的特征向量存儲(chǔ)在所述標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)的每一位的0值或1值中時(shí)，根據(jù)每一位的存儲(chǔ)值找到與所述查詢向量相關(guān)的標(biāo)識(shí)符，從而基于對每個(gè)查詢向量進(jìn)行的檢查的統(tǒng)計(jì)將所述查詢與最相關(guān)的標(biāo)識(shí)符關(guān)聯(lián)。
9.一種圖像數(shù)據(jù)庫制作程序，用于制作物體識(shí)別用圖像數(shù)據(jù)庫，并且使計(jì)算機(jī)能夠執(zhí)行如下步驟提取步驟，從通過拍攝要存儲(chǔ)在圖像數(shù)據(jù)庫中的物體所形成的圖像提取多個(gè)特征向量，其中，預(yù)先對所述物體分配了 η位的標(biāo)識(shí)符，η是自然數(shù)，并且每個(gè)特征向量表示所述圖像的局部特征；以及存儲(chǔ)步驟，通過使用一組數(shù)據(jù)結(jié)構(gòu)把每個(gè)特征向量存儲(chǔ)在所述圖像數(shù)據(jù)庫中，每個(gè)數(shù)據(jù)結(jié)構(gòu)返回表示指定的數(shù)據(jù)是否存儲(chǔ)在該數(shù)據(jù)結(jié)構(gòu)中的值，從而將所述物體的標(biāo)識(shí)符與從所述物體提取的特征向量關(guān)聯(lián)，其中，所述一組數(shù)據(jù)結(jié)構(gòu)具有至少2Χη個(gè)標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)，每個(gè)標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)與所述標(biāo)識(shí)符的每一位的0值和1值相對應(yīng)；所述存儲(chǔ)步驟根據(jù)提取出特征向量的所述物體把每個(gè)特征向量存儲(chǔ)到每一位的0值或1值的標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)；通過所述計(jì)算機(jī)或其它計(jì)算機(jī)訪問所述圖像數(shù)據(jù)庫，以在給出顯示物體的圖像作為查詢時(shí)執(zhí)行識(shí)別處理，從而檢查所述圖像數(shù)據(jù)庫中是否存儲(chǔ)了與所述查詢相同的物體；其中所述識(shí)別處理包括如下步驟 從所述查詢提取多個(gè)特征向量作為查詢向量；檢查所述標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)中是否存儲(chǔ)了與每個(gè)查詢向量相對應(yīng)的特征向量；以及在所述相對應(yīng)的特征向量存儲(chǔ)在所述標(biāo)識(shí)符數(shù)據(jù)結(jié)構(gòu)的每一位的0值或1值中時(shí)，根據(jù)每一位的存儲(chǔ)值找到與所述查詢向量相關(guān)的標(biāo)識(shí)符，從而基于對每個(gè)查詢向量進(jìn)行的檢查的統(tǒng)計(jì)將所述查詢與最相關(guān)的標(biāo)識(shí)符關(guān)聯(lián)。
全文摘要
提供一種利用隨機(jī)關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)創(chuàng)建并搜索空間效率良好的圖像數(shù)據(jù)庫的方法。該方法包括特征提取步驟和記錄步驟。在特征提取步驟中，從圖像提取一個(gè)或多個(gè)特征向量作為局部特征量，特征向量表示圖像的多個(gè)部分各自的局部特征，該圖像要記錄在圖像數(shù)據(jù)庫中并且表示物體。記錄步驟使用關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)，其中，使被分配給用作要記錄的元素的多個(gè)鍵的值基于這些鍵相關(guān)聯(lián)，而且其中包括容許假陽性的壓縮數(shù)據(jù)結(jié)構(gòu)作為構(gòu)成元素，容許假陽性的目的在于壓縮數(shù)據(jù)量。即，記錄步驟使用關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)將作為鍵的特征向量記錄在關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)中。
文檔編號(hào)G06T7/00GK102460511SQ20108003562
公開日2012年5月16日 申請日期2010年6月2日 優(yōu)先權(quán)日2009年6月10日
發(fā)明者井上勝文, 黃瀨浩一 申請人:公立大學(xué)法人大阪府立大學(xué)