本發(fā)明涉及視頻監(jiān)控
技術(shù)領(lǐng)域:
,具體涉及一種圖像檢索方法及終端。
背景技術(shù):
:目前來(lái)看,以圖搜圖是通過(guò)搜索圖像文本或者視覺(jué)特征,為用戶(hù)提供互聯(lián)網(wǎng)上相關(guān)圖形圖像資料檢索服務(wù)的專(zhuān)業(yè)搜索引擎系統(tǒng),是搜索引擎的一種細(xì)分。涉及了數(shù)據(jù)庫(kù)管理、計(jì)算機(jī)視覺(jué)、圖像處理、模式識(shí)別、信息檢索和認(rèn)知心理學(xué)等諸多學(xué)科。商用的圖像搜索引擎有谷歌圖像搜索和百度圖像搜索。這些搜索系統(tǒng)都是基于關(guān)鍵字和圖像標(biāo)簽的?;陉P(guān)鍵字的圖像視頻檢索有著其本質(zhì)的缺點(diǎn)。圖像中內(nèi)容豐富,僅用幾個(gè)關(guān)鍵字或數(shù)句話很難表達(dá)清楚,而且不同的人對(duì)圖像有不同的理解,導(dǎo)致同一幅圖像可能會(huì)有相差很大的說(shuō)明。并且,現(xiàn)在圖像的數(shù)量呈爆炸式的增加,很多圖像只有很少的文字信息或者根本就沒(méi)有說(shuō)明文字,想要高效地索引這些圖像就需要人們手工的添加標(biāo)簽和說(shuō)明文字,對(duì)于大量的圖像來(lái)說(shuō),這是非常繁重的工作。因此,通過(guò)樣本的搜索,到查詢(xún)圖像類(lèi)似的圖像搜索,已經(jīng)逐漸成為現(xiàn)代圖像搜索引擎中不可缺少的功能。一個(gè)有效的圖像相似性度量是在尋找類(lèi)似的圖像的核心?,F(xiàn)有技術(shù)中,對(duì)于以圖搜圖算法,常用的方法種類(lèi)比較多,比如基于顏色、紋理和形狀等。深度訓(xùn)練是一種目的在于建立、模擬人腦進(jìn)行分析訓(xùn)練的深度網(wǎng)絡(luò),它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)。通過(guò)組合低層特征形成更加抽象的高層表示屬性類(lèi)別或特征,以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。它顯著的優(yōu)點(diǎn)是可抽象出高級(jí)特征,構(gòu)建出復(fù)雜高性能的模型?;谏疃忍卣饔?xùn)練的以圖搜圖方法主要包括兩個(gè)步驟:一是特征提取,提取可靠穩(wěn)定的特征表達(dá)圖像內(nèi)容;二是特征相似度度量,將不同圖像特征進(jìn)行比較和相似度排序,但是,由于得到的相似性特征較為復(fù)雜,因而,圖像的檢索效率較低。技術(shù)實(shí)現(xiàn)要素:本發(fā)明實(shí)施例提供了一種圖像檢索方法及終端,以期降低相似性特征的復(fù)雜度,從而,提高圖像檢索效率。本發(fā)明實(shí)施例第一方面提供了一種圖像檢索方法,包括:獲取三元組樣本,其中,所述三元組樣本包括:待查詢(xún)圖像,正樣本圖像和負(fù)樣本圖像;采用預(yù)設(shè)卷積網(wǎng)絡(luò)對(duì)所述三元組樣本進(jìn)行訓(xùn)練,得到圖像特征三元組,其中,所述預(yù)設(shè)卷積網(wǎng)絡(luò)至少包含四個(gè)卷積層和一個(gè)平均池化層;將所述圖像特征三元組映射為目標(biāo)哈希編碼;采用預(yù)設(shè)三元組排序損失模型對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征??蛇x地,所述將所述圖像特征三元組映射為目標(biāo)哈希編碼,包括:將所述圖像特征三元組中處于所述預(yù)設(shè)卷積網(wǎng)絡(luò)的指定層特征分割成等長(zhǎng)的Q個(gè)片段,所述Q為大于1的整數(shù);通過(guò)所述預(yù)設(shè)卷積網(wǎng)絡(luò)的全連接層分別將所述Q個(gè)片段映射成一維向量,得到所述Q個(gè)一維向量;通過(guò)sigmoid激活函數(shù)將所述Q個(gè)一維向量的值限制在0到1之間,得到所述Q個(gè)目標(biāo)一維向量;按照如下公式將所述Q個(gè)目標(biāo)一維向量的值轉(zhuǎn)換成二進(jìn)制的哈希編碼,得到所述Q個(gè)哈希編碼:其中:ε為預(yù)設(shè)閾值,s為一維向量的任一位,H為哈希編碼;將所述Q個(gè)哈希編碼進(jìn)行連接,得到所述目標(biāo)哈希編碼??蛇x地,所述采用預(yù)設(shè)三元組排序損失模型對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征,包括:按照如下公式對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征:其中,Iq表示所述待查詢(xún)圖像,q表示卷積最大激活區(qū)域,I+表示所述正樣本圖像,I-表示所述負(fù)樣本圖像,m為常數(shù),l(Iq,I+,I-)為目標(biāo)相似性特征。可選地,所述預(yù)設(shè)卷積網(wǎng)絡(luò)的每一卷積層插入了1×1的濾波卷積層,且所述每一卷積層包含矯正激活函數(shù)??蛇x地,所述采用預(yù)設(shè)三元組排序損失模型對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征之后,所述方法還包括:根據(jù)所述目標(biāo)相似性特征,確定所述待查詢(xún)圖像與預(yù)設(shè)圖像庫(kù)中的N張圖像中的每一圖像之間的漢明距離,得到所述N個(gè)漢明距離值,所述N為正整數(shù);將所述N個(gè)漢明距離值中的最小值對(duì)應(yīng)的圖像作為目標(biāo)圖像。本發(fā)明實(shí)施例第二方面提供了一種終端,包括:獲取單元,用于獲取三元組樣本,其中,所述三元組樣本包括:待查詢(xún)圖像,正樣本圖像和負(fù)樣本圖像;第一訓(xùn)練單元,用于采用預(yù)設(shè)卷積網(wǎng)絡(luò)對(duì)所述三元組樣本進(jìn)行訓(xùn)練,得到圖像特征三元組,其中,所述預(yù)設(shè)卷積網(wǎng)絡(luò)至少包含四個(gè)卷積層和一個(gè)平均池化層;映射單元,用于將所述圖像特征三元組映射為目標(biāo)哈希編碼;第二訓(xùn)練單元,用于采用預(yù)設(shè)三元組排序損失模型對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征??蛇x地,所述映射單元包括:分割模塊,用于將所述圖像特征三元組中處于所述預(yù)設(shè)卷積網(wǎng)絡(luò)的指定層特征分割成等長(zhǎng)的Q個(gè)片段,所述Q為大于1的整數(shù);映射模塊,用于通過(guò)所述預(yù)設(shè)卷積網(wǎng)絡(luò)的全連接層分別將所述Q個(gè)片段映射成一維向量,得到所述Q個(gè)一維向量;處理模塊,用于通過(guò)sigmoid激活函數(shù)將所述Q個(gè)一維向量的值限制在0到1之間,得到所述Q個(gè)目標(biāo)一維向量;轉(zhuǎn)換模塊,用于按照如下公式將所述Q個(gè)目標(biāo)一維向量的值轉(zhuǎn)換成二進(jìn)制的哈希編碼,得到所述Q個(gè)哈希編碼:其中:ε為預(yù)設(shè)閾值,s為一維向量的任一位,H為哈希編碼;連接模塊,用于將所述Q個(gè)哈希編碼進(jìn)行連接,得到所述目標(biāo)哈希編碼??蛇x地,所述第二訓(xùn)練單元具體用于:按照如下公式對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征:其中,Iq表示所述待查詢(xún)圖像,q表示卷積最大激活區(qū)域,I+表示所述正樣本圖像,I-表示所述負(fù)樣本圖像,m為常數(shù),l(Iq,I+,I-)為目標(biāo)相似性特征。可選地,所述預(yù)設(shè)卷積網(wǎng)絡(luò)的每一卷積層插入了1×1的濾波卷積層,且所述每一卷積層包含矯正激活函數(shù)。可選地,所述終端還包括:確定單元,用于在所述第二訓(xùn)練單元采用預(yù)設(shè)三元組排序損失模型對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征之后,根據(jù)所述目標(biāo)相似性特征,確定所述待查詢(xún)圖像與預(yù)設(shè)圖像庫(kù)中的N張圖像中的每一圖像之間的漢明距離,得到所述N個(gè)漢明距離值,所述N為正整數(shù);所述確定單元還具體用于:將所述N個(gè)漢明距離值中的最小值對(duì)應(yīng)的圖像作為目標(biāo)圖像。實(shí)施本發(fā)明實(shí)施例,具有如下有益效果:通過(guò)本發(fā)明實(shí)施例,獲取三元組樣本,其中,該三元組樣本包括:待查詢(xún)圖像,正樣本圖像和負(fù)樣本圖像,采用預(yù)設(shè)卷積網(wǎng)絡(luò)對(duì)三元組樣本進(jìn)行訓(xùn)練,得到圖像特征三元組,其中,預(yù)設(shè)卷積網(wǎng)絡(luò)至少包含四個(gè)卷積層和一個(gè)平均池化層,將圖像特征三元組映射為目標(biāo)哈希編碼,采用預(yù)設(shè)三元組排序損失模型對(duì)目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征。如此,可降低相似性特征的復(fù)雜度,從而,提高圖像檢索效率。附圖說(shuō)明為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案,下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見(jiàn)地,下面描述中的附圖是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。圖1是本發(fā)明實(shí)施例提供的一種圖像檢索方法的第一實(shí)施例流程示意圖;圖2是本發(fā)明實(shí)施例提供的一種圖像檢索方法的第二實(shí)施例流程示意圖;圖3a是本發(fā)明實(shí)施例提供的一種終端的第一實(shí)施例結(jié)構(gòu)示意圖;圖3b是本發(fā)明實(shí)施例提供的圖3a所描述的終端的映射單元的結(jié)構(gòu)示意圖;圖3c是本發(fā)明實(shí)施例提供的圖3a所描述的終端的又一結(jié)構(gòu)示意圖;圖4是本發(fā)明實(shí)施例提供的一種終端的第二實(shí)施例結(jié)構(gòu)示意圖。具體實(shí)施方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。本發(fā)明的說(shuō)明書(shū)和權(quán)利要求書(shū)及所述附圖中的術(shù)語(yǔ)“第一”、“第二”、“第三”和“第四”等是用于區(qū)別不同對(duì)象,而不是用于描述特定順序。此外,術(shù)語(yǔ)“包括”和“具有”以及它們?nèi)魏巫冃?,意圖在于覆蓋不排他的包含。例如包含了一系列步驟或單元的過(guò)程、方法、系統(tǒng)、產(chǎn)品或設(shè)備沒(méi)有限定于已列出的步驟或單元,而是可選地還包括沒(méi)有列出的步驟或單元,或可選地還包括對(duì)于這些過(guò)程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。在本文中提及“實(shí)施例”意味著,結(jié)合實(shí)施例描述的特定特征、結(jié)構(gòu)或特性可以包含在本發(fā)明的至少一個(gè)實(shí)施例中。在說(shuō)明書(shū)中的各個(gè)位置展示該短語(yǔ)并不一定均是指相同的實(shí)施例,也不是與其它實(shí)施例互斥的獨(dú)立的或備選的實(shí)施例。本領(lǐng)域技術(shù)人員顯式地和隱式地理解的是,本文所描述的實(shí)施例可以與其它實(shí)施例相結(jié)合。本發(fā)明實(shí)施例所描述終端可以包括智能手機(jī)(如Android手機(jī)、iOS手機(jī)、WindowsPhone手機(jī)等)、平板電腦、掌上電腦、筆記本電腦、移動(dòng)互聯(lián)網(wǎng)設(shè)備(MID,MobileInternetDevices)或穿戴式設(shè)備等,上述僅是舉例,而非窮舉,包含但不限于上述終端。深度訓(xùn)練作為機(jī)器訓(xùn)練研究中的一個(gè)新領(lǐng)域,這兩年在圖像識(shí)別、語(yǔ)音識(shí)別以及自然語(yǔ)言處理方面取得了巨大的成功。深度訓(xùn)練是通過(guò)構(gòu)建多層神經(jīng)網(wǎng)絡(luò)模型來(lái)訓(xùn)練數(shù)據(jù),可以訓(xùn)練出有用的特征,通過(guò)對(duì)大量樣本訓(xùn)練可以得到很高的識(shí)別正確率。但是在同時(shí)需要識(shí)別多個(gè)屬性時(shí),已有的深度訓(xùn)練方法往往是通過(guò)將各個(gè)屬性獨(dú)立出來(lái),為每一個(gè)屬性訓(xùn)練一個(gè)模型,這無(wú)疑大大增加了復(fù)雜度。因此,如何將各個(gè)屬性聯(lián)系起來(lái),通過(guò)設(shè)計(jì)一個(gè)模型即可對(duì)多個(gè)屬性進(jìn)行識(shí)別成為當(dāng)下繼續(xù)解決的問(wèn)題。本發(fā)明實(shí)施例采用了一種學(xué)習(xí)圖像相似性的方法來(lái)檢索圖像。該方法通過(guò)對(duì)特征的學(xué)習(xí)建立三元組,并使用具有堆棧的共享子網(wǎng)的方法,對(duì)圖像進(jìn)行編碼,通過(guò)三元組排序損失函數(shù)的學(xué)習(xí),搜尋相似的圖像。通過(guò)共享子網(wǎng)的方法學(xué)習(xí)統(tǒng)一化的圖像特征表示,同時(shí)能夠減少網(wǎng)絡(luò)架構(gòu)的參數(shù);然后通過(guò)分割和編碼模塊產(chǎn)生編碼;最后采用三元組排序損失函數(shù)學(xué)習(xí)得到好的相似性特征,查詢(xún)得到相似的圖像。其總體的學(xué)習(xí)流程如下:(1)三元組的選取。包含查詢(xún)圖像,與查詢(xún)圖像相似的正樣本圖像,與查詢(xún)圖像不相關(guān)的負(fù)樣本圖像。其中正樣本圖像比負(fù)樣本圖像相比相似程度更接近原圖像。(2)建立共享子網(wǎng)。將三元組中的圖像分別通過(guò)多元化的卷積池化層子網(wǎng)進(jìn)行學(xué)習(xí),獲取圖像特征表示,方便進(jìn)行編碼。(3)分割和編碼模塊。對(duì)獲取的圖像表示進(jìn)行編碼,產(chǎn)生逐位的哈希編碼。(4)三元組排序損失函數(shù)模型。學(xué)習(xí)得到好的相似性特征,通過(guò)損失函數(shù)排序損失函數(shù)保留相似性特征。請(qǐng)參閱圖1,為本發(fā)明實(shí)施例提供的一種圖像檢索方法的第一實(shí)施例流程示意圖。本實(shí)施例中所描述的圖像檢索方法,包括以下步驟:101、獲取三元組樣本,其中,所述三元組樣本包括:待查詢(xún)圖像,正樣本圖像和負(fù)樣本圖像。通常情況下,為了防止過(guò)擬合,可使用大量可變的圖像是值得的。然而,可能的三元組數(shù)目會(huì)增加圖像的數(shù)量,這就會(huì)造成計(jì)算的復(fù)雜性,因此,對(duì)所有子樣本進(jìn)行子優(yōu)化。對(duì)于排序損失函數(shù)來(lái)說(shuō),一個(gè)高效的三元組是至關(guān)重要的。本發(fā)明實(shí)施例采用如下采樣方案去采樣圖像三元組。假設(shè)一個(gè)圖像集I,該圖像集中成對(duì)的關(guān)聯(lián)得分為ri,j=r(Ii,Ij),每個(gè)圖像Ii屬于一個(gè)類(lèi)ci,圖像Ii的評(píng)分ri反映了同一類(lèi)中不同圖像的關(guān)聯(lián)性??偟膱D像評(píng)分ri定義為:為了獲取三元組,在選取相似圖像時(shí),選取與圖像Ii同一類(lèi)中的圖像。不相似的圖像的選取有兩種方案:(1)在不同類(lèi)中選??;(2)在同一類(lèi)中選取關(guān)聯(lián)度比圖像Ii和更低的樣本圖像。即對(duì)任意的三元組需要滿(mǎn)足條件如下:其中,Tr是一個(gè)閾值參數(shù),該閾值參數(shù)可由系統(tǒng)默認(rèn)或者用戶(hù)自行設(shè)置。表示圖像與圖像Ii的相似程度比圖像高。如此,盡管對(duì)于同一個(gè)類(lèi)圖像中可視化和語(yǔ)義是大體的一致,但是,仍舊存在很大的可變性,尤其是當(dāng)這個(gè)類(lèi)的語(yǔ)義范圍很大的時(shí)候。因而,在選取三元組時(shí),盡量選擇在同類(lèi)中選擇相似的,在其他類(lèi)中選擇不相似的樣本。102、采用預(yù)設(shè)卷積網(wǎng)絡(luò)對(duì)所述三元組樣本進(jìn)行訓(xùn)練,得到圖像特征三元組,其中,所述預(yù)設(shè)卷積網(wǎng)絡(luò)至少包含四個(gè)卷積層和一個(gè)平均池化層。通常情況下,會(huì)對(duì)待查詢(xún)圖像Iq進(jìn)行一個(gè)單獨(dú)的子網(wǎng)R進(jìn)行特征訓(xùn)練,然后,將正樣本圖像和負(fù)樣本圖像采用一個(gè)共享的子網(wǎng)P進(jìn)行訓(xùn)練,然后,同樣能夠得到一個(gè)特征向量的三元組,但是,這加大了計(jì)算量,并且網(wǎng)絡(luò)架構(gòu)的參數(shù)也增加了很多。因此,本發(fā)明實(shí)施例選擇對(duì)三元組的圖像共用同一個(gè)堆棧卷積子網(wǎng)的方法,不僅能夠訓(xùn)練統(tǒng)一化的圖像特征表示,同時(shí)能減少整個(gè)網(wǎng)絡(luò)架構(gòu)的參數(shù)。通過(guò)共享子網(wǎng),三元組樣本(Iq,I+,I-)可被編譯成一個(gè)圖像特征三元組(xq,x+,x-),其中,圖像特征三元組的三個(gè)向量具有相同的維度。在三元組樣本中,三張圖像共同使用一個(gè)卷積網(wǎng)絡(luò),共同使用了四個(gè)卷積層和一個(gè)平均池化層的參數(shù),其中,前三個(gè)卷積層后都采用最大池化,最后一層采用平均池化??蛇x地,在上述卷積網(wǎng)絡(luò)的網(wǎng)絡(luò)架構(gòu)中,在每個(gè)卷積層中額外插入了1×1的濾波卷積層對(duì)輸入通道進(jìn)行線性轉(zhuǎn)變,隨后進(jìn)行非線性矯正,其中,所有的卷積層都使用矯正激活函數(shù),最后,使用平均池化代替全連接層作為子網(wǎng)的輸出層。子網(wǎng)架構(gòu)參數(shù)見(jiàn)表1:表1子網(wǎng)架構(gòu)表類(lèi)型濾波器尺寸/步數(shù)輸出尺寸卷積層11*11/496*54*54卷積層1*1/196*54*54最大池化3*3/296*27*27卷積層5*5/2256*27*27卷積層1*1/1256*27*27最大池化3*3/2256*13*13卷積層3*3/1384*13*13卷積層1*1/1384*13*13最大池化3*3/2384*6*6卷積層3*3/11024*6*6卷積層1*1/150×qbits*6*6平均池化6*6/150×qbits*1*1103、將所述圖像特征三元組映射為目標(biāo)哈希編碼??蛇x地,上述步驟103中,將所述圖像特征三元組映射為目標(biāo)哈希編碼,可包括如下步驟:31)、將所述圖像特征三元組中處于所述預(yù)設(shè)卷積網(wǎng)絡(luò)的指定層特征分割成等長(zhǎng)的Q個(gè)片段,所述Q為大于1的整數(shù);32)、通過(guò)所述預(yù)設(shè)卷積網(wǎng)絡(luò)的全連接層分別將所述Q個(gè)片段映射成一維向量,得到所述Q個(gè)一維向量;33)、通過(guò)sigmoid激活函數(shù)將所述Q個(gè)一維向量的值限制在0到1之間,得到所述Q個(gè)目標(biāo)一維向量;34)、按照如下公式將所述Q個(gè)目標(biāo)一維向量的值轉(zhuǎn)換成二進(jìn)制的哈希編碼,得到所述Q個(gè)哈希編碼:其中:ε為預(yù)設(shè)閾值,s為一維向量的任一位,H為哈希編碼;35)、將所述Q個(gè)哈希編碼進(jìn)行連接,得到所述目標(biāo)哈希編碼。具體地,通過(guò)共享卷積子網(wǎng)獲取中間層圖像特征(即指定層特征),采用分割與編碼模塊將圖像特征映射為近似的哈希編碼。每個(gè)編碼被分成設(shè)定的比特位,然后共享子網(wǎng)的輸出被分割為相應(yīng)倍數(shù)的比特位。分割與編碼模塊的具體過(guò)程如下:(1)將通過(guò)共享卷積子網(wǎng)的中間層特征分割成等長(zhǎng)的Q個(gè)片段;(2)通過(guò)全連接層將每片映射成一個(gè)一維向量,使用一個(gè)sigmoid激活函數(shù)(記作s),將輸出的一維向量的值限制在0到1之間;(3)選取一個(gè)分段閾值函數(shù)將輸出的值轉(zhuǎn)換成二進(jìn)制的哈希編碼,其分段閾值函數(shù)H表示為:其中:ε為閾值(通過(guò)訓(xùn)練得到的合適的值)。(4)將Q個(gè)片段的輸出的哈希編碼連接成一個(gè)Q比特位的近似哈希編碼。104、采用預(yù)設(shè)三元組排序損失模型對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征。可選地,上述步驟104中,采用預(yù)設(shè)三元組排序損失模型對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征,包括:按照如下公式對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征:其中,Iq表示所述待查詢(xún)圖像,q表示卷積最大激活區(qū)域,I+表示所述正樣本圖像,I-表示所述負(fù)樣本圖像,m為常數(shù)。通常情況下,一個(gè)高效的圖像相似性度量是檢索相似圖像的核心,大多數(shù)存在的有監(jiān)督的哈希方法中,在成對(duì)的圖像中采用成對(duì)的標(biāo)簽表示語(yǔ)義上的相似或不相似,其損失函數(shù)同樣被設(shè)計(jì)去保留成對(duì)圖像的相似性。本發(fā)明實(shí)施例采用三元組樣本(包含待查詢(xún)圖像,正樣本圖像,負(fù)樣本圖像)的形式去獲取相關(guān)的相似性。相比成對(duì)的圖像,三元組的形式更容易獲取關(guān)聯(lián)圖像的相似性。本發(fā)明實(shí)施例中根據(jù)圖像嵌入空間的漢明距離定義圖像P和Q的相似度為:上述f表示將圖像映射到歐氏空間中的一個(gè)點(diǎn)的圖像嵌入函數(shù),D表示漢明距離。一個(gè)三元組樣本包含一個(gè)查詢(xún)圖像,一個(gè)相似的正樣本圖像,一個(gè)負(fù)樣本圖像,基于三元組樣本的相似度比二元組樣本的相似度更加容易計(jì)算。其損失函數(shù)為:其中,Iq是待查詢(xún)圖像,其卷積最大激活區(qū)域用q描述;I+是正樣本圖像,I-是負(fù)樣本圖像,m為一個(gè)控制邊緣的標(biāo)量,l(Iq,I+,I-)為目標(biāo)相似性特征??梢钥闯?,通過(guò)本發(fā)明實(shí)施例,獲取三元組樣本,其中,該三元組樣本包括:待查詢(xún)圖像,正樣本圖像和負(fù)樣本圖像,采用預(yù)設(shè)卷積網(wǎng)絡(luò)對(duì)三元組樣本進(jìn)行訓(xùn)練,得到圖像特征三元組,其中,預(yù)設(shè)卷積網(wǎng)絡(luò)至少包含四個(gè)卷積層和一個(gè)平均池化層,將圖像特征三元組映射為目標(biāo)哈希編碼,采用預(yù)設(shè)三元組排序損失模型對(duì)目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征。如此,可降低相似性特征的復(fù)雜度,從而,提高圖像檢索效率。與上述一致地,請(qǐng)參閱圖2,為本發(fā)明實(shí)施例提供的一種圖像檢索方法的第二實(shí)施例流程示意圖。本實(shí)施例中所描述的圖像檢索方法,包括以下步驟:201、獲取三元組樣本,其中,所述三元組樣本包括:待查詢(xún)圖像,正樣本圖像和負(fù)樣本圖像。202、采用預(yù)設(shè)卷積網(wǎng)絡(luò)對(duì)所述三元組樣本進(jìn)行訓(xùn)練,得到圖像特征三元組,其中,所述預(yù)設(shè)卷積網(wǎng)絡(luò)至少包含四個(gè)卷積層和一個(gè)平均池化層。203、將所述圖像特征三元組映射為目標(biāo)哈希編碼。204、采用預(yù)設(shè)三元組排序損失模型對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征。205、根據(jù)所述目標(biāo)相似性特征,確定所述待查詢(xún)圖像與預(yù)設(shè)圖像庫(kù)中的N張圖像中的每一圖像之間的漢明距離,得到所述N個(gè)漢明距離值,所述N為正整數(shù)。其中,可對(duì)預(yù)設(shè)圖像庫(kù)中的N張圖像中的每一圖像也進(jìn)行特征提取,得到N組特征,進(jìn)一步地,確定該目標(biāo)相似度特征與該N組特征之間的漢明距離,得到N個(gè)漢明距離值。206、將所述N個(gè)漢明距離值中的最小值對(duì)應(yīng)的圖像作為目標(biāo)圖像。本發(fā)明實(shí)施例中,可將上述N個(gè)漢明距離值中的最小值對(duì)應(yīng)的圖像作為目標(biāo)圖像??梢钥闯?,通過(guò)本發(fā)明實(shí)施例,獲取三元組樣本,其中,該三元組樣本包括:待查詢(xún)圖像,正樣本圖像和負(fù)樣本圖像,采用預(yù)設(shè)卷積網(wǎng)絡(luò)對(duì)三元組樣本進(jìn)行訓(xùn)練,得到圖像特征三元組,其中,預(yù)設(shè)卷積網(wǎng)絡(luò)至少包含四個(gè)卷積層和一個(gè)平均池化層,將圖像特征三元組映射為目標(biāo)哈希編碼,采用預(yù)設(shè)三元組排序損失模型對(duì)目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征,并可根據(jù)目標(biāo)相似性特征確定待查詢(xún)圖像與預(yù)設(shè)圖像庫(kù)中的N張圖像中的每一圖像之間的漢明距離,得到N個(gè)漢明距離值,N為正整數(shù),將N個(gè)漢明距離值中的最小值對(duì)應(yīng)的圖像作為目標(biāo)圖像。如此,可降低相似性特征的復(fù)雜度,從而,提高圖像檢索效率。與上述一致地,以下為實(shí)施上述圖像檢索方法的裝置,具體如下:請(qǐng)參閱圖3a,為本發(fā)明實(shí)施例提供的一種終端的第一實(shí)施例結(jié)構(gòu)示意圖。本實(shí)施例中所描述的終端,包括:獲取單元301、第一訓(xùn)練單元302、映射單元303和第二訓(xùn)練單元304,具體如下:獲取單元301,用于獲取三元組樣本,其中,所述三元組樣本包括:待查詢(xún)圖像,正樣本圖像和負(fù)樣本圖像;第一訓(xùn)練單元302,用于采用預(yù)設(shè)卷積網(wǎng)絡(luò)對(duì)所述三元組樣本進(jìn)行訓(xùn)練,得到圖像特征三元組,其中,所述預(yù)設(shè)卷積網(wǎng)絡(luò)至少包含四個(gè)卷積層和一個(gè)平均池化層;映射單元303,用于將所述圖像特征三元組映射為目標(biāo)哈希編碼;第二訓(xùn)練單元304,用于采用預(yù)設(shè)三元組排序損失模型對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征。可選地,如圖3b所示,圖3b為圖3a所描述的終端的映射單元303的具體細(xì)化結(jié)構(gòu),所述映射單元303可包括:分割模塊3031、映射模塊3032、處理模塊3033、轉(zhuǎn)換模塊3034和連接模塊3035,具體如下:分割模塊3031,用于將所述圖像特征三元組中處于所述預(yù)設(shè)卷積網(wǎng)絡(luò)的指定層特征分割成等長(zhǎng)的Q個(gè)片段,所述Q為大于1的整數(shù);映射模塊3032,用于通過(guò)所述預(yù)設(shè)卷積網(wǎng)絡(luò)的全連接層分別將所述Q個(gè)片段映射成一維向量,得到所述Q個(gè)一維向量;處理模塊3033,用于通過(guò)sigmoid激活函數(shù)將所述Q個(gè)一維向量的值限制在0到1之間,得到所述Q個(gè)目標(biāo)一維向量;轉(zhuǎn)換模塊3034,用于按照如下公式將所述Q個(gè)目標(biāo)一維向量的值轉(zhuǎn)換成二進(jìn)制的哈希編碼,得到所述Q個(gè)哈希編碼:其中:ε為預(yù)設(shè)閾值,s為一維向量的任一位,H為哈希編碼;連接模塊3035,用于將所述Q個(gè)哈希編碼進(jìn)行連接,得到所述目標(biāo)哈希編碼。可選地,所述第二訓(xùn)練單元304具體用于:按照如下公式對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征:其中,Iq表示所述待查詢(xún)圖像,q表示卷積最大激活區(qū)域,I+表示所述正樣本圖像,I-表示所述負(fù)樣本圖像,m為常數(shù),l(Iq,I+,I-)為目標(biāo)相似性特征??蛇x地,所述預(yù)設(shè)卷積網(wǎng)絡(luò)的每一卷積層插入了1×1的濾波卷積層,且所述每一卷積層包含矯正激活函數(shù)??蛇x地,如圖3c所示,圖3c為圖3a所描述的終端的變型結(jié)構(gòu),其還包括:確定單元305,具體如下:確定單元305,用于在所述第二訓(xùn)練單元304采用預(yù)設(shè)三元組排序損失模型對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征之后,根據(jù)所述目標(biāo)相似性特征,確定所述待查詢(xún)圖像與預(yù)設(shè)圖像庫(kù)中的N張圖像中的每一圖像之間的漢明距離,得到所述N個(gè)漢明距離值,所述N為正整數(shù);所述確定單元305還具體用于:將所述N個(gè)漢明距離值中的最小值對(duì)應(yīng)的圖像作為目標(biāo)圖像。可以看出通過(guò)本發(fā)明實(shí)施例所描述的終端,可獲取三元組樣本,其中,該三元組樣本包括:待查詢(xún)圖像,正樣本圖像和負(fù)樣本圖像,采用預(yù)設(shè)卷積網(wǎng)絡(luò)對(duì)三元組樣本進(jìn)行訓(xùn)練,得到圖像特征三元組,其中,預(yù)設(shè)卷積網(wǎng)絡(luò)至少包含四個(gè)卷積層和一個(gè)平均池化層,將圖像特征三元組映射為目標(biāo)哈希編碼,采用預(yù)設(shè)三元組排序損失模型對(duì)目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征。如此,可降低相似性特征的復(fù)雜度,從而,提高圖像檢索效率。與上述一致地,請(qǐng)參閱圖4,為本發(fā)明實(shí)施例提供的一種終端的第二實(shí)施例結(jié)構(gòu)示意圖。本實(shí)施例中所描述的終端,包括:至少一個(gè)輸入設(shè)備1000;至少一個(gè)輸出設(shè)備2000;至少一個(gè)處理器3000,例如CPU;和存儲(chǔ)器4000,上述輸入設(shè)備1000、輸出設(shè)備2000、處理器3000和存儲(chǔ)器4000通過(guò)總線5000連接。其中,上述輸入設(shè)備1000具體可為觸控面板、物理按鍵或者鼠標(biāo)。上述輸出設(shè)備2000具體可為顯示屏。上述存儲(chǔ)器4000可以是高速RAM存儲(chǔ)器,也可為非易失存儲(chǔ)器(non-volatilememory),例如磁盤(pán)存儲(chǔ)器。上述存儲(chǔ)器4000用于存儲(chǔ)一組程序代碼,上述輸入設(shè)備1000、輸出設(shè)備2000和處理器3000用于調(diào)用存儲(chǔ)器4000中存儲(chǔ)的程序代碼,執(zhí)行如下操作:上述處理器3000,用于:獲取三元組樣本,其中,所述三元組樣本包括:待查詢(xún)圖像,正樣本圖像和負(fù)樣本圖像;采用預(yù)設(shè)卷積網(wǎng)絡(luò)對(duì)所述三元組樣本進(jìn)行訓(xùn)練,得到圖像特征三元組,其中,所述預(yù)設(shè)卷積網(wǎng)絡(luò)至少包含四個(gè)卷積層和一個(gè)平均池化層;將所述圖像特征三元組映射為目標(biāo)哈希編碼;采用預(yù)設(shè)三元組排序損失模型對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征??蛇x地,上述處理器3000將所述圖像特征三元組映射為目標(biāo)哈希編碼,包括:將所述圖像特征三元組中處于所述預(yù)設(shè)卷積網(wǎng)絡(luò)的指定層特征分割成等長(zhǎng)的Q個(gè)片段,所述Q為大于1的整數(shù);通過(guò)所述預(yù)設(shè)卷積網(wǎng)絡(luò)的全連接層分別將所述Q個(gè)片段映射成一維向量,得到所述Q個(gè)一維向量;通過(guò)sigmoid激活函數(shù)將所述Q個(gè)一維向量的值限制在0到1之間,得到所述Q個(gè)目標(biāo)一維向量;按照如下公式將所述Q個(gè)目標(biāo)一維向量的值轉(zhuǎn)換成二進(jìn)制的哈希編碼,得到所述Q個(gè)哈希編碼:其中:ε為預(yù)設(shè)閾值,s為一維向量的任一位,H為哈希編碼;將所述Q個(gè)哈希編碼進(jìn)行連接,得到所述目標(biāo)哈希編碼??蛇x地,上述處理器3000采用預(yù)設(shè)三元組排序損失模型對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征,包括:按照如下公式對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征:其中,Iq表示所述待查詢(xún)圖像,q表示卷積最大激活區(qū)域,I+表示所述正樣本圖像,I-表示所述負(fù)樣本圖像,m為常數(shù),l(Iq,I+,I-)為目標(biāo)相似性特征??蛇x地,所述預(yù)設(shè)卷積網(wǎng)絡(luò)的每一卷積層插入了1×1的濾波卷積層,且所述每一卷積層包含矯正激活函數(shù)。可選地,上述處理器3000采用預(yù)設(shè)三元組排序損失模型對(duì)所述目標(biāo)哈希編碼進(jìn)行訓(xùn)練,得到目標(biāo)相似性特征之后,還具體用于:根據(jù)所述目標(biāo)相似性特征,確定所述待查詢(xún)圖像與預(yù)設(shè)圖像庫(kù)中的N張圖像中的每一圖像之間的漢明距離,得到所述N個(gè)漢明距離值,所述N為正整數(shù);將所述N個(gè)漢明距離值中的最小值對(duì)應(yīng)的圖像作為目標(biāo)圖像。本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì),其中,該計(jì)算機(jī)存儲(chǔ)介質(zhì)可存儲(chǔ)有程序,該程序執(zhí)行時(shí)包括上述方法實(shí)施例中記載的任何一種圖像檢索方法的部分或全部步驟。盡管在此結(jié)合各實(shí)施例對(duì)本發(fā)明進(jìn)行了描述,然而,在實(shí)施所要求保護(hù)的本發(fā)明過(guò)程中,本領(lǐng)域技術(shù)人員通過(guò)查看所述附圖、公開(kāi)內(nèi)容、以及所附權(quán)利要求書(shū),可理解并實(shí)現(xiàn)所述公開(kāi)實(shí)施例的其他變化。在權(quán)利要求中,“包括”(comprising)一詞不排除其他組成部分或步驟,“一”或“一個(gè)”不排除多個(gè)的情況。單個(gè)處理器或其他單元可以實(shí)現(xiàn)權(quán)利要求中列舉的若干項(xiàng)功能。相互不同的從屬權(quán)利要求中記載了某些措施,但這并不表示這些措施不能組合起來(lái)產(chǎn)生良好的效果。本領(lǐng)域技術(shù)人員應(yīng)明白,本發(fā)明的實(shí)施例可提供為方法、裝置(設(shè)備)、或計(jì)算機(jī)程序產(chǎn)品。因此,本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且,本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤(pán)存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。計(jì)算機(jī)程序存儲(chǔ)/分布在合適的介質(zhì)中,與其它硬件一起提供或作為硬件的一部分,也可以采用其他分布形式,如通過(guò)Internet或其它有線或無(wú)線電信系統(tǒng)。本發(fā)明是參照本發(fā)明實(shí)施例的方法、裝置(設(shè)備)和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合??商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專(zhuān)用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器,使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中,使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理,從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。盡管結(jié)合具體特征及其實(shí)施例對(duì)本發(fā)明進(jìn)行了描述,顯而易見(jiàn)的,在不脫離本發(fā)明的精神和范圍的情況下,可對(duì)其進(jìn)行各種修改和組合。相應(yīng)地,本說(shuō)明書(shū)和附圖僅僅是所附權(quán)利要求所界定的本發(fā)明的示例性說(shuō)明,且視為已覆蓋本發(fā)明范圍內(nèi)的任意和所有修改、變化、組合或等同物。顯然,本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣,倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi),則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。當(dāng)前第1頁(yè)1 2 3