[0060] I = …為步驟S1中所述的源類別圖像特征向量xf構(gòu)成的矩陣；
[0061] xt = Lxi<X2μ…4J為步驟S1中所述的目標(biāo)類別圖像特征向量xf構(gòu)成的矩陣；
[0062] Ys = [y|,y2y；u為源類別數(shù)據(jù)中每個(gè)圖像所對(duì)應(yīng)的類別向量yf構(gòu)成的矩陣；
[0063] As = [aiai，...:，a|s ]為源類別數(shù)據(jù)中每個(gè)源類別屬性向量構(gòu)成的矩陣，所述源 類別屬性向量af為所述步驟52中源類別屬性表示的一種表示方法；
[0064] At = ]為目標(biāo)類別數(shù)據(jù)中每個(gè)目標(biāo)類別屬性向量a丨構(gòu)成的矩陣，所 述目標(biāo)類別屬性向量a丨為所述步驟S2中目標(biāo)類別屬性表示的一種表示方法；
[0065] Yt = [FLyL..<，yy為目標(biāo)類別數(shù)據(jù)中每個(gè)無標(biāo)注圖像所對(duì)應(yīng)的類別向量片構(gòu)成 的矩陣；
[0066] V為共享模型空間。
[0067]在源類別數(shù)據(jù)中存在若干源類別Cs = …| ，同時(shí)還包括有^個(gè)屬于源類別 的圖像數(shù)據(jù)23s = {M,yf),(?.?)}，其中X丨為源類別圖像特征向量，yf E {0:,:1}?是一 個(gè)匕維的源類別向量，如果第i個(gè)圖像屬于第m個(gè)類別，則令yim= 1，否則yim=0，這些源類別 數(shù)據(jù)中的圖像數(shù)據(jù)都是有標(biāo)注的，即y〖已知。目標(biāo)類別數(shù)據(jù)中存在有若干個(gè)目標(biāo)類別 P =財(cái)，，感}，同時(shí)有nt個(gè)屬于目標(biāo)類別的圖像數(shù)據(jù)邛={(X丨,yi),…，(xK)},其中蚜 為目標(biāo)類別圖像特征向量，y〖e {〇,1產(chǎn)是待預(yù)測的目標(biāo)類別數(shù)據(jù)中無標(biāo)注圖像對(duì)應(yīng)的類別 向量。針對(duì)零鏡頭分類問題，有cs n = 0,即目標(biāo)類別與源類別完全不同，目標(biāo)類別數(shù)據(jù) 中沒有有標(biāo)注的訓(xùn)練數(shù)據(jù)。同時(shí)，對(duì)于每一個(gè)類別cecsuct，都有一個(gè)對(duì)應(yīng)的類別屬性a。來 描述它。由于類別屬性ac是在各個(gè)類別之間共享的，在源類別數(shù)據(jù)上學(xué)習(xí)得到的共享模型 空間V在目標(biāo)類別上仍然有效。
[0068]步驟S4:利用迭代式的優(yōu)化方法求解步驟S3中得到的零鏡頭學(xué)習(xí)函數(shù)，并得到共 享模型空間。
[0069]構(gòu)造好零鏡頭學(xué)習(xí)函數(shù)之后，就需要對(duì)其進(jìn)行求解。該零鏡頭學(xué)習(xí)函數(shù)包含共享 模型空間V和目標(biāo)類別矩陣Yt這兩個(gè)矩陣變量，該零鏡頭學(xué)習(xí)函數(shù)對(duì)于這兩個(gè)矩陣變量是 非凸的，但當(dāng)固定了任意一個(gè)后，零鏡頭學(xué)習(xí)函數(shù)對(duì)另外一個(gè)都是凸的，所以本發(fā)明提出一 種迭代式的優(yōu)化算法來學(xué)習(xí)共享模型空間V，具體包括如下步驟：
[0070] (1)初始化共享模型空間V和目標(biāo)類別矩陣Yt。對(duì)于目標(biāo)類別矩陣Yt，它是目標(biāo)類別 數(shù)據(jù)中無標(biāo)注圖像數(shù)據(jù)的待預(yù)測的類比矩陣，為了初始化它，可以使用任何已有的零鏡頭 圖像分類方法來實(shí)現(xiàn)，例如采用自初始化的方法。
[0071] (2)利用初始化后的共享模型空間V，優(yōu)化目標(biāo)類別矩陣Yt。初始化后的共享模型 空間V已經(jīng)給定，優(yōu)化目標(biāo)類別矩陣Y t的過程為行解耦，對(duì)矩陣形式的零鏡頭學(xué)習(xí)函數(shù)的每 一行進(jìn)行單獨(dú)的處理，該零鏡頭學(xué)習(xí)函數(shù)對(duì)于7丨的部分如下：
[0073]上述問題的解，即優(yōu)化目標(biāo)類別矩陣Yt的公式如下：
[0075] 其中戒表示目標(biāo)類別數(shù)據(jù)中第i個(gè)無標(biāo)注圖像是否屬于目標(biāo)類別c，也是#的第c 個(gè)分量。
[0076] (3)利用初始化后的目標(biāo)類別矩陣Yt，優(yōu)化共享模型空間V。初始化后的目標(biāo)類別 矩陣Yt已經(jīng)固定，進(jìn)行如下定義：
[0078]對(duì)零鏡頭學(xué)習(xí)函數(shù)進(jìn)行如下近似：
[0080]上述式子對(duì)于共享模型空間V的導(dǎo)數(shù)如下：
[0082] 再令上述導(dǎo)數(shù)為0,可以得到優(yōu)化共享模型空間V的公式如下：
[0083] v=(x7
[0084] 不斷迭代優(yōu)化初始化后的共享模型空間V和目標(biāo)類別矩陣Yt，直至零鏡頭學(xué)習(xí)函 數(shù)的值收斂，即可得到共享模型空間V。
[0085] 本發(fā)明在分類模型訓(xùn)練過程中，采用"直推式"的學(xué)習(xí)方法，將目標(biāo)類別的無標(biāo)注 數(shù)據(jù)所提供的一些無監(jiān)督信息應(yīng)用到零鏡頭學(xué)習(xí)函數(shù)學(xué)習(xí)中，這樣可以使得學(xué)習(xí)到的共享 模型空間能反映目標(biāo)類別的信息。并通過一種聯(lián)合學(xué)習(xí)框架將源類別數(shù)據(jù)中的有標(biāo)注數(shù)據(jù) 與目標(biāo)類別的無標(biāo)注數(shù)據(jù)結(jié)合在一起進(jìn)行學(xué)習(xí)，使在沒有有標(biāo)數(shù)據(jù)的情況下學(xué)習(xí)到的共享 模型空間能夠更好地描述目標(biāo)類別的特征。
[0086] 步驟S5:利用上一步得到的共享模型空間V以及步驟S2中得到的目標(biāo)類別屬性表 示式，直接產(chǎn)生各個(gè)目標(biāo)類別對(duì)應(yīng)的一級(jí)分類模型：^(1)，：^(1)=1\^ /。，其中 -I -* θ '· -X| .y - Clj Ο
[0087] 其中X丨表示步驟SI中得到的目標(biāo)類別圖像特征向量。輸出fjx)就表示該圖像與 目標(biāo)類別c之間的關(guān)聯(lián)程度，值越大，該圖像就越有可能屬于目標(biāo)類別c。
[0088] 本發(fā)明提出了一種新的類別屬性的使用方式，利用源類別的有標(biāo)注數(shù)據(jù)學(xué)習(xí)出類 別之間共享的模型空間，而非共享屬性空間，利用屬性作為輸入?yún)?shù)，通過共享的模型空間 產(chǎn)生一級(jí)分類模型，克服了傳統(tǒng)的方法利用屬性作為中間識(shí)別結(jié)果所帶來的分類不準(zhǔn)確問 題。
[0089] 步驟S6:利用步驟S5中得到的一級(jí)分類模型以及步驟S1中得到的目標(biāo)類別圖像特 征向量產(chǎn)生最終的目標(biāo)類別分類結(jié)果。
[0090] 最終的對(duì)于目標(biāo)類別數(shù)據(jù)中無標(biāo)注圖像對(duì)應(yīng)的分類結(jié)果c(x)就可以由如下的式 子定義：
[0091] c(x) =argmaxcfc(x) 〇
[0092] 本發(fā)明提出利用一種基于共享模型空間的零鏡頭圖像分類方法，通過共享模型空 間和類別的屬性信息直接產(chǎn)生相應(yīng)類別的一級(jí)分類模型，直接從圖像特征得到分類結(jié)果， 而無需利用屬性作為中間結(jié)果來進(jìn)行二級(jí)分類，減少了分類過程中的信息損失，從而提高 了分類模型的準(zhǔn)確性。
[0093]當(dāng)然應(yīng)意識(shí)到，雖然通過本發(fā)明的示例已經(jīng)進(jìn)行了前面的描述，但是對(duì)本發(fā)明做 出的將對(duì)本領(lǐng)域的技術(shù)人員顯而易見的這樣和其他的改進(jìn)及改變應(yīng)認(rèn)為落入如本文提出 的本發(fā)明寬廣范圍內(nèi)。因此，盡管本發(fā)明已經(jīng)參照了優(yōu)選的實(shí)施方式進(jìn)行描述，但是，其意 并不是使具新穎性的設(shè)備由此而受到限制，相反，其旨在包括符合上述公開部分、權(quán)利要求 的廣闊范圍之內(nèi)的各種改進(jìn)和等同修改。
【主權(quán)項(xiàng)】
1. 一種基于共享模型空間學(xué)習(xí)的零鏡頭圖像分類方法，其特征在于，包括如下步驟： 步驟S1:分別對(duì)源類別數(shù)據(jù)中的有標(biāo)注圖像與目標(biāo)類別數(shù)據(jù)中的無標(biāo)注圖像進(jìn)行向量 化特征表示，得到源類別圖像特征向量和目標(biāo)類別圖像特征向量； 步驟S2:分別針對(duì)源類別數(shù)據(jù)和目標(biāo)類別數(shù)據(jù)構(gòu)建出源類別屬性表示和目標(biāo)類別屬性 表不； 步驟S3:利用步驟S1中得到的源類別圖像特征向量和目標(biāo)類別圖像特征向量，W及步 驟S2中得到的源類別屬性表示和目標(biāo)類別屬性表示構(gòu)造零鏡頭學(xué)習(xí)函數(shù)； 步驟S4:利用迭代式的優(yōu)化方法求解步驟S3中得到的零鏡頭學(xué)習(xí)函數(shù)，并得到共享模 型空間； 步驟S5:利用上一步得到的共享模型空間W及步驟S2中得到的目標(biāo)類別屬性表示，直 接產(chǎn)生各個(gè)目標(biāo)類別對(duì)應(yīng)的一級(jí)分類模型； 步驟S6:利用步驟S5中得到的一級(jí)分類模型W及步驟S1中得到的目標(biāo)類別圖像特征向 量產(chǎn)生最終的目標(biāo)類別分類結(jié)果。2. 如權(quán)利要求1中所述的一種基于共享模型空間學(xué)習(xí)的零鏡頭圖像分類方法，其特征 在于，所述步驟S3中構(gòu)造出的零鏡頭學(xué)習(xí)函數(shù)為：其中，α和β是控制各部分在零鏡頭學(xué)習(xí)函數(shù)中權(quán)重的超參數(shù)；良示一個(gè)矩陣所有元素的平方和； X、=帖X!，…，為步驟S1中所述的源類別圖像特征向量辭構(gòu)成的矩陣； Xt = [Χ?.Χ2，…，<]為步驟S1中所述的目標(biāo)類別圖像特征向量χ?構(gòu)成的矩陣； Ys二Lyi<yi，…，yiU為源類別數(shù)據(jù)中每個(gè)圖像所對(duì)應(yīng)的類別向量訴構(gòu)成的矩陣； As = Lal4，…，;也]為源類別數(shù)據(jù)中每個(gè)源類別屬性向量af構(gòu)成的矩陣，所述源類別 屬性向量af為所述步驟S2中源類別屬性表示的一種表示方法； 4二間，，…,3。為目標(biāo)類別數(shù)據(jù)中每個(gè)目標(biāo)類別屬性向量讀構(gòu)成的矩陣，所述目 標(biāo)類別屬性向量苗為所述步驟S2中目標(biāo)類別屬性表示的一種表示方法； V=[說誠…，媒]為目標(biāo)類別數(shù)據(jù)中每個(gè)無標(biāo)注圖像所對(duì)應(yīng)的類別向量yi構(gòu)成的矩 陣； V為共享模型空間。3. 如權(quán)利要求1中所述的一種基于共享模型空間學(xué)習(xí)的零鏡頭圖像分類方法，其特征 在于，所述步驟S4:利用迭代式的優(yōu)化方法求解步驟S3中得到的零鏡頭學(xué)習(xí)函數(shù)，并得到共 享模型空間，具體包括如下步驟： (1) 初始化共享模型空間V和目標(biāo)類別矩陣Yt; (2) 利用初始化后的共享模型空間V，優(yōu)化目標(biāo)類別矩陣Yt，具體步驟為： 初始化后的共享模型空間V已經(jīng)給定，優(yōu)化目標(biāo)類別矩陣Yt的過程為行解禪，對(duì)矩陣形 式的零鏡頭學(xué)習(xí)函數(shù)的每一行進(jìn)行單獨(dú)的處理，該零鏡頭學(xué)習(xí)函數(shù)對(duì)于訴的部分如下：優(yōu)化目標(biāo)類別矩陣Yt的公式如下：其中yie表示目標(biāo)類別數(shù)據(jù)中第i個(gè)無標(biāo)注圖像是否屬于目標(biāo)類別C ; (3)利用初始化后的目標(biāo)類別矩陣Yt，優(yōu)化共享模型空間V，具體步驟為： 初始化后的目標(biāo)類別矩陣Yt已經(jīng)固定，進(jìn)行如下定義：再令上述導(dǎo)數(shù)為0,可W得到共享模型空間V的公式如下： V=(X'X+的)-?χ'ΥΑ(Α'Α)-ι 不斷迭代優(yōu)化共享模型空間V和目標(biāo)類別矩陣Yt直至零鏡頭學(xué)習(xí)函數(shù)的值收斂，即可得 到共享模型空間V。4.如權(quán)利要求1-3中任一所述的一種基于共享模型空間學(xué)習(xí)的零鏡頭圖像分類方法， 其特征在于，所述步驟S5中的一級(jí)分類模型fcXx)計(jì)算方法為：
【專利摘要】本發(fā)明公開了一種基于共享模型空間學(xué)習(xí)的零鏡頭圖像分類方法，包括如下步驟：步驟S1：構(gòu)建源類別圖像特征向量和目標(biāo)類別圖像特征向量；步驟S2：構(gòu)建源類別屬性表示和目標(biāo)類別屬性表示；步驟S3：利用源類別圖像特征向量、目標(biāo)類別圖像特征向量、源類別屬性表示和目標(biāo)類別屬性表示構(gòu)造零鏡頭學(xué)習(xí)函數(shù)；步驟S4：優(yōu)化求解零鏡頭學(xué)習(xí)函數(shù)，并得到共享模型空間；步驟S5：利用共享模型空間以及目標(biāo)類別屬性表示，直接產(chǎn)生各個(gè)目標(biāo)類別對(duì)應(yīng)的一級(jí)分類模型；步驟S6：利用一級(jí)分類模型以及目標(biāo)類別圖像特征向量產(chǎn)生最終的目標(biāo)類別分類結(jié)果。本發(fā)明通過共享的模型空間產(chǎn)生相應(yīng)類別的一級(jí)分類模型，直接從圖像特征得到分類結(jié)果，從而提高了分類模型的準(zhǔn)確性。
【IPC分類】G06K9/62
【公開號(hào)】CN105701510
【申請?zhí)枴緾N201610022295
【發(fā)明人】丁貴廣, 郭雨晨, 李長青, 孫鵬
【申請人】清華大學(xué), 北京恒冠網(wǎng)絡(luò)數(shù)據(jù)處理有限公司
【公開日】2016年6月22日
【申請日】2016年1月13日