專利名稱：基于監(jiān)督主題模型的高分辨率sar影像標注方法
技術領域：
本發(fā)明涉及遙感影像處理技術領域，更具體的涉及一種基于監(jiān)督主題模型的高分辨率SAR影像標注方法。
背景技術：
合成孔徑雷達(Synthetic Aperture Radar, SAR)的全天候、全天時及能穿透一些地物的成像特點，顯示出它與光學傳感器相比的優(yōu)越性。自90年代以來SAR在軍事及民用等諸多場合得到了廣泛應用。近年來，大量的高分辨率星載、機載SAR系統(tǒng)誕生，使得大量的高分辨率SAR影像可以被用來支持地表測繪、城市變化檢測、自然災害應急、反恐維穩(wěn)等。SAR影像標注是SAR影像處理的關鍵步驟。傳統(tǒng)的SAR標注手段通常是基于人機交互的輔助判讀專家系統(tǒng)。但是與以往的SAR影像相比，高分辨率SAR影像具有信息量大、細節(jié)豐富等特點，傳統(tǒng)的SAR人工標注手段將急劇增加勞力與不穩(wěn)定性。通常，傳統(tǒng)的監(jiān)督標注算法，需要經(jīng)過全標注的訓練數(shù)據(jù)。這對海量的高分辨率 SAR影像來說是很困難的，需要大量的人力。同時，高分辨率SAR影像具有大量的潛在語義信息，傳統(tǒng)的標注算法并沒有考慮到這些信息。所以，研究一個針對高分辨率SAR影像高效的、快速的并充分利用高分辨率帶來的信息的標注方法是很有必要的。監(jiān)督主題模型最初是用于自然語言分析中的一種手段。監(jiān)督主題模型是一種分層模型，底層為單詞，中層為文檔，高層為文集。這里的單詞，指的是抽象的“單詞”，通常通過聚類等手段得到，是一系列真實單詞的聚類中心。監(jiān)督主題模型用K個“隱主題”描述單詞與所在文檔之間的關系，用M個“隱類別”描述文集中文檔與文檔之間的關系。通過分析文集中所有文檔的“隱類別”，可以知道文檔中單詞的“隱主題”。可見，監(jiān)督主題模型中同時實現(xiàn)了文檔的分類與單詞的標注。對應于SAR影像，文集便是整景SAR影像；文檔是SAR影像的子影像；單詞則是文檔中局部特征的聚類中心。

發(fā)明內容
本發(fā)明目的是針對現(xiàn)有的SAR影像標注技術的不足和缺陷，提出了一種基于監(jiān)督主題模型的高分辨率SAR影像標注方法，其可以高效、快速地對海量的高分辨率SAR影像進行標注。本發(fā)明提的技術方案如下—種基于監(jiān)督主題模型的高分辨率SAR影像標注方法，包括以下步驟Sl 分割影像，其進一步包括將SAR影像分割成為多個大小相等的子影像；再將每個子影像劃分成為互不重疊的矩形區(qū)域，每個矩形區(qū)域稱之為單詞；S2 圖像表征用子影像生成文檔，用所有的文檔生成文集；S3 知識輸入，其進一步包括選取一部分具有典型場景的子影像進行基于關鍵字的人工標注，這些關鍵字組成的集合稱之為文檔的隱類別；S4 訓練推理完成SAR影像的初步標注；S5 語義分析根據(jù)所有子影像的分類結果與單詞的標注結果，通過先驗語義知識對標注結果進行語義分析，從而得到符合人類語義的標注結果。較佳地，所述步驟S2進一步包括S21 生成可視詞；S22 生成文檔由子影像生成文檔，即將子影像中的每個單詞由可視詞替代；S23 生成文集最后，將所有文檔組合，得到完整的文集。較佳地，所述步驟S21進一步包括S211 根據(jù)待標注數(shù)據(jù)類型與待標注數(shù)據(jù)的場景特點，選取對應的特征空間；S212 將所有的單詞在此空間的投影向量進行無監(jiān)督聚類；S213:將所有的聚類中心構成字典，每個聚類中心在字典中的索引稱為可視詞。較佳地，所述步驟S4進一步包括S41 將具有關鍵字的文檔與其關鍵字輸入監(jiān)督主題模型進行訓練，得到相應的模型，包括不同類別文檔內隱主題的分布、不同隱主題內可視詞的分布和每個可視詞的隱主題標注；S42 將不具有關鍵字的文檔輸入步驟S41得到的模型，進行推理，得到其關鍵字與其每個可視詞的隱主題標注；S43 將S41步驟與S42步驟得到的結果結合，即可得到所有文檔的分類結果與初步標注結果。較佳地，所述步驟S2和步驟S3的順序可交換。與現(xiàn)有技術相比，本發(fā)明的有益效果如下本發(fā)明所提出的技術方案可以高效、快速地對海量的高分辨率SAR影像進行標注。且本發(fā)明提出的技術方案同時考慮了影像本身的數(shù)據(jù)信息、影像已有的先驗知識、影像像素之間的語義關聯(lián)，很好的將SAR影像標注與真實語義聯(lián)系起來，克服了在機器學習過程中往往和真實語義有偏差的問題。其次，此方法解決了現(xiàn)有SAR影像標注需要極大人力與極長時間的問題，即此方法只需要進行極少部分的子影像的關鍵字標注即可完成知識的輸入，大大的縮減了人力勞動。


圖1為本發(fā)明具體實施例一種基于監(jiān)督主題模型的高分辨率SAR影像標注方法的流程圖；圖2為本發(fā)明具體實施例步驟S2圖像表征的流程圖；圖3為本發(fā)明具體實施例步驟S4訓練推理的流程圖。
具體實施例方式下面對針對上述基于監(jiān)督主題模型的高分辨率SAR影像標注方法的基本原理和相關概念加以說明。(1)監(jiān)督主題模型
監(jiān)督主題模型最初是用于自然語言分析中的一種手段。監(jiān)督主題模型是一種三層生成模型。在監(jiān)督主題模型中，有如下定義1.單詞單詞是監(jiān)督主題模型中處理的最基本元素；
2.可視詞可視詞是一系列相似單詞的聚類中心；
3.字典所有可視詞構成的集合；
4.文檔由一系列單詞組成的集合，也可以表示為由可視詞組成的集合；
5.文集由一系列文檔組成；
6.隱主題一系列的可視詞組成了一個語義化的主題，這個主題稱為隱主題；
估7.響應值將文檔的響應值定義為文檔的類別，則每一類文檔具有同一個響應ULo
每個單詞都可以用與其對應的可視詞表示。每個可視詞都可以在一個長度為V的
字典中找到。單詞用一個V維的向量表示，W= (W15W2,…/)。如果單詞W對應詞典中的第i個可視詞，那么單詞的第i維等于1，即Wi = 1 ；其它維等于0，即當U興i且U e [1， V]時Wu = 0。一個長度為N的文檔用W = Iw1, w2,…，wN}表示。一個長度為M的文集用 D = (W1, W2,…，WM}表示。在監(jiān)督主題模型中有兩個隱變量ζ與θ。若文集中共有K個隱主題T= It1, t2，…，tK}，那么ζ與θ都是一個K維向量。每個單詞都有一個隱主題，單詞Wi的隱主題記為Zi。若Zi對應第j個隱主題，那么Zi的第j維等于1，其它維等于0。θ的第m維表示某個單詞的隱主題Zi是第m個隱主題的概率，即θ m = P(Zim = 11 θ )。根據(jù)以上定義，監(jiān)督主題模型中以如下方式描述一個文檔的生成過程。1.選擇隱主題的先驗概率參數(shù)Θ。根據(jù)上述描述，θ服從以α為參數(shù)的 Dirichlet分布。其中，α為待估計參數(shù)；2.對于文檔中的每個單詞a)選擇一個隱主題\。根據(jù)上述描述，\服從以θ為參數(shù)的多項分布；b)選擇一個單詞wn。Wn服從以從 為參數(shù)的多項分布。β為待估計參數(shù)，從 表示在隱主題^下，發(fā)生某個單詞的先驗概率；3.為文檔選擇一個響應值y。當前文檔的響應值y服從以η和δ為參數(shù)的廣義線性模型分布?；谏鲜錾蛇^程，可以描述為以下公式
N
p(0\a)(Y\p(wn \ζη)ρ(ζη \θ,βνκ))ρ(γ\ζνΝ,η,δ)Ρ(β,zVN \wvn，兄α,βικ,η,δ、=--
\ θρ(θ\α)Υ(Υ\ρ(Μ^η \zn)p(zn \e^VK))p(y\zVN^^)則整個文集的產(chǎn)生概率為p(D I W1 :N, y, α , β j :Κ, η , δ ) = Π / ρ( θ , ζ1:Ν | w1:N, y, α , β j :Κ, η , δ )d θ在分層生成語義模型中，有兩種模型被廣泛使用概率隱語義分析模型(Probabilistic Latent Semantic Analysis, PL SA)與 Latent Dirichlet Allocation(LDA)模型。PLSA模型是一個兩層語義模型，只有文檔層與單詞層。在PLSA模型中，只是對單詞的分布進行建模，但沒有關注文檔級的分布。每個文檔對于PLSA模型來
5說都完全獨立的，具有其獨立的參數(shù)。這就導致隨著訓練集文檔數(shù)目的增加，PLSA模型需要推理的參數(shù)越多。這樣，出現(xiàn)過擬合的概率大大增加。PLSA模型在小的訓練集下的表現(xiàn)很好，但是完全不適合于大的訓練集。LDA模型是針對PLSA模型的缺點提出的。它規(guī)定了文檔的分布，在文檔層之上增加文集層。LDA模型中的參數(shù)數(shù)目是固定的，不會隨著訓練集的增大而增加，所以它克服了 PLSA模型中的過擬合的問題，但是它的計算復雜度大大增加。 LDA模型在大訓練集下的表現(xiàn)要遠好于PLSA模型。但無論是PLSA模型還是LDA模型，都不能直接完成文檔的分類工作和標注工作。因為這兩種模型都是無監(jiān)督或半監(jiān)督模型，會導致隱語義與實際語義的不匹配問題。所以需要加入監(jiān)督使語義匹配，符合應用需求。監(jiān)督主題模型通過加入人類語義知識生成具有語義的模型，實現(xiàn)對未知文檔的語義化分類。通過語義化的分類結果，對隱主題標注進行符合人類語義的修正，從而實現(xiàn)隱語義與實際語義的對應問題，并同時完成對文檔的分類工作于標注工作。所以，針對海量高分SAR數(shù)據(jù)的標注問題，監(jiān)督主題模型更適合。監(jiān)督主題模型的參數(shù)估計通過EM算法。通常在EM算法中經(jīng)常采用基于變分的推理方法對參數(shù)進行估計，但是考慮到監(jiān)督主題模型的復雜性，本方法采用基于采樣的推理方法對參數(shù)進行估計?；诓蓸拥耐评矸椒ㄏ啾扔诨谧兎值耐评矸椒ㄓ嬎懔枯^少，適合大數(shù)據(jù)集的計算。(2)分割影像與知識輸入影像的分割采用非重疊的分割方法，將整景影像分割為大小相等的子影像，每個子影像就是一個文檔。傳統(tǒng)的標注方法中，進行訓練時，需要輸入一部分影像像素級的標注。這樣的輸入勢必有很大的工作量。而基于監(jiān)督主題模型的標注方法中，進行訓練時只需要輸入一部分文檔與其隱類別(關鍵字)即可，大大的減少了工作量。隱類別相比較于隱主題，應該具有更高層的語義，應該是由當前文檔多有單詞隱主題構成的高層語義。如對于有“建筑”和“道路”隱主題的文檔，應輸入“城區(qū)”這一隱類別。(3)圖像表征可視詞的生成是圖像表征中最重要的部分。在生成可視詞過程中，應該選擇合適的特征空間對所有單詞進行聚類。以單極化SAR影像為例，對于細節(jié)豐富的高分辨率單極化SAR影像來說，具有很強的紋理特征。比如在城市區(qū)域，紋理特征較強；在水域，紋理特征較弱。對于一個窗口，紋理因子定義為
Mean(x)其中Var(X)代表窗口的方差，Mean (χ)代表窗口的均值。但是，^是一個區(qū)域性紋理因子，魯棒性較差。為了考慮其他因素的影像，引入紋理異質性描述子
眾⑷=νατ(χ)-φ^Μβαη(χ)2 Far(x)(l + ^mm)其中，識_代表全圖范圍內的最小<3。同時，為了進一步加入灰度信息，我們讓k(x) 去調制原始影像的灰度，對其進行加強。最后得到原始影像的特征圖Φ (χ) = k (χ) I (χ)
由特征圖，我們可以得到將每個單詞的所在區(qū)域的特征直方圖，即為單詞的特征向量。但是考慮到SAR影像的特征，比如在廣場等區(qū)域，其紋理特征很弱，接近于水域，但是其灰度特征很強。所以，可以將單詞的紋理特征向量與其灰度直方圖特征向量組合，合成一個特征向量。通過實驗，發(fā)現(xiàn)當紋理特征維數(shù)與灰度直方圖特征維數(shù)為1 3時，將得到最優(yōu)的結果。(4)語義分析在傳統(tǒng)的SAR影像標注方法中，我們往往忽略了影響像素間在語義上的一些規(guī)律，而基于監(jiān)督主題模型的標注方法提供給我們充分利用這些信息的條件。在高分辨率SAR影像的標注中經(jīng)常會出現(xiàn)以下幾種現(xiàn)象城區(qū)中陰影誤判為水體在城區(qū)中通常會出現(xiàn)很多灰度值很低的塊狀區(qū)域。在訓練過程中，模型通常會將其認為是水域，因為其灰度特征與紋理特征均與水域相似。其實， 這是由于SAR衛(wèi)星并不是正射的進行成像而是有一定的角度，導致在高的植被及建筑物后面形成的陰影區(qū)域。對于這些陰影區(qū)域，很難將其剔除，一般都會被誤判為水域。森林中樹冠誤判為建筑在森林這一類別中經(jīng)常會出現(xiàn)高亮度值的區(qū)域。在訓練過程中，模型通常會將其認為是建筑，因為其灰度特征與紋理特征均與建筑相似。其實這是由于樹冠處的散射較強，通常會看起來如建筑一般。河岸中岸邊誤判為建筑在河岸這一類別中經(jīng)常會出現(xiàn)帶狀高亮度值區(qū)域。在訓練過程中，模型通常會將其認為是建筑，因為其灰度特征與紋理特征均與建筑相似。該高亮度值條狀區(qū)域是由于水域周邊樹林相較之下體現(xiàn)出來的強散射特性而造成的。監(jiān)督主題模型可以幫助我們達到這一目的。因為我們在知道當前單詞的隱主題的同時，還知道當前單詞所在的文檔是屬于哪一類別。通過加入對文檔類別的先驗知識，可以得知哪些隱主題是不應該存在的，哪些隱主題是該怎么分布的。這樣就可以對單詞的標注結果進行修正，得到符合人類語義的標注結果。針對以上三種現(xiàn)象，本發(fā)明提供可以解決其問題的先驗知識作為例子。城區(qū)中陰影誤判為水體當前文檔如果為“城區(qū)”類別時，其中分散的水域主題單詞應該修正為建筑主題；對于較大片的連續(xù)水域主題單詞，不修正。森林中樹冠誤判為建筑當前文檔如果為“森林”類別時，其中分散的建筑主題單詞應該修正為森林主題；對于較大片的連續(xù)建筑主題單詞，不修正。河岸中岸邊誤判為建筑當前文檔如果為“河岸”類別時，其中呈帶狀或者分散的建筑主題單詞應該修正為森林主題；對于較大片的連續(xù)建筑主題單詞，不修正。通過具體的實踐，經(jīng)過語義分析后，標注結果的準確率將得到切實的提高。下方結合附圖和具體實施例對本發(fā)明做進一步的描述基于以上原理與概念本發(fā)明提供一景單極化TerraSAR-X影像的基于監(jiān)督主題模型的高分辨率SAR影像標注方法的具體流程以供實施參考。實驗數(shù)據(jù)集合建立在一整景TerraSAR-X影像上，影像大小為 9504(寬)X8330(高)像素，該影像是2008年1月27日對德國羅森海姆(Rosenheim)及其周邊區(qū)域成像獲得，影像分辨率為1.2%iXl. 60m。影像的真實標注是人工根據(jù)相關地理信息手動標注獲得。影像的像素被標注為四個主題或“其他”類別。這四個主題分別為城區(qū)、林地、農田和水域。不屬于這四類的像素和位于類別邊界的像素被標注為“其他”類別。
7這些“其他”類別是不參與訓練與推理的。參見圖1至圖3，一種基于監(jiān)督主題模型的高分辨率SAR影像標注方法，包括以下步驟Sl 分割影像，其進一步包括將SAR影像分割成為多個大小相等的子影像；再將每個子影像劃分成為互不重疊的矩形區(qū)域，每個矩形區(qū)域稱之為單詞；在本實施例中，影像被分割為200X200像素大小的無重疊子影像，同時每個子影像再分別被分割為IOX 10大小的單詞。S2 圖像表征用子影像生成文檔，用所有的文檔生成文集；所述步驟S2進一步包括S21 生成可視詞，進一步包括S211 根據(jù)待標注數(shù)據(jù)類型與待標注數(shù)據(jù)的場景特點，選取對應的特征空間；如面對單極化SAR，通常選取灰度或紋理特征空間；面對全極化SAR，通常選取極化信息作為特征。S212 將所有的單詞在此空間的投影向量進行無監(jiān)督聚類；S213:將所有的聚類中心構成字典，每個聚類中心在字典中的索引稱為可視詞。本實施例中，選取紋理特征空間與灰度特征空間，分別計算每個單詞的特征向量。 為了比較特征空間的選擇對實例的影響，分別選取不同維數(shù)的特征向量。同時，聚類方法采用無監(jiān)督K-means聚類方法，生成字典維數(shù)為256維，即將單詞聚類為256類。S22 生成文檔由子影像生成文檔，即將子影像中的每個單詞由可視詞替代；S23 生成文集最后，將所有文檔組合，得到完整的文集。S3 知識輸入，其進一步包括選取一部分具有典型場景的子影像進行基于關鍵字的人工標注，這些關鍵字組成的集合稱之為文檔的“隱類別”；由于要保證輸入的知識正確，所以盡量可能的選擇具有典型場景的子影像進行基于關鍵字的人工標注，所謂“典型場景”就是指人眼可以很容易的判斷場景的內容，而不是除了經(jīng)過專業(yè)訓練否則很難判決場景內容的場景，比如港口是由建筑與水體組成，那么典型的港口場景最好能將水體與建筑的比例基本一致，不會出現(xiàn)很特殊的情況。在本實施例中，在文集中選取一部分文檔，進行基于關鍵詞的標注。所選取的文檔應該包含所有的隱類別。本例中，文檔的選取與標注是通過SARMAT工具實現(xiàn)的，選取的比例為10%。SARMAT工具基于由MIT CSAIL實驗室的圖像標注開源軟件LabelMe開發(fā)，專門用于本方法知識輸入步驟。SARMAT可以提供給用戶文檔級的標注模式，同時，SARMAT是一款基于網(wǎng)絡的標注工具，可以對一副圖像進行多人協(xié)同標注。S4 訓練推理完成文集的初步標注。所述步驟S4進一步包括S41 將具有關鍵字的文檔與其關鍵字輸入監(jiān)督主題模型進行訓練，得到相應的模型，包括不同類別文檔內隱主題的分布、不同隱主題內可視詞的分布和每個可視詞的隱主題標注；S42:將不具有關鍵字的文檔輸入步驟S42得到的模型，進行推理，得到其關鍵字與其每個可視詞的隱主題標注；
S43 將S41步驟與S42步驟得到的結果結合，即可得到所有文檔的分類結果與初步標注結果。本實施例中，將整個文集輸入訓練好的模型，進行推理，得到所有文檔的分類結果與單詞的標注結果。S5 語義分析根據(jù)所有子影像的分類結果與單詞的標注結果，通過先驗語義知識對標注結果進行語義分析，從而得到符合人類語義的標注結果。本實施例中，先驗語義知識的使用如上文所述，分別對城區(qū)中陰影誤判為水體的標注、森林中樹冠誤判為建筑的標注、河岸中岸邊誤判為建筑的標注進行矯正，從而得到符合語義的標注結果。在具體實施時，上述步驟S2和步驟S3的順序可交換。本發(fā)明不對步驟S2和S3 之間的順序作出限定。本實施例中，基于監(jiān)督主題模型的標注準確率為84. 14%，其混淆矩陣如表1所不。表權利要求
1.一種基于監(jiān)督主題模型的高分辨率SAR影像標注方法，其特征在于，包括以下步驟51分割影像，其進一步包括將SAR影像分割成為多個大小相等的子影像；再將每個子影像劃分成為互不重疊的矩形區(qū)域，每個矩形區(qū)域稱之為單詞；52圖像表征用子影像生成文檔，用所有的文檔生成文集；53知識輸入，其進一步包括選取一部分具有典型場景的子影像進行基于關鍵字的人工標注，這些關鍵字組成的集合稱之為文檔的隱類別；54訓練推理完成SAR影像的初步標注；55語義分析根據(jù)所有子影像的分類結果與單詞的標注結果，通過先驗語義知識對標注結果進行語義分析，從而得到符合人類語義的標注結果。
2.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S2進一步包括521生成可視詞；522生成文檔由子影像生成文檔，即將子影像中的每個單詞由可視詞替代；523生成文集最后，將所有文檔組合，得到完整的文集。
3.根據(jù)權利要求2所述的方法，其特征在于，所述步驟S21進一步包括5211根據(jù)待標注數(shù)據(jù)類型與待標注數(shù)據(jù)的場景特點，選取對應的特征空間；5212將所有的單詞在此空間的投影向量進行無監(jiān)督聚類；5213將所有的聚類中心構成字典，每個聚類中心在字典中的索引稱為可視詞。
4.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S4進一步包括541將具有關鍵字的文檔與其關鍵字輸入監(jiān)督主題模型進行訓練，得到相應的模型， 包括不同類別文檔內隱主題的分布、不同隱主題內可視詞的分布和每個可視詞的隱主題標注；542將不具有關鍵字的文檔輸入步驟S41得到的模型，進行推理，得到其關鍵字與其每個可視詞的隱主題標注；543將S41步驟與S42步驟得到的結果結合，即可得到所有文檔的分類結果與初步標注結果。
5.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S2和步驟S3的順序可交換。
全文摘要
本發(fā)明公開了一種基于監(jiān)督主題模型的高分辨率SAR影像標注方法，包括以下步驟S1分割影像，其進一步包括將SAR影像分割成為多個大小相等的子影像；再將每個子影像劃分成為互不重疊的矩形區(qū)域，每個矩形區(qū)域稱之為單詞；S2圖像表征用子影像生成文檔，用所有的文檔生成文集；S3知識輸入，其進一步包括選取一部分具有典型場景的子影像進行基于關鍵字的人工標注，這些關鍵字組成的集合稱之為文檔的隱類別；S4訓練推理完成SAR影像的初步標注；S5語義分析根據(jù)所有子影像的分類結果與單詞的標注結果，通過先驗語義知識對標注結果進行語義分析，從而得到符合人類語義的標注結果。
文檔編號G06T11/60GK102542590SQ20111044623
公開日2012年7月4日 申請日期2011年12月27日 優(yōu)先權日2011年12月27日
發(fā)明者于秋則, 劉興釗, 柳彬, 汪煒, 王寰宇, 胡昊, 郁文賢 申請人:上海交通大學