一種無監(jiān)督摳圖方法及裝置的制造方法
【專利摘要】本發(fā)明公開了一種無監(jiān)督摳圖方法及裝置，通過對待摳圖圖像進行超像素分割，將待摳圖圖像分割成多個超像素區(qū)域，以及基于檢測到的待摳圖圖像的角點集合中角點的位置，確定角點集合對應的凸包區(qū)域，進而再通過對凸包區(qū)域向外擴展，確定出先驗超像素區(qū)域，以及進一步基于先驗超像素區(qū)域和非先驗超像素區(qū)域之間的位置關系，確定出未知超像素區(qū)域，從而實現(xiàn)基于所確定的先驗超像素區(qū)域、非先驗超像素區(qū)域以及未知超像素區(qū)域，生成約束灰度圖像，并基于生成的約束灰度圖像，對待摳圖圖像進行摳圖處理。采用本方案提高了從待摳圖圖像中自動獲取約束信息的準確性。
【專利說明】
一種無監(jiān)督摳圖方法及裝置
技術領域
[0001] 本發(fā)明涉及計算機視覺技術領域，人工智能技術領域，以及圖像處理技術領域，尤 其涉及一種無監(jiān)督摳圖方法及裝置。
【背景技術】
[0002] 摳圖從圖像或者視頻中提取前景目標區(qū)域的技術，其是計算機視覺和人工智能研 究領域的核心問題之一。由于摳圖技術在圖像處理和視頻編輯方面的重要應用，同時其也 是目前圖像處理技術領域研究的熱點問題之一。
[0003] 當前，根據(jù)是否采用人工交互，摳圖方法可以分為兩大類:半監(jiān)督摳圖方法、無監(jiān) 督摳圖方法。半監(jiān)督的摳圖方法通過人工提供約束條件完成掩膜的提取，是當前研究的一 個熱點，近些年取得了許多顯著的成果。無監(jiān)督的摳圖方法通過機器自動提取約束信息支 撐掩膜的生成。
[0004] 目前，約束信息的自動提取是研究的難點，是無監(jiān)督摳圖方法發(fā)展的瓶頸所在。因 此，針對無監(jiān)督摳圖算法的研究非常有限。然而，由于其巨大的潛在應用價值正在開始逐漸 的被研究者們所關注。但是，如何能夠自動、準確的從圖像中獲取約束信息，進而輔助后期 的掩像生成是一個具有挑戰(zhàn)性的問題。
[0005]目前已知的一種摳圖方法為譜摳圖算法，通過圖像對應拉普拉斯矩陣的最小特征 向量計算基礎模糊遮罩部件，應用遮罩部件構建語義上有意義的前景掩像。然而，基于語義 的部件選擇往往會在實際應用中獲取錯誤的掩像，究其原因是約束信息不夠準確。
[0006] 綜上所述，目前已知的摳圖方法中存在獲取約束信息（TriMap)準確性較低的問 題。

【發(fā)明內容】

[0007] 本發(fā)明實施例提供一種無監(jiān)督摳圖方法及裝置，用以解決目前存在的在摳圖處理 的過程中獲取約束信息準確性較低的問題。
[0008] 本發(fā)明實施例提供一種無監(jiān)督摳圖方法，包括：
[0009] 對待摳圖圖像進行超像素分割，得到多個超像素區(qū)域；
[0010]對所述待摳圖圖像進行角點檢測，得到所述待摳圖圖像中的角點集合；
[0011] 基于所述角點集合中角點的位置，確定所述角點集合對應的凸包區(qū)域；
[0012] 在所述多個超像素區(qū)域中，確定所述凸包區(qū)域覆蓋的超像素區(qū)域向外相鄰的超像 素區(qū)域，所述凸包區(qū)域覆蓋的超像素區(qū)域與所述向外相鄰的超像素區(qū)域，作為先驗超像素 區(qū)域；
[0013] 針對每個先驗超像素區(qū)域，如果該先驗超像素區(qū)域的相鄰超像素區(qū)域中存在非先 驗超像素區(qū)域，則將該先驗超像素區(qū)域確定為未知超像素區(qū)域；
[0014] 針對每個非先驗超像素區(qū)域，如果該非先驗超像素區(qū)域的相鄰超像素區(qū)域中存在 未知超像素區(qū)域，則將該非先驗超像素區(qū)域確定為未知超像素區(qū)域；
[0015] 基于所確定的先驗超像素區(qū)域、非先驗超像素區(qū)域以及未知超像素區(qū)域，生成約 束灰度圖像；
[0016] 基于所述約束灰度圖像，對所述待摳圖圖像進行摳圖處理。
[0017] 進一步的，基于所確定的先驗超像素區(qū)域、非先驗超像素區(qū)域以及未知超像素區(qū) 域，生成約束灰度圖像，包括：
[0018] 將所確定的先驗超像素區(qū)域中的像素點的像素值確定為表示白色的像素值，將所 確定的非先驗超像素區(qū)域的像素點的像素值確定為表示黑色的像素值，將所確定的未知超 像素區(qū)域的像素點的像素值確定為表示黑色與白色中間灰色的像素值，得到約束灰度圖 像。
[0019] 本發(fā)明實施例還提供一種無監(jiān)督摳圖裝置，包括：
[0020] 第一分割模塊，用于對待摳圖圖像進行超像素分割，得到多個超像素區(qū)域；
[0021] 第一角點檢測模塊，用于對所述待摳圖圖像進行角點檢測，得到所述待摳圖圖像 中的角點集合；
[0022] 第一凸包區(qū)域確定模塊，用于基于所述角點集合中角點的位置，確定所述角點集 合對應的凸包區(qū)域；
[0023] 第一擴展模塊，用于在所述多個超像素區(qū)域中，確定所述凸包區(qū)域覆蓋的超像素 區(qū)域向外相鄰的超像素區(qū)域，所述凸包區(qū)域覆蓋的超像素區(qū)域與所述向外相鄰的超像素區(qū) 域，作為先驗超像素區(qū)域；
[0024] 第一區(qū)域確定模塊，用于針對每個先驗超像素區(qū)域，如果該先驗超像素區(qū)域的相 鄰超像素區(qū)域中存在非先驗超像素區(qū)域，則將該先驗超像素區(qū)域確定為未知超像素區(qū)域； [0025]第二區(qū)域確定模塊，用于針對每個非先驗超像素區(qū)域，如果該非先驗超像素區(qū)域 的相鄰超像素區(qū)域中存在未知超像素區(qū)域，則將該非先驗超像素區(qū)域確定為未知超像素區(qū) 域；
[0026] 第一約束信息生成模塊，用于基于所確定的先驗超像素區(qū)域、非先驗超像素區(qū)域 以及未知超像素區(qū)域，生成約束灰度圖像；
[0027] 第一摳圖處理模塊，用于基于所述約束灰度圖像，對所述待摳圖圖像進行摳圖處 理。
[0028] 本發(fā)明實施例提供的上述方法中，通過對待摳圖圖像進行超像素分割，將待摳圖 圖像分割成多個超像素區(qū)域，以及基于檢測到的待摳圖圖像的角點集合中角點的位置，確 定角點集合對應的凸包區(qū)域，進而再通過對凸包區(qū)域向外擴展，確定出先驗超像素區(qū)域，以 及進一步基于先驗超像素區(qū)域和非先驗超像素區(qū)域之間的位置關系，確定出未知超像素區(qū) 域，從而實現(xiàn)基于所確定的先驗超像素區(qū)域、非先驗超像素區(qū)域以及未知超像素區(qū)域，生成 約束灰度圖像，并基于生成的約束灰度圖像，從待摳圖圖像中提取前景目標圖像。由于生成 約束灰度圖像的過程中，引入了超像素區(qū)域，以及角點凸包檢測的處理，從而能夠更準確的 確定出表示前景圖像的先驗超像素區(qū)域，進而提高了從待摳圖圖像中自動獲取約束信息的 準確性。
[0029] 本發(fā)明實施例還提供一種無監(jiān)督摳圖方法，包括：
[0030] 對待摳圖圖像進行超像素分割，得到多個超像素區(qū)域；
[0031] 基于所述多個超像素區(qū)域的特征向量，確定所述多個超像素區(qū)域中每兩個超像素 區(qū)域之間的特征關系；
[0032] 對所述待摳圖圖像進行角點檢測，得到所述待摳圖圖像中的角點集合；
[0033] 基于所述角點集合中角點的位置，確定所述角點集合對應的凸包區(qū)域；
[0034] 在所述多個超像素區(qū)域中，確定所述凸包區(qū)域覆蓋的超像素區(qū)域向外相鄰的超像 素區(qū)域，所述凸包區(qū)域覆蓋的超像素區(qū)域與所述向外相鄰的超像素區(qū)域，作為先驗超像素 區(qū)域，其中先驗超像素區(qū)域的先驗標簽值為1，非先驗超像素區(qū)域的先驗標簽值為〇;
[0035]利用條件隨機場理論，基于所述多個超像素區(qū)域的先驗標簽值，以及所述多個超 像素區(qū)域中每兩個超像素區(qū)域之間的特征關系，對所述多個超像素區(qū)域的先驗標簽值進行 優(yōu)化，優(yōu)化后的先驗標簽值為1的超像素區(qū)域作為優(yōu)化先驗超像素區(qū)域；
[0036]針對每個優(yōu)化先驗超像素區(qū)域，如果該優(yōu)化先驗超像素區(qū)域的相鄰超像素區(qū)域中 存在非優(yōu)化先驗超像素區(qū)域，則將該優(yōu)化先驗超像素區(qū)域確定為未知超像素區(qū)域；
[0037] 針對每個非優(yōu)化先驗超像素區(qū)域，如果該非優(yōu)化先驗超像素區(qū)域的相鄰超像素區(qū) 域中存在未知超像素區(qū)域，則將該非優(yōu)化先驗超像素區(qū)域確定為未知超像素區(qū)域；
[0038] 基于所確定的優(yōu)化先驗超像素區(qū)域、非優(yōu)化先驗超像素區(qū)域以及未知超像素區(qū) 域，生成約束灰度圖像；
[0039] 基于所述約束灰度圖像，對所述待摳圖圖像進行摳圖處理。
[0040] 進一步的，基于所述多個超像素區(qū)域的特征向量，確定所述多個超像素區(qū)域中每 兩個超像素區(qū)域之間的特征關系，包括：
[0041] 采用如下公式確定所述多個超像素區(qū)域中每兩個超像素區(qū)域之間的特征關系：
[0042] E ={exp(-^(^')|h-v，f) Ij 1 0 (v^c,)
[0043] 其中，表示所述多個超像素區(qū)域中第i個超像素區(qū)域與第j個超像素區(qū)域之間的 特征關系值，Vl表示第i個超像素區(qū)域的特征向量，W表示第j個超像素區(qū)域的特征向量， 表示與第i個超像素區(qū)域具有預定義連接關系的超像素區(qū)域集合；
[0044] ff(i, j) = ( | |vi-vk(i) |g| |vk(j)-vj| | )_1；
[0045] 其中，n是Ci中包括的超像素區(qū)域的數(shù)量，vk( i)為滿足如下關系式的Ci中的一個超 像素區(qū)域的特征向量；
[0046] vk{i)= argmin 。 /=1
[0047]進一步的，超像素區(qū)域的特征向量v表示為v=[L，a，b，R，G，B，x，y]，其中，L，a，b分 別表示超像素區(qū)域在Lab顏色空間下每個通道的平均值，R，G，B分別表示超像素區(qū)域在RGB 顏色空間下每個通道的平均值，x，y分別表示超像素區(qū)域的中心位置在所述待摳圖圖像中 的橫坐標和縱坐標。
[0048]進一步的，利用條件隨機場理論，基于所述多個超像素區(qū)域的先驗標簽值，以及所 述多個超像素區(qū)域中每兩個超像素區(qū)域之間的特征關系，對所述多個超像素區(qū)域的先驗標 簽值進行優(yōu)化，包括：
[0049]針對能量方程
求最優(yōu)解，得到最優(yōu)解 …其中，ki表示第i個超像素區(qū)域對應的權重，h表示第i個超像素區(qū)域的 先驗標簽值，表示所述多個超像素區(qū)域中第i個超像素區(qū)域與第j個超像素區(qū)域之間的特 征關系值，A為平衡因子，< 表示第i個超像素區(qū)域對應的最優(yōu)解的值，N是所述多個超像素 區(qū)域的數(shù)量；
[0050] 使用自適應二值算法，對所述最優(yōu)解f進行處理，得到所述多個超像素區(qū)域的優(yōu) 化后的先驗標簽值Y=[yi，y 2，…，yN]，其中，yi表示第i個超像素區(qū)域的優(yōu)化后的先驗標簽 值。
[0051] 進一步的，針對能量方程
求最優(yōu)解，得到如 下最優(yōu)解：
[0052] y*=(K+AP)-1(^KL)；
[0053]其中，P是所述待摳圖圖像的拉普拉斯矩陣，K是單位陣，L是所述多個超像素區(qū)域 的先驗標簽值組成的向量；
[0054] P = D-E；
[0055] 其中，D = diag{dii，d22，...，d_};
[0056] ""二
[0057] 進一步的，基于所確定的優(yōu)化先驗超像素區(qū)域、非優(yōu)化先驗超像素區(qū)域以及未知 超像素區(qū)域，生成約束灰度圖像，包括：
[0058] 將所確定的優(yōu)化先驗超像素區(qū)域中的像素點的像素值確定為表示白色的像素值， 將所確定的非優(yōu)化先驗超像素區(qū)域的像素點的像素值確定為表示黑色的像素值，將所確定 的未知超像素區(qū)域的像素點的像素值確定為表示黑色與白色中間灰色的像素值，得到約束 灰度圖像。
[0059] 本發(fā)明實施例還提供一種無監(jiān)督摳圖裝置，包括：
[0060] 第二分割模塊，用于對待摳圖圖像進行超像素分割，得到多個超像素區(qū)域；
[0061] 特征關系確定模塊，用于基于所述多個超像素區(qū)域的特征向量，確定所述多個超 像素區(qū)域中每兩個超像素區(qū)域之間的特征關系；
[0062]第二角點檢測模塊，用于對所述待摳圖圖像進行角點檢測，得到所述待摳圖圖像 中的角點集合；
[0063] 第二凸包區(qū)域確定模塊，用于基于所述角點集合中角點的位置，確定所述角點集 合對應的凸包區(qū)域；
[0064] 第二擴展模塊，用于在所述多個超像素區(qū)域中，確定所述凸包區(qū)域覆蓋的超像素 區(qū)域向外相鄰的超像素區(qū)域，所述凸包區(qū)域覆蓋的超像素區(qū)域與所述向外相鄰的超像素區(qū) 域，作為先驗超像素區(qū)域，其中先驗超像素區(qū)域的先驗標簽值為1，非先驗超像素區(qū)域的先 驗標簽值為〇;
[0065] 優(yōu)化模塊，用于利用條件隨機場理論，基于所述多個超像素區(qū)域的先驗標簽值，以 及所述多個超像素區(qū)域中每兩個超像素區(qū)域之間的特征關系，對所述多個超像素區(qū)域的先 驗標簽值進行優(yōu)化，優(yōu)化后的先驗標簽值為1的超像素區(qū)域作為優(yōu)化先驗超像素區(qū)域；
[0066] 第三區(qū)域確定模塊，用于針對每個優(yōu)化先驗超像素區(qū)域，如果該優(yōu)化先驗超像素 區(qū)域的相鄰超像素區(qū)域中存在非優(yōu)化先驗超像素區(qū)域，則將該優(yōu)化先驗超像素區(qū)域確定為 未知超像素區(qū)域；
[0067] 第四區(qū)域確定模塊，用于針對每個非優(yōu)化先驗超像素區(qū)域，如果該非優(yōu)化先驗超 像素區(qū)域的相鄰超像素區(qū)域中存在未知超像素區(qū)域，則將該非優(yōu)化先驗超像素區(qū)域確定為 未知超像素區(qū)域；
[0068] 第二約束信息生成模塊，用于基于所確定的優(yōu)化先驗超像素區(qū)域、非優(yōu)化先驗超 像素區(qū)域以及未知超像素區(qū)域，生成約束灰度圖像；
[0069] 第二摳圖處理模塊，用于基于所述約束灰度圖像，對所述待摳圖圖像進行摳圖處 理。
[0070] 本發(fā)明實施例提供的上述方法中，通過對待摳圖圖像進行超像素分割，將待摳圖 圖像分割成多個超像素區(qū)域，并確定出每兩個超像素區(qū)域之間的特征關系，以及基于檢測 到的待摳圖圖像的角點集合中角點的位置，確定角點集合對應的凸包區(qū)域，進而再通過對 凸包區(qū)域向外擴展，確定出先驗超像素區(qū)域，然后利用條件隨機場理論，對所確定出的先驗 超像素區(qū)域的先驗標簽值進行優(yōu)化，以便確定出更符合實際情況的優(yōu)化先驗超像素區(qū)域， 以及進一步基于優(yōu)化先驗超像素區(qū)域和非優(yōu)化先驗超像素區(qū)域之間的位置關系，確定出未 知超像素區(qū)域，從而實現(xiàn)基于所確定的優(yōu)化先驗超像素區(qū)域、非優(yōu)化先驗超像素區(qū)域以及 未知超像素區(qū)域，生成約束灰度圖像，并基于生成的約束灰度圖像，從待摳圖圖像中提取前 景目標圖像。由于生成約束灰度圖像的過程中，引入了超像素區(qū)域，超像素區(qū)域之間的位置 關系，角點凸包檢測，以及利用條件隨機場理論優(yōu)化最初確定的先驗超像素區(qū)域的先驗標 簽值的處理，從而能夠更準確的確定出表示前景圖像的先驗超像素區(qū)域，進而提高了從待 摳圖圖像中自動獲取約束信息的準確性。
[0071] 本申請的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變 得顯而易見，或者通過實施本申請而了解。本申請的目的和其他優(yōu)點可通過在所寫的說明 書、權利要求書、以及附圖中所特別指出的結構來實現(xiàn)和獲得。
【附圖說明】
[0072]附圖用來提供對本發(fā)明的進一步理解，并且構成說明書的一部分，與本發(fā)明實施 例一起用于解釋本發(fā)明，并不構成對本發(fā)明的限制。在附圖中：
[0073] 圖1為本發(fā)明實施例1提供的無監(jiān)督摳圖方法的流程圖；
[0074] 圖2為本發(fā)明實施例2提供的無監(jiān)督摳圖方法的流程圖；
[0075] 圖3為本發(fā)明實施例3中提供的基于約束灰度圖像，從待摳圖圖像中提取前景目標 圖像的流程圖；
[0076] 圖4為本發(fā)明實施例4提供的無監(jiān)督摳圖裝置的結構示意圖；
[0077] 圖5為本發(fā)明實施例5提供的無監(jiān)督摳圖裝置的結構示意圖。
【具體實施方式】
[0078] 為了給出提高在摳圖處理的過程中獲取約束信息準確性的實現(xiàn)方案，本發(fā)明實施 例提供了無監(jiān)督摳圖方法及裝置，以下結合說明書附圖對本發(fā)明的優(yōu)選實施例進行說明， 應當理解，此處所描述的優(yōu)選實施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。并且 在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。
[0079] 實施例1:
[0080] 本發(fā)明實施例1提供一種無監(jiān)督摳圖方法，如圖1所示，可以包括如下步驟：
[0081] 步驟11、對待摳圖圖像進行超像素分割，得到多個超像素區(qū)域。
[0082] 本步驟中，可以運用目前已知的各種超像素分割算法對待摳圖圖像進行超像素分 害J，例如，運用線性迭代聚類算法(SLIC)對待摳圖圖像進行超像素分割，得到多個超像素區(qū) 域。
[0083]步驟12、對待摳圖圖像進行角點檢測，得到待摳圖圖像中的角點集合。
[0084]本步驟12與上述步驟11之間沒有嚴格的先后順序。
[0085]步驟13、基于角點集合中角點的位置，確定角點集合對應的凸包區(qū)域。
[0086] 本步驟相當于將角點集合中的位置位于外圍的角點進行連接，且連接的曲線向外 擴張，所得到的凸包區(qū)域，相比直線連接所圈定的區(qū)域范圍更大，從而使得后續(xù)所確定的初 始前景區(qū)域范圍相對更大，以便降低最終獲取約束信息的不準確性。
[0087] 步驟14、在多個超像素區(qū)域中，確定凸包區(qū)域覆蓋的超像素區(qū)域向外相鄰的超像 素區(qū)域，即凸包區(qū)域向外擴展一環(huán)，凸包區(qū)域覆蓋的超像素區(qū)域與向外相鄰的超像素區(qū)域， 作為先驗超像素區(qū)域。
[0088] 基于先驗知識可知，一副圖像中的前景目標圖像的邊界點，大多是角點，所以，本 發(fā)明實施例1中，基于先驗知識，通過上述步驟12-14中的角點檢測等處理步驟，所確定出的 先驗超像素區(qū)域所覆蓋的區(qū)域，可以表示為初始前景區(qū)域。
[0089] 步驟15、針對每個先驗超像素區(qū)域，如果該先驗超像素區(qū)域的相鄰超像素區(qū)域中 存在非先驗超像素區(qū)域，則將該先驗超像素區(qū)域確定為未知超像素區(qū)域。
[0090] 步驟16、在通過上述步驟15,針對每個先驗超像素區(qū)域進行處理之后，本步驟中， 針對每個非先驗超像素區(qū)域，如果該非先驗超像素區(qū)域的相鄰超像素區(qū)域中存在未知超像 素區(qū)域，則將該非先驗超像素區(qū)域確定為未知超像素區(qū)域。
[0091] 通過上述步驟15和16,將該多個超像素區(qū)域劃分為先驗超像素區(qū)域、非先驗超像 素區(qū)域以及未知超像素區(qū)域，其中，先驗超像素區(qū)域可以表示為前景區(qū)域，非先驗超像素區(qū) 域可以表示為背景區(qū)域，未知超像素區(qū)域可以表示為未知區(qū)域。
[0092] 步驟17、基于所確定的先驗超像素區(qū)域、非先驗超像素區(qū)域以及未知超像素區(qū)域， 生成約束灰度圖像。
[0093] 例如，可以將所確定的先驗超像素區(qū)域中的像素點的像素值確定為表示白色的像 素值，將所確定的非先驗超像素區(qū)域的像素點的像素值確定為表示黑色的像素值，將所確 定的未知超像素區(qū)域的像素點的像素值確定為表示黑色與白色中間灰色的像素值，得到約 束灰度圖像，該約束灰度圖像即為約束信息(TriMap)。
[0094]具體的，表示白色的像素值為255,表示黑色的像素值為0,表示黑色與白色中間灰 色的像素值為125。
[0095] 步驟18、基于所確定的約束灰度圖像，對待摳圖圖像進行摳圖處理。
[0096] 本步驟具體可以采用目前已知的基于約束灰度圖像提取前景目標圖像的算法，對 待摳圖圖像進行摳圖處理。
[0097]采用本發(fā)明實施例1提供的無監(jiān)督摳圖方法，由于生成約束灰度圖像的過程中，弓丨 入了超像素區(qū)域，超像素區(qū)域之間的位置關系，角點凸包檢測，以及利用條件隨機場理論優(yōu) 化最初確定的先驗超像素區(qū)域的先驗標簽值的處理，從而能夠更準確的確定出表示前景圖 像的先驗超像素區(qū)域，進而提高了從待摳圖圖像中自動獲取約束信息的準確性。
[0098] 實施例2:
[0099] 本發(fā)明實施例2提供一種無監(jiān)督摳圖方法，如圖2所示，可以包括如下步驟：
[0100] 步驟21、對待摳圖圖像進行超像素分割，得到多個超像素區(qū)域。
[0101 ]本步驟中，可以運用目前已知的各種超像素分割算法對待摳圖圖像進行超像素分 害J，例如，運用線性迭代聚類算法(SLIC)對待摳圖圖像進行超像素分割，得到多個超像素區(qū) 域。
[0102] 根據(jù)超像素分割結果，每個超像素區(qū)域可以對應一個節(jié)點，組成一個閉環(huán)圖。
[0103] 步驟22、基于該多個超像素區(qū)域的特征向量，確定該多個超像素區(qū)域中每兩個超 像素區(qū)域之間的特征關系。
[0104] 本步驟中，具體可以采用如下公式確定該多個超像素區(qū)域中每兩個超像素區(qū)域之 間的特征關系：
[0105] 五..：|e4--4)卜味 M 0 (v^C,)
[0106] 其中，表示該多個超像素區(qū)域中第i個超像素區(qū)域與第j個超像素區(qū)域之間的特 征關系值，Vl表示第i個超像素區(qū)域的特征向量，W表示第j個超像素區(qū)域的特征向量，(^表 示與第i個超像素區(qū)域具有預定義連接關系的超像素區(qū)域集合；
[0107] ff(i, j) = ( | |vi-vk(i) |g| |vk(j)-vj| | )_1；
[0108] 其中，11是(^中包括的超像素區(qū)域的數(shù)量，vk(i)為滿足如下關系式的G中的一個超 像素區(qū)域的特征向量，該超像素區(qū)域為在第i個超像素區(qū)域的鄰域中，與鄰域中其他超像素 區(qū)域距離最近的超像素區(qū)域； n i
[0109] n(/) = argmin : l=i
[0110] 進一步的，超像素區(qū)域的特征向量v可以表示為v = [L，a，b，R，G，B，x，y]，其中，L， a，b分別表示超像素區(qū)域在Lab顏色空間下每個通道的平均值，R，G，B分別表示超像素區(qū)域 在RGB顏色空間下每個通道的平均值，x，y分別表示超像素區(qū)域的中心位置在待摳圖圖像中 的橫坐標和縱坐標。
[0111] 進一步的，與第i個超像素區(qū)域具有預定義連接關系的超像素區(qū)域，可以為第i個 超像素區(qū)域的相鄰超像素區(qū)域，以及第i個超像素區(qū)域的相鄰超像素區(qū)域的相鄰超像素區(qū) 域，即第i個超像素區(qū)域的二環(huán)范圍內的超像素區(qū)域
[0112] 通過上述步驟21和步驟22得到的分割后的圖G，圖G可以表示為G=(V，E)，其中，V 表示圖中的節(jié)點集合，VDXN = { ( VI，V2，…，VN-l，VN) }，節(jié)點與超像素區(qū)域--對應，E表示圖中 節(jié)點之間的連線集合，是超像素區(qū)域之間關系的表征，即上述Eu所組成的關系矩陣，其是一 個稀疏矩陣。
[0113] 步驟23、對待摳圖圖像進行角點檢測，得到待摳圖圖像中的角點集合。
[0114] 本步驟23與上述步驟21和步驟22之間沒有嚴格的先后順序。
[0115] 步驟24、基于角點集合中角點的位置，確定角點集合對應的凸包區(qū)域。
[0116] 本步驟相當于將角點集合中的位置位于外圍的角點進行連接，且連接的曲線向外 擴張，所得到的凸包區(qū)域，相比直線連接所圈定的區(qū)域范圍更大，從而使得后續(xù)所確定的初 始前景區(qū)域范圍相對更大，以便降低最終獲取約束信息的不準確性。
[0117] 步驟25、在多個超像素區(qū)域中，確定凸包區(qū)域覆蓋的超像素區(qū)域向外相鄰的超像 素區(qū)域，即凸包區(qū)域向外擴展一環(huán)，凸包區(qū)域覆蓋的超像素區(qū)域與向外相鄰的超像素區(qū)域， 作為先驗超像素區(qū)域，其中先驗超像素區(qū)域的先驗標簽值為1，非先驗超像素區(qū)域的先驗標 簽值為〇,且所有先驗超像素區(qū)域所覆蓋的區(qū)域稱作區(qū)域H。
[0118]具體可以使用先驗標簽L進行表示，L= [1^12,…，1N]，其中，如果第i個超像素區(qū) 域屬于區(qū)域H，則li= 1，否則，li = 0。
[0119] 基于先驗知識可知，一副圖像中的前景目標圖像的邊界點，大多是角點，所以，本 發(fā)明實施例1中，基于先驗知識，通過上述步驟23-25中的角點檢測等處理步驟，所確定出的 先驗超像素區(qū)域所覆蓋的區(qū)域H，可以表示為初始前景區(qū)域。
[0120] 步驟26、利用條件隨機場理論，基于該多個超像素區(qū)域的先驗標簽值，以及該多個 超像素區(qū)域中每兩個超像素區(qū)域之間的特征關系，對該多個超像素區(qū)域的先驗標簽值進行 優(yōu)化，優(yōu)化后的先驗標簽值為1的超像素區(qū)域作為優(yōu)化先驗超像素區(qū)域。
[0121] 本步驟，利用條件隨機場理論，對該多個超像素區(qū)域的先驗標簽值進行優(yōu)化，即相 當于對上述確定的初始前景區(qū)域H進行優(yōu)化。
[0122] 根據(jù)條件隨機場理論，有如下形式：
[0124]不同于傳統(tǒng)形式，此處取7￡[0，1]，2為歸一化常數(shù)，￡(7|1)是能量方程，可以寫為 如下形式：
[0126] 因此，本步驟具體可以采用如下方式：
[0127] 針對能量方程
求最優(yōu)解，得到最優(yōu)解 / 其中，h表示第i個超像素區(qū)域對應的權重，h表示第i個超像素區(qū)域的 先驗標簽值，表示多個超像素區(qū)域中第i個超像素區(qū)域與第j個超像素區(qū)域之間的特征關 系值A為平衡因子，用于把握超像素區(qū)域間關系和超像素區(qū)域與先驗標簽值之間關系的一 個平衡，X表示第i個超像素區(qū)域對應的最優(yōu)解的值，N是多個超像素區(qū)域的數(shù)量；
[0128] 使用自適應二值算法，對最優(yōu)解f進行處理，得到該多個超像素區(qū)域的優(yōu)化后的 先驗標簽值Y=[yi，y 2，…，yN]，其中，yi表示第i個超像素區(qū)域的優(yōu)化后的先驗標簽值。
[0129] 進一步的，針對能量方程
求最優(yōu)解，得到如 下最優(yōu)解：
[0130] y*=(K+AP)-1(^KL)；
[0131]其中，P是所述待摳圖圖像的拉普拉斯矩陣，K是單位陣，L是所述多個超像素區(qū)域 的先驗標簽值組成的向量；
[0132] P = D-E；
[0133] 其中，D = diag{dii，d22，...，d_};
[0134] °
[0135] 通過本步驟所得到的優(yōu)化先驗超像素區(qū)域，所有優(yōu)化先驗超像素區(qū)域所覆蓋的區(qū) 域，可以表示為優(yōu)化初始前景區(qū)域。
[0136] 步驟27、針對每個優(yōu)化先驗超像素區(qū)域，如果該優(yōu)化先驗超像素區(qū)域的相鄰超像 素區(qū)域中存在非優(yōu)化先驗超像素區(qū)域，則將該優(yōu)化先驗超像素區(qū)域確定為未知超像素區(qū) 域。
[0137] 本步驟相當于在超像素分割得到的圖G中，基于上述得到的得到該多個超像素區(qū) 域的優(yōu)化后的先驗標簽值Y=[yi，y 2,…，7~]，對71 = 1的區(qū)域(優(yōu)化后先驗超像素區(qū)域)做一 環(huán)的腐蝕，即如果71 = 1，且其相鄰超像素區(qū)域中存在先驗標簽值為〇的鄰域，則yi = _l，先驗 標簽值為-1表示該超像素區(qū)域為未知超像素區(qū)域。
[0138] 步驟28、在通過上述步驟27，針對每個優(yōu)化先驗超像素區(qū)域進行處理之后，本步驟 中，針對每個非優(yōu)化先驗超像素區(qū)域，如果該非優(yōu)化先驗超像素區(qū)域的相鄰超像素區(qū)域中 存在未知超像素區(qū)域，則將該非優(yōu)化先驗超像素區(qū)域確定為未知超像素區(qū)域。
[0139] 本步驟相當于，對先驗標簽值為-1的超像素區(qū)域，向其先驗標簽值為0的相鄰超像 素區(qū)域做一環(huán)的膨脹，即如果又:二。，且其相鄰超像素區(qū)域中存在先驗標簽值為-1的鄰域， 則7 1 = _1，先驗標簽值為-1表示該超像素區(qū)域為未知超像素區(qū)域。
[0140] 由此，標簽71則滿足71￡{-1，〇，1}，對應的，分別表示優(yōu)化先驗超像素區(qū)域，非優(yōu)化 先驗超像素區(qū)域，以及未知超像素區(qū)域。
[0141] 通過上述步驟27和步驟28,將該多個超像素區(qū)域劃分為優(yōu)化先驗超像素區(qū)域、非 優(yōu)化先驗超像素區(qū)域以及未知超像素區(qū)域，其中，優(yōu)化先驗超像素區(qū)域可以表示為前景區(qū) 域，非優(yōu)化先驗超像素區(qū)域可以表示為背景區(qū)域，未知超像素區(qū)域可以表示為未知區(qū)域。
[0142] 步驟29、基于所確定的先驗超像素區(qū)域、非先驗超像素區(qū)域以及未知超像素區(qū)域， 生成約束灰度圖像。
[0143] 例如，可以將所確定的先驗超像素區(qū)域中的像素點的像素值確定為表示白色的像 素值，將所確定的非先驗超像素區(qū)域的像素點的像素值確定為表示黑色的像素值，將所確 定的未知超像素區(qū)域的像素點的像素值確定為表示黑色與白色中間灰色的像素值，得到約 束灰度圖像，該約束灰度圖像即為約束信息(TriMap)。
[0144] 具體的，表示白色的像素值為255,表示黑色的像素值為0,表示黑色與白色中間灰 色的像素值為125。
[0145] 步驟30、基于所確定的約束灰度圖像，對待摳圖圖像進行摳圖處理。
[0146] 本步驟具體可以采用目前已知的基于約束灰度圖像提取前景目標圖像的算法，對 待摳圖圖像進行摳圖處理。
[0147] 采用本發(fā)明實施例2提供的無監(jiān)督摳圖方法，由于生成約束灰度圖像的過程中，弓丨 入了超像素區(qū)域，超像素區(qū)域之間的位置關系，角點凸包檢測，以及利用條件隨機場理論優(yōu) 化最初確定的先驗超像素區(qū)域的先驗標簽值的處理，從而能夠更準確的確定出表示前景圖 像的先驗超像素區(qū)域，進而提高了從待摳圖圖像中自動獲取約束信息的準確性。
[0148] 實施例3:
[0149] 針對本發(fā)明實施例1中的步驟18和本發(fā)明實施例2中的步驟30,即基于所確定的約 束灰度圖像，對待摳圖圖像進行摳圖處理，如圖3所示，本發(fā)明實施例3中提出如下處理流 程，具體可以包括：
[0150] 步驟31、在已生成的約束灰度圖像中，設Tf表示前景區(qū)域，Tb表示背景區(qū)域，Tu表示 未知區(qū)域，前景區(qū)域和背景區(qū)域可以統(tǒng)稱為已知區(qū)域，然后在待摳圖圖像中，基于已知區(qū)域 像素點與未知區(qū)域像素點之間的特征關系，將滿足預設條件的未知區(qū)域像素點劃分到已知 區(qū)域中。
[0151]例如，所需要滿足的預設條件，具體可以為當未知區(qū)域像素點i與已知區(qū)域像素點 j之間滿足如下關系時，將未知區(qū)域像素點i劃分到已知區(qū)域像素點j所在的已知區(qū)域內：
[0152] Dimage(i, j)<5；
[0153] Dc〇i〇r(i, j)<5；
[0154] Dimage(i, j)對于i最??；
[0155] 其中，Dimage(i，j)表示像素點i和像素點j之間的歐氏距離，0。。^(1，」)表示像素點 i和像素點j之間的顏色距離，Dimage(i，j)對于最小表示滿足上述兩個條件的情況下，i點與 其歐式距離最小的j點對應，因為滿足上述兩個條件的j點可能有多個。
[0156] 步驟32、針對每一個未知像素點，選擇其對應的前景、背景樣本對，具體如下：
[0157] 從未知像素出發(fā)，引出的Nk條路徑，路徑之間夾角為
。記錄每條路徑首次遇到 的背景點或前景點，組成前景背景對，此處，Nk=6。
[0158]首先選取最高可信度樣本對的公式為：
[0161] 其中，〇為常量，（Fm，Bn)為前景背景樣本對，Df、Db表示當前像素和前景背景樣本對 間的最小距離，V是當前像素點，在(F m，Bn)上的投影估計值。
[0162] f(Fm，Bn)最大時，對應(Fm，Bn)即為最高可信度樣本對。
[0163] 步驟33、a掩像初始估計。
[0164] 基于上一組后，對未知像素值的估計公式為 .其中 為可信度最高的前景背景樣本對。
[0165] 定義未知像素取值為<的可信度計算方式如下：
[0166] /(?;)= exp{-/l|c； -+(1 -》;拉)|}，其中（Fi，Bi)為前景背景樣本對，Ci 為待摳 圖圖像中實際值。
[0167]由此可以得到對未知像素點透明度值的估計：
[0170]其中，隊表示像素點i的鄰域，G表示高斯函數(shù)。
[0171 ]對每個未知像素點透明度值的求解，最終得到a掩像的初始估計。
[0172]步驟34、a掩像二次優(yōu)化。
[0173]建立二次目標優(yōu)化函數(shù)為：
[0174] a = arg min a1 La + A(a -d) D(a - a);
[0175] 其中，A=l〇〇，d表示為初始透明度向量(上步已獲得），L表示為以每個像素為節(jié)點 組成的圖對應的拉普拉斯陣。具體計算方式如下： 、，i = j
[0176] 相鄰;
[0：，其他
[0177] 其中，Wij為圖像中i點和j點的距離權值，計算方式如下：
[0179] 其中，Wk表示包含i和j的窗口像素集，此處為3*3;yk為窗口的均值；2k表示窗口標 準差;e = l〇-5。
[0180] 通過解二次目標函數(shù)，即可得到a掩像，進而完成前景目標圖像的提取。
[0181] 實施例4:
[0182] 基于同一發(fā)明構思，根據(jù)本發(fā)明上述實施例1提供的無監(jiān)督摳圖方法，相應地，本 發(fā)明實施例4還提供了一種無監(jiān)督摳圖裝置，其結構示意圖如圖4所示，具體包括：
[0183] 第一分割模塊41，用于對待摳圖圖像進行超像素分割，得到多個超像素區(qū)域；
[0184] 第一角點檢測模塊42,用于對所述待摳圖圖像進行角點檢測，得到所述待摳圖圖 像中的角點集合；
[0185] 第一凸包區(qū)域確定模塊43,用于基于所述角點集合中角點的位置，確定所述角點 集合對應的凸包區(qū)域；
[0186] 第一擴展模塊44,用于在所述多個超像素區(qū)域中，確定所述凸包區(qū)域覆蓋的超像 素區(qū)域向外相鄰的超像素區(qū)域，所述凸包區(qū)域覆蓋的超像素區(qū)域與所述向外相鄰的超像素 區(qū)域，作為先驗超像素區(qū)域；
[0187] 第一區(qū)域確定模塊45,用于針對每個先驗超像素區(qū)域，如果該先驗超像素區(qū)域的 相鄰超像素區(qū)域中存在非先驗超像素區(qū)域，則將該先驗超像素區(qū)域確定為未知超像素區(qū) 域；
[0188] 第二區(qū)域確定模塊46,用于針對每個非先驗超像素區(qū)域，如果該非先驗超像素區(qū) 域的相鄰超像素區(qū)域中存在未知超像素區(qū)域，則將該非先驗超像素區(qū)域確定為未知超像素 區(qū)域；
[0189]第一約束信息生成模塊47,用于基于所確定的先驗超像素區(qū)域、非先驗超像素區(qū) 域以及未知超像素區(qū)域，生成約束灰度圖像；
[0190]第一摳圖處理模塊48,用于基于所述約束灰度圖像，對所述待摳圖圖像進行摳圖 處理。
[0191] 上述各單元的功能可對應于圖1所示流程中的相應處理步驟，在此不再贅述。
[0192] 實施例5:
[0193] 基于同一發(fā)明構思，根據(jù)本發(fā)明上述實施例2提供的無監(jiān)督摳圖方法，相應地，本 發(fā)明實施例5還提供了一種無監(jiān)督摳圖裝置，其結構示意圖如圖5所示，具體包括：
[0194] 第二分割模塊51，用于對待摳圖圖像進行超像素分割，得到多個超像素區(qū)域；
[0195] 特征關系確定模塊52,用于基于所述多個超像素區(qū)域的特征向量，確定所述多個 超像素區(qū)域中每兩個超像素區(qū)域之間的特征關系；
[0196] 第二角點檢測模塊53,用于對所述待摳圖圖像進行角點檢測，得到所述待摳圖圖 像中的角點集合；
[0197] 第二凸包區(qū)域確定模塊54,用于基于所述角點集合中角點的位置，確定所述角點 集合對應的凸包區(qū)域；
[0198] 第二擴展模塊55,用于在所述多個超像素區(qū)域中，確定所述凸包區(qū)域覆蓋的超像 素區(qū)域向外相鄰的超像素區(qū)域，所述凸包區(qū)域覆蓋的超像素區(qū)域與所述向外相鄰的超像素 區(qū)域，作為先驗超像素區(qū)域，其中先驗超像素區(qū)域的先驗標簽值為1，非先驗超像素區(qū)域的 先驗標簽值為0;
[0199] 優(yōu)化模塊56,用于利用條件隨機場理論，基于所述多個超像素區(qū)域的先驗標簽值， 以及所述多個超像素區(qū)域中每兩個超像素區(qū)域之間的特征關系，對所述多個超像素區(qū)域的 先驗標簽值進行優(yōu)化，優(yōu)化后的先驗標簽值為1的超像素區(qū)域作為優(yōu)化先驗超像素區(qū)域；
[0200] 第三區(qū)域確定模塊57,用于針對每個優(yōu)化先驗超像素區(qū)域，如果該優(yōu)化先驗超像 素區(qū)域的相鄰超像素區(qū)域中存在非優(yōu)化先驗超像素區(qū)域，則將該優(yōu)化先驗超像素區(qū)域確定 為未知超像素區(qū)域；
[0201] 第四區(qū)域確定模塊58,用于針對每個非優(yōu)化先驗超像素區(qū)域，如果該非優(yōu)化先驗 超像素區(qū)域的相鄰超像素區(qū)域中存在未知超像素區(qū)域，則將該非優(yōu)化先驗超像素區(qū)域確定 為未知超像素區(qū)域；
[0202] 第二約束信息生成模塊59,用于基于所確定的優(yōu)化先驗超像素區(qū)域、非優(yōu)化先驗 超像素區(qū)域以及未知超像素區(qū)域，生成約束灰度圖像；
[0203]第二摳圖處理模塊60,用于基于所述約束灰度圖像，對所述待摳圖圖像進行摳圖 處理。
[0204] 上述各單元的功能可對應于圖2所示流程中的相應處理步驟，在此不再贅述。
[0205] 本申請的實施例所提供的無監(jiān)督摳圖裝置可通過計算機程序實現(xiàn)。本領域技術人 員應該能夠理解，上述的模塊劃分方式僅是眾多模塊劃分方式中的一種，如果劃分為其他 模塊或不劃分模塊，只要無監(jiān)督摳圖裝置具有上述功能，都應該在本申請的保護范圍之內。
[0206] 本申請是參照根據(jù)本申請實施例的方法、設備（系統(tǒng)）、和計算機程序產(chǎn)品的流程 圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流 程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合?？商峁┻@些計算機程序 指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產(chǎn) 生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產(chǎn)生用于實 現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
[0207] 這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特 定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指 令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或 多個方框中指定的功能。
[0208] 這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上，使得在計 算機或其他可編程設備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或 其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一 個方框或多個方框中指定的功能的步驟。
[0209] 顯然，本領域的技術人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精 神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權利要求及其等同技術的范圍 之內，則本發(fā)明也意圖包含這些改動和變型在內。
【主權項】
1. 一種無監(jiān)督摳圖方法，其特征在于，包括： 對待摳圖圖像進行超像素分割，得到多個超像素區(qū)域； 對所述待摳圖圖像進行角點檢測，得到所述待摳圖圖像中的角點集合； 基于所述角點集合中角點的位置，確定所述角點集合對應的凸包區(qū)域； 在所述多個超像素區(qū)域中，確定所述凸包區(qū)域覆蓋的超像素區(qū)域向外相鄰的超像素區(qū) 域，所述凸包區(qū)域覆蓋的超像素區(qū)域與所述向外相鄰的超像素區(qū)域，作為先驗超像素區(qū)域； 針對每個先驗超像素區(qū)域，如果該先驗超像素區(qū)域的相鄰超像素區(qū)域中存在非先驗超 像素區(qū)域，則將該先驗超像素區(qū)域確定為未知超像素區(qū)域； 針對每個非先驗超像素區(qū)域，如果該非先驗超像素區(qū)域的相鄰超像素區(qū)域中存在未知 超像素區(qū)域，則將該非先驗超像素區(qū)域確定為未知超像素區(qū)域； 基于所確定的先驗超像素區(qū)域、非先驗超像素區(qū)域以及未知超像素區(qū)域，生成約束灰 度圖像； 基于所述約束灰度圖像，對所述待摳圖圖像進行摳圖處理。2. 如權利要求1所述的方法，其特征在于，基于所確定的先驗超像素區(qū)域、非先驗超像 素區(qū)域以及未知超像素區(qū)域，生成約束灰度圖像，包括： 將所確定的先驗超像素區(qū)域中的像素點的像素值確定為表示白色的像素值，將所確定 的非先驗超像素區(qū)域的像素點的像素值確定為表示黑色的像素值，將所確定的未知超像素 區(qū)域的像素點的像素值確定為表示黑色與白色中間灰色的像素值，得到約束灰度圖像。3. -種無監(jiān)督摳圖方法，其特征在于，包括： 對待摳圖圖像進行超像素分割，得到多個超像素區(qū)域； 基于所述多個超像素區(qū)域的特征向量，確定所述多個超像素區(qū)域中每兩個超像素區(qū)域 之間的特征關系； 對所述待摳圖圖像進行角點檢測，得到所述待摳圖圖像中的角點集合； 基于所述角點集合中角點的位置，確定所述角點集合對應的凸包區(qū)域； 在所述多個超像素區(qū)域中，確定所述凸包區(qū)域覆蓋的超像素區(qū)域向外相鄰的超像素區(qū) 域，所述凸包區(qū)域覆蓋的超像素區(qū)域與所述向外相鄰的超像素區(qū)域，作為先驗超像素區(qū)域， 其中先驗超像素區(qū)域的先驗標簽值為1，非先驗超像素區(qū)域的先驗標簽值為〇; 利用條件隨機場理論，基于所述多個超像素區(qū)域的先驗標簽值，以及所述多個超像素 區(qū)域中每兩個超像素區(qū)域之間的特征關系，對所述多個超像素區(qū)域的先驗標簽值進行優(yōu) 化，優(yōu)化后的先驗標簽值為1的超像素區(qū)域作為優(yōu)化先驗超像素區(qū)域； 針對每個優(yōu)化先驗超像素區(qū)域，如果該優(yōu)化先驗超像素區(qū)域的相鄰超像素區(qū)域中存在 非優(yōu)化先驗超像素區(qū)域，則將該優(yōu)化先驗超像素區(qū)域確定為未知超像素區(qū)域； 針對每個非優(yōu)化先驗超像素區(qū)域，如果該非優(yōu)化先驗超像素區(qū)域的相鄰超像素區(qū)域中 存在未知超像素區(qū)域，則將該非優(yōu)化先驗超像素區(qū)域確定為未知超像素區(qū)域； 基于所確定的優(yōu)化先驗超像素區(qū)域、非優(yōu)化先驗超像素區(qū)域以及未知超像素區(qū)域，生 成約束灰度圖像； 基于所述約束灰度圖像，對所述待摳圖圖像進行摳圖處理。4. 如權利要求3所述的方法，其特征在于，基于所述多個超像素區(qū)域的特征向量，確定 所述多個超像素區(qū)域中每兩個超像素區(qū)域之間的特征關系，包括： 采用如下公式確定所述多個超像素區(qū)域中每兩個超像素區(qū)域之間的特征關系：其中，Elj表示所述多個超像素區(qū)域中第i個超像素區(qū)域與第j個超像素區(qū)域之間的特征 關系值，Vl表示第i個超像素區(qū)域的特征向量，W表示第j個超像素區(qū)域的特征向量，C1表示 與第i個超像素區(qū)域具有預定義連接關系的超像素區(qū)域集合； w(i, j) = ( I |vi-vk(i) I |g| |vk(j)-Vj| I )_1； 其中，n是Ci中包括的超像素區(qū)域的數(shù)量，Vk(i)為滿足如下關系式的Ci中的一個超像素 區(qū)域的特征向量；5. 如權利要求4所述的方法，其特征在于，超像素區(qū)域的特征向量V表示為V= [L，a，b， 尺，6,8^，7]，其中兒，&，13分別表示超像素區(qū)域在1^13顏色空間下每個通道的平均值，1?，6,8 分別表示超像素區(qū)域在RGB顏色空間下每個通道的平均值，x，y分別表示超像素區(qū)域的中心 位置在所述待摳圖圖像中的橫坐標和縱坐標。6. 如權利要求3所述的方法，其特征在于，利用條件隨機場理論，基于所述多個超像素 區(qū)域的先驗標簽值，以及所述多個超像素區(qū)域中每兩個超像素區(qū)域之間的特征關系，對所 述多個超像素區(qū)域的先驗標簽值進行優(yōu)化，包括： 針對能量方程求最優(yōu)解，得到最優(yōu)解 / = 其中，h表示第i個超像素區(qū)域對應的權重，I1表示第i個超像素區(qū)域的 先驗標簽值，Elj表示所述多個超像素區(qū)域中第i個超像素區(qū)域與第j個超像素區(qū)域之間的特 征關系值，λ為平衡因子，< 表示第i個超像素區(qū)域對應的最優(yōu)解的值，N是所述多個超像素 區(qū)域的數(shù)量； 使用自適應二值算法，對所述最優(yōu)解f進行處理，得到所述多個超像素區(qū)域的優(yōu)化后的 先驗標簽值￥=[71，72，一，7~]，其中，71表示第1個超像素區(qū)域的優(yōu)化后的先驗標簽值。7. 如權利要求6所述的方法，其特征在于，針對能量方程求最優(yōu)解，得到如下最優(yōu)解： γ*=(Κ+λΡ)-1 (AKL)； 其中，P是所述待摳圖圖像的拉普拉斯矩陣，K是單位陣，L是所述多個超像素區(qū)域的先 驗標簽值組成的向量； P = D-E; 其中，D = diag{dii，d22,…，d_};8. 如權利要求3所述的方法，其特征在于，基于所確定的優(yōu)化先驗超像素區(qū)域、非優(yōu)化 先驗超像素區(qū)域以及未知超像素區(qū)域，生成約束灰度圖像，包括： 將所確定的優(yōu)化先驗超像素區(qū)域中的像素點的像素值確定為表示白色的像素值，將所 確定的非優(yōu)化先驗超像素區(qū)域的像素點的像素值確定為表示黑色的像素值，將所確定的未 知超像素區(qū)域的像素點的像素值確定為表示黑色與白色中間灰色的像素值，得到約束灰度 圖像。9. 一種無監(jiān)督摳圖裝置，其特征在于，包括： 第一分割模塊，用于對待摳圖圖像進行超像素分割，得到多個超像素區(qū)域； 第一角點檢測模塊，用于對所述待摳圖圖像進行角點檢測，得到所述待摳圖圖像中的 角點集合； 第一凸包區(qū)域確定模塊，用于基于所述角點集合中角點的位置，確定所述角點集合對 應的凸包區(qū)域； 第一擴展模塊，用于在所述多個超像素區(qū)域中，確定所述凸包區(qū)域覆蓋的超像素區(qū)域 向外相鄰的超像素區(qū)域，所述凸包區(qū)域覆蓋的超像素區(qū)域與所述向外相鄰的超像素區(qū)域， 作為先驗超像素區(qū)域； 第一區(qū)域確定模塊，用于針對每個先驗超像素區(qū)域，如果該先驗超像素區(qū)域的相鄰超 像素區(qū)域中存在非先驗超像素區(qū)域，則將該先驗超像素區(qū)域確定為未知超像素區(qū)域； 第二區(qū)域確定模塊，用于針對每個非先驗超像素區(qū)域，如果該非先驗超像素區(qū)域的相 鄰超像素區(qū)域中存在未知超像素區(qū)域，則將該非先驗超像素區(qū)域確定為未知超像素區(qū)域； 第一約束信息生成模塊，用于基于所確定的先驗超像素區(qū)域、非先驗超像素區(qū)域以及 未知超像素區(qū)域，生成約束灰度圖像； 第一摳圖處理模塊，用于基于所述約束灰度圖像，對所述待摳圖圖像進行摳圖處理。10. -種無監(jiān)督摳圖裝置，其特征在于，包括： 第二分割模塊，用于對待摳圖圖像進行超像素分割，得到多個超像素區(qū)域； 特征關系確定模塊，用于基于所述多個超像素區(qū)域的特征向量，確定所述多個超像素 區(qū)域中每兩個超像素區(qū)域之間的特征關系； 第二角點檢測模塊，用于對所述待摳圖圖像進行角點檢測，得到所述待摳圖圖像中的 角點集合； 第二凸包區(qū)域確定模塊，用于基于所述角點集合中角點的位置，確定所述角點集合對 應的凸包區(qū)域； 第二擴展模塊，用于在所述多個超像素區(qū)域中，確定所述凸包區(qū)域覆蓋的超像素區(qū)域 向外相鄰的超像素區(qū)域，所述凸包區(qū)域覆蓋的超像素區(qū)域與所述向外相鄰的超像素區(qū)域， 作為先驗超像素區(qū)域，其中先驗超像素區(qū)域的先驗標簽值為1，非先驗超像素區(qū)域的先驗標 簽值為0; 優(yōu)化模塊，用于利用條件隨機場理論，基于所述多個超像素區(qū)域的先驗標簽值，以及所 述多個超像素區(qū)域中每兩個超像素區(qū)域之間的特征關系，對所述多個超像素區(qū)域的先驗標 簽值進行優(yōu)化，優(yōu)化后的先驗標簽值為1的超像素區(qū)域作為優(yōu)化先驗超像素區(qū)域； 第三區(qū)域確定模塊，用于針對每個優(yōu)化先驗超像素區(qū)域，如果該優(yōu)化先驗超像素區(qū)域 的相鄰超像素區(qū)域中存在非優(yōu)化先驗超像素區(qū)域，則將該優(yōu)化先驗超像素區(qū)域確定為未知 超像素區(qū)域； 第四區(qū)域確定模塊，用于針對每個非優(yōu)化先驗超像素區(qū)域，如果該非優(yōu)化先驗超像素 區(qū)域的相鄰超像素區(qū)域中存在未知超像素區(qū)域，則將該非優(yōu)化先驗超像素區(qū)域確定為未知 超像素區(qū)域； 第二約束信息生成模塊，用于基于所確定的優(yōu)化先驗超像素區(qū)域、非優(yōu)化先驗超像素 區(qū)域以及未知超像素區(qū)域，生成約束灰度圖像； 第二摳圖處理模塊，用于基于所述約束灰度圖像，對所述待摳圖圖像進行摳圖處理。
【文檔編號】G06T7/00GK105931244SQ201610280974
【公開日】2016年9月7日
【申請日】2016年4月29日
【發(fā)明人】趙雪專, 陳斌, 裴利沈, 勾承甫, 錢基德, 趙森祥, 陳剛, 李科, 張衡, 周中偉, 吳強
【申請人】中科院成都信息技術股份有限公司