用于圖像處理的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開內(nèi)容的各種實施例設及用于圖像處理的方法和系統(tǒng)。更具體而言，本公開 內(nèi)容的各種實施例設及用于確定感興趣的區(qū)域的圖像處理的方法和系統(tǒng)。
【背景技術(shù)】
[0002] 在圖像處理中，二維（2D)圖像到S維（3D)圖像的轉(zhuǎn)換是多種多樣的應用中發(fā)展 起來的感興趣的領(lǐng)域。對3D圖像中對象的相對深度指定在2D到3D圖像轉(zhuǎn)換中扮演著重 要的角色。圖像中對象的深度是相對于背景來指定的。為了實現(xiàn)該種指定，圖像被分割，W 將該些對象與背景區(qū)分。但是，圖像中的某些對象，諸如人的頭發(fā)，在外觀上人與人之間有 顯著的差別。差別可W包括不同的發(fā)色色調(diào)和光照效果。在偶然的情況下，頭發(fā)和背景顏 色可W具有相似的強度。鑒于該些挑戰(zhàn)，現(xiàn)有技術(shù)不能準確地將某些對象與背景區(qū)分，并且 因此不能對該些對象指定正確的相對深度。
[0003] 通過比較此類系統(tǒng)與參考附圖在本申請剩余部分中闡述的本公開內(nèi)容的一些方 面，常規(guī)的和傳統(tǒng)的方法的更多限制和缺點將對本領(lǐng)域技術(shù)人員變得明顯。

【發(fā)明內(nèi)容】

[0004] 提供了用于圖像處理的系統(tǒng)和方法，基本上如在至少一個附圖中示出的、和/或 聯(lián)系至少一個附圖所描述的，如在權(quán)利要求中更完整闡述的。
[0005] 本公開內(nèi)容的該些和其它特征及優(yōu)點可W從閱讀本公開內(nèi)容的W下詳細描述連 同附圖來理解，其中附圖中相同的標號貫穿全文指相同的部分。
【附圖說明】
[0006] 圖1是根據(jù)本公開內(nèi)容實施例的說明用于圖像處理的網(wǎng)絡環(huán)境的框圖。
[0007] 圖2是根據(jù)本公開內(nèi)容實施例的說明用于確定主題區(qū)域和背景區(qū)域的圖像處理 的計算設備的框圖。
[0008] 圖3是根據(jù)本公開內(nèi)容實施例的說明用于確定主題區(qū)域和背景區(qū)域的圖像處理 的方法的圖。
[0009] 圖4是根據(jù)本公開內(nèi)容實施例的說明用于確定感興趣區(qū)域的圖像處理的方法的 圖。
[0010] 圖5是根據(jù)本公開內(nèi)容實施例的說明用于頭發(fā)分割的子任務序列的流程圖。
[0011] 圖6A-6B是根據(jù)本公開內(nèi)容實施例的說明二維輸入圖像和下量化的圖像的屏幕 快照的圖。
[0012] 圖7A-7B是根據(jù)本公開內(nèi)容實施例的說明二維輸入圖像和被修剪、調(diào)整大小和下 量化的圖像的屏幕快照的圖。
[0013] 圖8是根據(jù)本公開內(nèi)容實施例的說明了示出不同類像素的預測位置的二維圖像 的屏幕快照的圖。
[0014] 圖9A-9B是根據(jù)本公開內(nèi)容實施例的說明二維圖像的頭發(fā)和背景區(qū)域的柱狀圖 的圖。
[0015] 圖10是根據(jù)本公開內(nèi)容實施例的說明與背景類比較而言的頭發(fā)類的基于梯度的 獨特性函數(shù)的圖。
[0016] 圖11是根據(jù)本公開內(nèi)容實施例的說明了示出感興趣區(qū)域與背景區(qū)域的布爾類型 圖像的屏幕快照的圖。
[0017] 圖12是根據(jù)本公開內(nèi)容實施例的說明用于所確定的感興趣區(qū)域的后期處理的方 法的圖。
[0018] 圖13A是根據(jù)本公開內(nèi)容實施例的說明感興趣區(qū)域的平滑圖像的屏幕快照的圖。
[0019] 圖13B是根據(jù)本公開內(nèi)容實施例的說明在消除離群數(shù)據(jù)片之前和之后感興趣區(qū) 域的平滑圖像的屏幕快照的圖。
[0020] 圖13C是根據(jù)本公開內(nèi)容實施例的說明感興趣區(qū)域掩模的屏幕快照的圖。
[0021] 圖13D是根據(jù)本公開內(nèi)容實施例的說明疊加在二維輸入圖像上的掩模圖像的屏 幕快照的圖。
【具體實施方式】
[0022] 各種實現(xiàn)可W在用于圖像處理W便確定感興趣區(qū)域的系統(tǒng)和方法中找到。
[0023] 用于圖像處理的方法的示例性方面可W包括具有一個或多個處理器的計算設備。 在實施例中，計算設備可操作為確定二維圖像的帖的子集中的多個像素的亮度值。計算設 備還可操作為確定該帖的該子集中的該多個像素的紋理值。計算設備可操作為基于該多個 像素的所確定亮度值和所確定紋理值識別該二維圖像的該帖中的主題區(qū)域和背景區(qū)域。
[0024] 在實施例中，像素的亮度值和紋理值分別存儲在第一查找表集合和第二查找表集 合中。二維圖像的帖中的主題區(qū)域和背景區(qū)域的識別包括基于像素的亮度值和紋理值分別 與第一查找表集合和第二查找表集合的比較把該多個像素歸為第一類和/或第二類。在實 施例中，第一類包括頭部類并且第二類包括背景類。頭部類可W進一步包括臉部類和頭發(fā) 類。
[00巧]在實施例中，計算設備還可操作為基于二維圖像中主題區(qū)域和背景區(qū)域的識別把 二維圖像轉(zhuǎn)換成=維圖像。
[0026] 用于圖像處理的方法的示例性方面可W包括具有一個或多個處理器的計算設備。 在實施例中，計算設備可操作為基于第一二維圖像中的第一類像素和第二類像素的亮度生 成第一值集合。如本文中所使用的，圖像中像素的亮度是圖像中一個或多個對象的明度 化ri曲tness)分布或光度（luminosity)信息。計算設備還可操作為基于第一二維圖像中 第一類像素和第二類像素的紋理生成第二值集合。計算設備可W基于主題像素的亮度值和 主題像素的紋理值分別與所生成的第一值集合和所生成的第二值集合的比較把主題像素 歸為第一類像素和第二類像素之一。
[0027] 在實施例中，主題像素屬于第一二維圖像。在另一種實施例中，主題像素屬于與第 一二維圖像不同的第二二維圖像。在實施例中，第一類包括頭部類并且第二類包括背景類。 頭部類可W進一步包括臉部類和頭發(fā)類。
[0028] 在實施例中，計算設備可W基于第一值集合和第二值集合確定第一二維圖像中感 興趣的區(qū)域。在實施例中，計算設備可w基于第一值集合和第二值集合確定第二二維圖像 中感興趣的區(qū)域。
[0029]第一值集合對應于存儲來自第一二維圖像的第一類像素和第二類像素的亮度值 的柱狀圖計數(shù)的第一查找表（LUT)集合。第一LUT集合代表用于第一和第二類像素的類條 件概率分布。第二值集合對應于存儲用于第一類像素的梯度獨特性指標函數(shù)的第二LUT集 厶 口 〇
[0030] 用于圖像處理的方法的示例性方面可W包括具有一個或多個處理器的計算設備。 在實施例中，計算設備可操作為確定在本文被稱為二維R0I圖像的二維圖像中的感興趣區(qū) 域（R0I)。計算設備可W基于對應于二維圖像的亮度的第一預定值集合確定二維R0I圖像 中的第一類像素和第二類像素。計算設備可W分析對應于所述二維圖像的紋理的第一類像 素和第二類像素的紋理，W確定感興趣的區(qū)域。計算設備還可操作為基于二維R0I圖像中 感興趣區(qū)域的確定把二維圖像轉(zhuǎn)換成=維圖像。然后，從轉(zhuǎn)換獲得的3D圖像被用來擅染3D 媒體內(nèi)容。
[0031] 在實施例中，二維R0I圖像是從二維輸入圖像生成的。在例子中，包括運動圖像序 列的二維（2D)媒體內(nèi)容被分成多個2D圖像帖。來自運動圖像序列的每個圖像帖代表該二 維輸入圖像。二維R0I圖像是通過修剪、調(diào)整大小和下量化二維輸入圖像生成的。與二維 輸入圖像相比，二維R0I圖像具有更低的尺寸。
[0032] 在實施例中，該方法還包括預測二維R0I圖像中的第一區(qū)域和第二區(qū)域。預測的 第一區(qū)域和第二區(qū)域?qū)诙SR0I圖像中的第一類像素和第二類像素可能存在的樣本 區(qū)域。例如，預測的第一區(qū)域和預測的第二區(qū)域分別包括頭部區(qū)域和背景區(qū)域?；诘谝?和第二類像素的亮度W及第一預定值集合，第一類像素和第二類像素通過利用貝葉斯法則 計算類條件概率函數(shù)被確定。每個類條件概率函數(shù)代表W另一個事件發(fā)生為條件的一個事 件的概率。
[0033] 在實施例中，第一預定值集合對應于第一查找表（LUT)集合。第一LUT集合存儲 來自二維R0I圖像和/或至少一個之前的二維圖像的第一類像素和第二類像素的亮度值的 柱狀圖計數(shù)。
[0034]紋理的分析包括為第一類像素和第二類像素計算梯度獨特性指標函數(shù)。與第二類 像素相比而言第一類像素的唯一性基于計算出的梯度獨特性指標函數(shù)和第二預定值集合 被確定。在實施例中，第二預定值集合對應于第二查找表集合。第二查找表集合存儲用于 二維R0I圖像和/或至少一個之前的二維圖像的第一類像素的梯度獨特性指標函數(shù)。
[00巧]在實施例中，像素的第一類包括頭部類并且像素的第二類包括背景類。頭部類可W進一步包括臉部類和頭發(fā)類。感興趣的區(qū)域是人的頭發(fā)區(qū)域、頭部區(qū)域或者其組合。在 實施例中，感興趣的區(qū)域表示為布爾類型圖像。
[0036] 在實施例中，被表示為布爾類型圖像的感興趣區(qū)域接受一個或多個后期處理任 務。通過填充感興趣區(qū)域中的間隙，感興趣區(qū)域接受圖像平滑。然后，除去感興趣區(qū)域周圍 斷開的片、或者離群數(shù)據(jù)。檢測所關(guān)屯、區(qū)域的外部輪廓，W生成感興趣區(qū)域（R0I)的掩模圖 像。然后，R0I掩模圖像被恢復到二維輸入圖像的原始規(guī)模。
[0037] 圖1是根據(jù)本公開內(nèi)容實施例的說明用于圖像處理的網(wǎng)絡環(huán)境的框圖。參考圖1， 示出了網(wǎng)絡環(huán)境100。網(wǎng)絡環(huán)境100可W包括服務器計算設備102、用戶計算設備104、媒體 管理設備106、數(shù)據(jù)庫108W及通信網(wǎng)絡110。服務器計算設備102和用戶計算設備104在 本文也可W被統(tǒng)稱為計算設備102/104。
[0038] 服務器計算設備102可W包括可W使得能夠從媒體管理設備106直接地或者經(jīng) 通信網(wǎng)絡110接收和處理靜止和運動圖像的合適邏輯、電路系統(tǒng)、接口和/或代碼。例如， 服務器計算設備102可操作為執(zhí)行所接收圖像的圖像分割、對圖像中的對象的相對深度指 定W及2D到3D圖像轉(zhuǎn)換。在實施例中，服務器計算設備102可W實現(xiàn)為基于云的服務器。 服務器計算設備102可W存儲并周期性地更新一個或多個自學習LUT集合，或者自主地或 者與數(shù)據(jù)庫108關(guān)聯(lián)地。管理員用戶可W與服務器計算設備102直接交互。在其它實施例 中，管理員用戶可W通過通信網(wǎng)絡110間接地向服務器計算設備102發(fā)布命令或指令。
[0039] 用戶計算設備104可W包括可W使得能夠從媒體管理設備106直接地或者經(jīng)通信 網(wǎng)絡110接收和處理靜止和運動圖像的合適邏輯、電路系統(tǒng)、接口和/或代碼。例如，用戶 計算設備104也可操作為執(zhí)行所