前景圖像分割方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，更具體地，涉及從圖像中分割前景圖像的方法和裝 置。
【背景技術(shù)】
[0002] 前景圖像分割技術(shù)即我們通常所說(shuō)的摳圖技術(shù)，是指在圖像或視頻幀中將前景對(duì) 象分割出來(lái)，并估計(jì)由該對(duì)象所覆蓋的區(qū)域中的每個(gè)像素的不透明性，即α值（α蒙版）。
[0003] 該技術(shù)在圖像或視頻編輯應(yīng)用領(lǐng)域有廣泛的應(yīng)用，用戶可以借此技術(shù)將前景分割 出來(lái)，與另外一個(gè)背景無(wú)縫地集成在一起，例如在虛擬拍照中將前景，例如人與虛擬背景相 結(jié)合達(dá)到"身臨其境"的效果，在視頻會(huì)議中將與會(huì)人員從原背景中分離出來(lái)與其他背景集 成7等等 。
[0004] 在當(dāng)前的摳圖處理中，通常采用三色圖。從圖像合成的角度，可以將圖像I(X，y) 建模為前景圖像F(x，y)與背景圖像B(x，y)以其a (x，y)值的線性組合，即方程I = aF+a-cOB，其中a (x，y) e [0，1]。為了求解此問(wèn)題，通常將輸入圖像分割為三個(gè)區(qū)域： 前景區(qū)域、背景區(qū)域以及未知區(qū)域，也就是我們常說(shuō)的三色圖。三色圖的形成是后續(xù)分割處 理的基礎(chǔ)，形成更準(zhǔn)確的三色圖有助于更精確地將前景對(duì)象從圖像或視頻中分割出來(lái)。
[0005] 在目前用于形成三色圖的方法中，一種方法是通過(guò)用戶交互的方式由用戶指定圖 像中的三色圖，比如在圖像上畫出一些線段以標(biāo)明圖像中的哪些部分是前景哪些部分是背 景。此方法需要用戶手動(dòng)生成三色圖，這對(duì)于用戶而言是麻煩的，生成的三色圖也不夠準(zhǔn) 確。另一種方法通過(guò)引入深度信息來(lái)幫助自動(dòng)生成三色圖，雖然不再需要用戶交互，但是在 此情況下，背景中的與前景對(duì)象距離很近的對(duì)象仍有可能被包括在前景區(qū)域中。
[0006] 而且，在獲得三色圖之后根據(jù)該三色圖求解a值時(shí)，通常只利用圖像的顏色信息 進(jìn)行求解，但是當(dāng)圖像中的前景對(duì)象和背景部分的顏色相近時(shí)，僅依靠顏色信息很難將二 者很好地分離，尤其是在邊界區(qū)域，難以獲得準(zhǔn)確的分割結(jié)果。

【發(fā)明內(nèi)容】

[0007] 基于上述問(wèn)題而做出本發(fā)明，提供了能夠從圖像中準(zhǔn)確地分割出前景圖像的方法 和裝置。
[0008] 根據(jù)本發(fā)明的一個(gè)方面，提供了前景圖像分割方法，該方法可以包括：獲取輸入圖 像及其深度信息；基于輸入圖像的深度信息，對(duì)輸入圖像進(jìn)行粗略分割以獲得粗略前景區(qū) 域；獲取輸入圖像的運(yùn)動(dòng)信息，基于該運(yùn)動(dòng)信息根據(jù)該粗略前景區(qū)域生成三色圖；以及根 據(jù)生成的三色圖分割出前景圖像。
[0009] 在一個(gè)可選的實(shí)施例中，基于輸入圖像的運(yùn)動(dòng)信息根據(jù)該粗略前景區(qū)域生成三色 圖可以包括：獲得從該輸入圖像向前連續(xù)m幀的圖像，從該連續(xù)m幀的圖像計(jì)算每個(gè)像素的 運(yùn)動(dòng)信息；基于每個(gè)像素的運(yùn)動(dòng)信息，根據(jù)該粗略前景區(qū)域生成三色圖。其中，如果像素的 運(yùn)動(dòng)信息小于預(yù)定閾值，可以確定該像素屬于背景區(qū)域；如果像素的運(yùn)動(dòng)信息大于等于該 預(yù)定閾值，并且該像素的鄰域中存在不屬于所述粗略前景區(qū)域的像素，可以確定該像素屬 于未知區(qū)域；如果像素的運(yùn)動(dòng)信息大于等于該預(yù)定閾值，并且該像素的鄰域中的所有像素 都屬于所述粗略前景區(qū)域，可以確定該像素屬于前景區(qū)域。
[0010] 在一個(gè)可選的實(shí)施例中，根據(jù)生成的三色圖分割出前景圖像可以包括：計(jì)算所述 未知區(qū)域的每個(gè)像素的顏色信息、深度梯度信息以及深度變化信息；基于像素的顏色信息、 深度梯度信息以及深度變化信息，確定該像素是否屬于前景區(qū)域；以及基于該確定結(jié)果獲 得前景圖像。
[0011] 在一個(gè)可選的實(shí)施例中，確定該像素是否屬于前景區(qū)域可以包括：構(gòu)造用于前景 圖像分割的α值的代價(jià)函數(shù)；對(duì)于所述未知區(qū)域中的每個(gè)像素，最小化該代價(jià)函數(shù)，利用 該像素的顏色信息、深度梯度信息以及深度變化信息求解該像素的α值。其中，當(dāng)像素的 α值大于等于預(yù)定閾值時(shí)，可以確定該像素屬于前景區(qū)域；當(dāng)像素的α值小于該預(yù)定閾值 時(shí)，可以確定該像素不屬于前景區(qū)域。
[0012] 在一個(gè)可選的實(shí)施例中，該前景圖像分割方法還可以包括：對(duì)于所述未知區(qū)域的 每個(gè)像素，在其ηΧη像素的鄰域中計(jì)算該像素的顏色信息、深度梯度信息以及深度變化信 息的相應(yīng)歸一化權(quán)重，并且可以利用該像素的顏色信息加權(quán)值、深度梯度信息加權(quán)值以及 深度變化信息加權(quán)值求解該像素的ct值。
[0013] 在一個(gè)可選的實(shí)施例中，基于輸入圖像的深度信息對(duì)輸入圖像進(jìn)行粗略分割以獲 得粗略前景區(qū)域可以包括：基于輸入圖像的深度信息，根據(jù)Ω形狀特征從輸入圖像中檢測(cè) 人像的頭肩部分，作為粗略前景區(qū)域；以及將輸入圖像中的該頭肩部分之外的每個(gè)像素的 深度值與已檢測(cè)出的頭肩部分的深度值比較從以確定該像素是否屬于該粗略前景區(qū)域。其 中，當(dāng)像素的深度值與頭肩部分的深度值之差小于等于預(yù)定閾值時(shí)，可以確定該像素屬于 該粗略前景區(qū)域；當(dāng)該像素的深度值與頭肩部分的深度值之差大于該預(yù)定閾值時(shí)，可以確 定該像素不屬于該粗略前景區(qū)域。
[0014] 根據(jù)本發(fā)明的另一方面，提供了前景圖像分割裝置，該裝置可以包括：獲取部件， 獲取輸入圖像及其深度信息；粗略分割部件，基于獲取部件所獲取的深度信息，對(duì)輸入圖像 進(jìn)行粗略分割以獲得粗略前景區(qū)域；三色圖生成部件，基于輸入圖像的運(yùn)動(dòng)信息，根據(jù)該粗 略前景區(qū)域生成三色圖；以及前景圖像分割部件，根據(jù)生成的三色圖分割出前景圖像。
[0015] 在一個(gè)可選的實(shí)施例中，該三色圖生成部件可以包括：第一計(jì)算部件，獲得從該輸 入圖像向前連續(xù)m幀的圖像，從該連續(xù)m幀的圖像計(jì)算每個(gè)像素的運(yùn)動(dòng)信息；生成部件，基 于第一計(jì)算部件計(jì)算的每個(gè)像素的運(yùn)動(dòng)信息，根據(jù)該粗略前景區(qū)域生成三色圖。其中，如果 像素的運(yùn)動(dòng)信息小于預(yù)定閾值，該生成部件可以確定該像素屬于背景區(qū)域；如果像素的運(yùn) 動(dòng)信息大于等于該預(yù)定閾值，并且該像素的鄰域中存在不屬于所述粗略前景區(qū)域的像素， 該生成部件可以確定該像素屬于未知區(qū)域；如果像素的運(yùn)動(dòng)信息大于等于該預(yù)定閾值，并 且該像素的鄰域中的所有像素都屬于所述粗略前景區(qū)域，該生成部件可以確定該像素屬于 前景區(qū)域。
[0016] 在一個(gè)可選的實(shí)施例中，該前景圖像分割部件可以包括：第二計(jì)算部件，計(jì)算所述 未知區(qū)域的每個(gè)像素的顏色信息、深度梯度信息以及深度變化信息；確定部件，基于所述第 二計(jì)算部件計(jì)算的像素的顏色信息、深度梯度信息以及深度變化信息，確定該像素是否屬 于前景區(qū)域；以及獲得部件，基于該確定部件的確定結(jié)果獲得前景圖像。
[0017] 根據(jù)本發(fā)明，基于輸入圖像的深度信息及運(yùn)動(dòng)信息自動(dòng)生成三色圖，無(wú)需人工交 互，并且生成的三色圖更加精準(zhǔn)，為基于該三色圖分割前景圖像打下了良好基礎(chǔ)，使得分割 更加準(zhǔn)確。而且，在分割中，除了顏色信息還考慮了空域上的深度梯度信息及時(shí)域上的深度 變化信息，使得即使前景對(duì)象與背景顏色相近時(shí)，也能夠準(zhǔn)確地分割出前景對(duì)象。
【附圖說(shuō)明】
[0018] 圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的前景圖像分割方法的流程圖。
[0019] 圖2示出了不同角度下的人的頭肩模型。
[0020] 圖3示出了示例的場(chǎng)景以及相應(yīng)的粗略前景分割結(jié)果。
[0021] 圖4示出了示例的輸入圖像以及相應(yīng)的光流信息。
[0022] 圖5示出了在圖4的示例情況下基于運(yùn)動(dòng)信息根據(jù)粗略前景分割結(jié)果生成三色圖 的示意圖。
[0023] 圖6示出了根據(jù)本公開的一個(gè)實(shí)施例的從三色圖分割出前景圖像的方法的流程。
[0024] 圖7示出了作為前景對(duì)象的人在連續(xù)多幀圖像中的深度變化信息的例子。
[0025] 圖8示出了對(duì)人像所計(jì)算的深度梯度信息的例子。
[0026] 圖9示出了根據(jù)本發(fā)明的前景圖像分割方法的一種可能的應(yīng)用場(chǎng)景。
[0027] 圖10示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的前景圖像分割裝置的功能框圖。
[0028] 圖11是示出根據(jù)本申請(qǐng)的一個(gè)實(shí)施例的實(shí)現(xiàn)前景圖像分割的系統(tǒng)的硬件配置的 示意圖。
【具體實(shí)施方式】
[0029] 為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā) 明作進(jìn)一步詳細(xì)說(shuō)明。
[0030] 圖1示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的前景圖像分割方法的流程圖。
[0031] 如圖1所示，該分割方法100可以包括：步驟S110,獲取輸入圖像及其深度信息； 步驟S120,基于輸入圖像的深度信息，對(duì)輸入圖像進(jìn)行粗略分割以獲得粗略前景區(qū)域；步 驟S130,獲取輸入圖像的運(yùn)動(dòng)信息，基于該運(yùn)動(dòng)信息根據(jù)該粗略前景區(qū)域生成三色圖；以 及步驟S140,根據(jù)生成的三色圖分割出前景圖像。