影像分割方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是有關(guān)于一種影像處理方法與其電子裝置，且特別是有關(guān)于一種用以進(jìn)移動(dòng)態(tài)影像分割的影像處理方法。
【背景技術(shù)】
[0002]為了在自拍影像上發(fā)展出更多樣化的數(shù)字影像視覺特效，由自拍影像中提取出前景人物對(duì)象是一項(xiàng)必備的技術(shù)。一般來說，為了從影像中辨視出前景人物對(duì)象通常需采用一些臉部辨視演算法(例如邊緣偵測(cè)、臉部特征偵測(cè)等)。
[0003]近來的移動(dòng)裝置經(jīng)常包含兩個(gè)相機(jī)，其為前相機(jī)與后相機(jī)。前相機(jī)設(shè)置在顯示面板的同一側(cè)，通常主要用來進(jìn)行自拍(selfie shooting)、視頻通話或其他與使用者本身相關(guān)的影像功能。后相機(jī)則設(shè)置在相對(duì)的另一側(cè)，通常主要用來拍攝其他人物、風(fēng)景或一些背景場(chǎng)景。一般情況下，當(dāng)使用者握持移動(dòng)裝置時(shí)，前相機(jī)通常朝向使用者本身。若前相機(jī)所拍攝到的前景人物對(duì)象可即時(shí)提取，則可以將前景人物對(duì)象結(jié)合至另一影像，以實(shí)現(xiàn)某些視覺特效或是特定功能。更進(jìn)一步，若前相機(jī)所拍攝到的前景人物對(duì)象可即時(shí)提取，則涉及前景人物對(duì)象的視覺特效可以即時(shí)地在使用者介面上呈現(xiàn)，如此一來，用來設(shè)定或調(diào)整視覺特效的使用者介面便可以更為直覺且便于操作。
[0004]然而，由影像的背景中提取出前景人物對(duì)象需要一定的運(yùn)算時(shí)間。傳統(tǒng)作法在提取前景人物對(duì)象時(shí)存在一定的延遲時(shí)間，因此，難以即時(shí)地由影像背景中提取出前景人物對(duì)象。如此一來，基于自拍影像的視覺特效便難以即時(shí)地呈現(xiàn)在使用者眼前。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的一方面為一種影像分割方法，其適用于包含第一相機(jī)單元以及動(dòng)態(tài)感測(cè)器的電子裝置，該影像分割方法包含:提供至少一預(yù)定模版遮罩；由動(dòng)態(tài)感測(cè)器取得姿態(tài)數(shù)據(jù)，姿態(tài)數(shù)據(jù)是相關(guān)于第一相機(jī)單元的指向或位置；根據(jù)姿態(tài)數(shù)據(jù)將預(yù)定模版遮罩其中一者調(diào)整為適應(yīng)性模版遮罩；以及，根據(jù)適應(yīng)性模版遮罩由第一相機(jī)單元擷取的第一影像中提取對(duì)象。
[0006]本發(fā)明的另一方面為一種影像分割方法，適用于包含第一相機(jī)單元以及動(dòng)態(tài)感測(cè)器的電子裝置，影像分割方法包含:以該第一相機(jī)擷取一第一影像；由該第一影像估算一對(duì)象姿態(tài)；由該動(dòng)態(tài)感測(cè)器取得一姿態(tài)數(shù)據(jù)，該姿態(tài)數(shù)據(jù)是相關(guān)于當(dāng)該第一影像被擷取時(shí)該第一相機(jī)單元的一指向或一位置；根據(jù)該姿態(tài)數(shù)據(jù)分析一相機(jī)姿態(tài)；根據(jù)該對(duì)象姿態(tài)與該相機(jī)姿態(tài)，追蹤一相對(duì)動(dòng)態(tài)；提供一預(yù)定模版遮罩；根據(jù)該相對(duì)動(dòng)態(tài)，將該預(yù)定模版遮罩調(diào)整為一適應(yīng)性模版遮罩；以及，根據(jù)該適應(yīng)性模版遮罩，由該第一相機(jī)單元擷取的該第一影像中適應(yīng)性地提取一對(duì)象。
[0007]本發(fā)明的另一方面為一種影像分割方法，適用于包含一第一相機(jī)單元以及一動(dòng)態(tài)感測(cè)器的一電子裝置，該影像分割方法包含:提供一第一模版遮罩；以該第一相機(jī)單元擷取一第一影像，該第一影像包含一對(duì)象；根據(jù)該第一模版遮罩，由該第一影像中提取該對(duì)象；以該第一相機(jī)單元擷取一第二影像；由該動(dòng)態(tài)感測(cè)器取得一姿態(tài)數(shù)據(jù)，該姿態(tài)數(shù)據(jù)是相關(guān)于當(dāng)該第二影像被擷取時(shí)該第一相機(jī)單元的一指向或一位置；根據(jù)該姿態(tài)數(shù)據(jù)與該第一影像的該對(duì)象，追蹤由該第一影像至該第二影像之間的一相對(duì)動(dòng)態(tài)；根據(jù)該相對(duì)動(dòng)態(tài)，動(dòng)態(tài)地提供一第二模版遮罩；以及，根據(jù)該第二模版遮罩，由該第一相機(jī)單元擷取的該第二影像中適應(yīng)性地提取另一對(duì)象。
[0008]基于上述態(tài)樣，適應(yīng)性模版遮罩可以根據(jù)動(dòng)態(tài)感測(cè)器取得的姿態(tài)數(shù)據(jù)、對(duì)象姿態(tài)與相機(jī)姿態(tài)之間的相對(duì)動(dòng)態(tài)而產(chǎn)生，影像分割方法利用適應(yīng)性模版遮罩進(jìn)行對(duì)象提取具有較高的精確性以及維持較高的計(jì)算效率。
【附圖說明】
[0009]為讓本發(fā)明的上述和其他目的、特征、優(yōu)點(diǎn)與實(shí)施例能更明顯易懂，所附附圖的說明如下:
[0010]圖1繪示根據(jù)本發(fā)明的一實(shí)施例中一種電子裝置的示意圖；
[0011]圖2繪示根據(jù)本發(fā)明的一實(shí)施例中一種根據(jù)適應(yīng)性模版遮罩由影像中提取對(duì)象的方法的方法流程圖；
[0012]圖3繪示根據(jù)一操作例中第一相機(jī)單元所擷取的影像的示意圖；
[0013]圖4A繪示根據(jù)本發(fā)明的一實(shí)施例中一種預(yù)定模版遮罩的示意圖；
[0014]圖4B、圖4C以及圖4D繪示根據(jù)本發(fā)明的實(shí)施例中在不同操作情況下的三種適應(yīng)性模版遮罩的示意圖；
[0015]圖5繪示根據(jù)本發(fā)明的一實(shí)施例中一種電子裝置的示意圖；
[0016]圖6繪示根據(jù)本發(fā)明的一實(shí)施例中一種根據(jù)適應(yīng)性模版遮罩由影像中提取對(duì)象的方法的方法流程圖；
[0017]圖7繪示根據(jù)本發(fā)明的一實(shí)施例中一種電子裝置的示意圖；
[0018]圖8繪示根據(jù)本發(fā)明的一實(shí)施例中一種根據(jù)適應(yīng)性模版遮罩由影像中提取對(duì)象的方法的方法流程圖。
【具體實(shí)施方式】
[0019]下文是舉實(shí)施例配合所附附圖作詳細(xì)說明，以更好地理解本發(fā)明的實(shí)施方式，但所提供的實(shí)施例并非用以限制本發(fā)明所涵蓋的范圍，而結(jié)構(gòu)操作的描述非用以限制其執(zhí)行的順序，任何由元件重新組合的結(jié)構(gòu)，所產(chǎn)生具有均等功效的裝置，皆為本發(fā)明所涵蓋的范圍。
[0020]請(qǐng)參閱圖1，其繪示根據(jù)本發(fā)明的一實(shí)施例中一種電子裝置100的示意圖。如圖1所示，電子裝置100包含動(dòng)態(tài)感測(cè)器120、第一相機(jī)單元140以及處理模塊160。處理模塊160耦接至動(dòng)態(tài)感測(cè)器120以及第一相機(jī)單元140。電子裝置100適用于執(zhí)行影像分割(segmentat1n)方法，其用以根據(jù)適應(yīng)性模版遮罩(adaptive model mask)由影像中提取一對(duì)象。請(qǐng)一并參閱圖2，其繪示根據(jù)本發(fā)明的一實(shí)施例中一種根據(jù)適應(yīng)性模版遮罩由影像中提取對(duì)象的方法200的方法流程圖。于部分實(shí)施例中，由影像中分割得到的對(duì)象為一前景對(duì)象(例如，人臉、臉部肖像、人體、多人群體或是靠近第一相機(jī)單元的一目標(biāo)對(duì)象)。于部分實(shí)施例中，由影像中分割得到的對(duì)象為一背景中的目標(biāo)對(duì)象(例如，山、海灘、車輛等)Ο
[0021]動(dòng)態(tài)感測(cè)器120與第一相機(jī)單元140均設(shè)置于電子裝置100中。因此，當(dāng)電子裝置100移動(dòng)(且第一相機(jī)單元140隨之相對(duì)應(yīng)移動(dòng))時(shí)，動(dòng)態(tài)感測(cè)器120用以感測(cè)到電子裝置100及第一相機(jī)單元140的移動(dòng)狀態(tài)。于部分實(shí)施例中，動(dòng)態(tài)感測(cè)器120包含陀螺儀(gyroscope)、重力感測(cè)器(g-sensor)、慣性感測(cè)器(Inertial Sensor)及/或電子羅盤(electrical compass)。動(dòng)態(tài)感測(cè)器120用以產(chǎn)生姿態(tài)數(shù)據(jù)P0S，例如電子裝置100上的加速度、轉(zhuǎn)速、旋轉(zhuǎn)力矩、地球磁場(chǎng)強(qiáng)度等信息。
[0022]第一相機(jī)單元140用以擷取影像頂Ga。于部分實(shí)施例中，第一相機(jī)單元140為前相機(jī)設(shè)置于電子裝置100的正面(通常設(shè)置在與顯示單元184同一面)。因此，于一實(shí)施例中，第一相機(jī)單元140所擷取的影像IMGa經(jīng)常是自拍影像(selfie image)。請(qǐng)一并參閱圖3，其繪示根據(jù)一操作例中第一相機(jī)單元140所擷取的影像頂Ga的示意圖。
[0023]如圖3所示，影像頂Ga當(dāng)中存在一對(duì)象0BJ(于此實(shí)施例中為一前景對(duì)象)。于此例中，影像IMGa是朝向握持電子裝置100的使用者所拍攝的自拍影像，因此其中的前景對(duì)象為人物肖像。然而，前景對(duì)象0BJ并不僅限于此一使用者。于其他部分實(shí)施例中，前景對(duì)象0BJ可為多人群體(例如使用者與站在使用者旁的多名友人)、或是人物連同他的個(gè)人物品(例如使用者以及使用者手中握持的產(chǎn)品)等。
[0024]為了由影像頂Ga當(dāng)中提取前景對(duì)象0BJ，有多種不同的辨識(shí)演算法(例如基于深度信息的對(duì)象辨識(shí)演算法、人臉特征辨識(shí)演算法)以辨認(rèn)前景對(duì)象0BJ并將前景對(duì)象0BJ由影像IMGa的背景中分離出來。然而，辨識(shí)演算法需要占用大量的演算時(shí)間。如此一來，前景對(duì)象0BJ的計(jì)算結(jié)果便無法在影像頂Ga擷取時(shí)快速產(chǎn)生(或是即時(shí)性產(chǎn)生)。
[0025]為了減少由影像頂Ga中提取前景對(duì)象0BJ時(shí)的延遲時(shí)間，可在影像頂Ga上采用特定的預(yù)定模版遮罩(pre-defined model mask)。請(qǐng)一并參閱圖4A，其繪示根據(jù)本發(fā)明的一實(shí)施例中一種預(yù)定模版遮罩MSKp的示意圖。當(dāng)預(yù)定模版遮罩MSKp施加在影像頂Ga上時(shí)，影像MGa中通過預(yù)定模版遮罩MSKp中空白區(qū)域的部分影像被提取為前景對(duì)象0BJ，而影像頂Ga中位于預(yù)定模版遮罩MSKp中陰影區(qū)域的部分影像則被遮蔽。預(yù)定模版遮罩MSKp的形狀是參考過往經(jīng)驗(yàn)、統(tǒng)計(jì)或以機(jī)器學(xué)習(xí)方式計(jì)算常見自拍影