影像處理方法以及影像處理裝置的制造方法【專利說明】【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明關(guān)于三維視覺效果重現(xiàn)，尤指一種影像處理方法及其相關(guān)裝置?！尽?br>背景技術(shù)：
】】[0002]由現(xiàn)有技術(shù)可知，三維視覺效果重現(xiàn)(three-dimens1nalvisualeffectreproduct1n,3Dvisualeffectreproduct1n)通常需要準(zhǔn)備來源影像(sourceimage)以及復(fù)雜的計(jì)算。在準(zhǔn)備階段期間，無論來源影像的分辨率(resolut1n)是高或是低，均會(huì)發(fā)生問題，舉例來說，來源影像應(yīng)由預(yù)校正相機(jī)(pre-calibratedcamera)來擷取，其中預(yù)校正相機(jī)則應(yīng)已通過預(yù)定視角(viewpoint)或預(yù)定視線(lineofview)來校正，因此，造成準(zhǔn)備來源影像的困難。在另一個(gè)例子中，為了要有效率地執(zhí)行復(fù)雜的運(yùn)算，需要準(zhǔn)備具有強(qiáng)大運(yùn)算能力的高端(highend)電腦，其中因?yàn)閭鹘y(tǒng)的多功能移動(dòng)電話(multifunct1nalmobilephone)似乎無法在復(fù)雜運(yùn)算的繁重計(jì)算負(fù)荷下流暢地運(yùn)作，所以高端電腦不會(huì)被傳統(tǒng)的多功能移動(dòng)電話取代，也就是說，傳統(tǒng)的多功能移動(dòng)電話不會(huì)是三維生成/重現(xiàn)(product1n/reproduct1n)的完整解決方案?？偠灾?，現(xiàn)有技術(shù)并無法滿足用戶的需求，因此，需要一種以聰明且強(qiáng)健(robust)的方式來執(zhí)行關(guān)于三維視覺效果重現(xiàn)的影像處理的創(chuàng)新方法，以于便攜式電子元件(portableelectronicdevice)(例如，多功能移動(dòng)電話)之中實(shí)現(xiàn)上述來源影像準(zhǔn)備及相關(guān)的計(jì)算?！尽?br/>發(fā)明內(nèi)容】】[0003]有鑒于此，本發(fā)明的目的之一在于提供一種影像處理方法及其相關(guān)裝置，來解決上述問題。[0004]本發(fā)明的另一目的在于提供一種影像處理方法及其相關(guān)裝置，來于便攜式電子元件(例如，多功能移動(dòng)電話)之中實(shí)現(xiàn)上述來源影像準(zhǔn)備及相關(guān)的計(jì)算。[0005]本發(fā)明的另一目的在于提供一種影像處理方法及其相關(guān)裝置，以利用便攜式電子元件(例如，移動(dòng)電話、筆記本電腦(laptopcomputer)或平板(tablet))來實(shí)現(xiàn)三維生成/重現(xiàn)的完整解決方案。[0006]本發(fā)明的一個(gè)實(shí)施例提供一種影像處理方法。該影像處理方法包含:接收多個(gè)影像的影像數(shù)據(jù)，其中該多個(gè)影像從不同的視角(或沿著不同的視線)來擷??；以及依據(jù)該影像數(shù)據(jù)來扭曲該多個(gè)影像以對(duì)該多個(gè)影像執(zhí)行影像對(duì)準(zhǔn)操作，其中該多個(gè)影像是依據(jù)一組參數(shù)來扭曲，以及該組參數(shù)是通過找出受限于多個(gè)物理相機(jī)參數(shù)的多個(gè)預(yù)定范圍的一解(solut1n)來得到。[0007]本發(fā)明的另一個(gè)實(shí)施例提供一種執(zhí)行影像處理的裝置，其中該裝置包含電子元件的至少一部份。該裝置包含儲(chǔ)存單元以及處理電路。該儲(chǔ)存單元用以暫存信息。另外，該處理電路用以控制該電子元件的操作、接收多個(gè)影像的影像數(shù)據(jù)、將該影像數(shù)據(jù)暫存于該儲(chǔ)存單元，以及依據(jù)該影像數(shù)據(jù)來扭曲該多個(gè)影像以對(duì)該多個(gè)影像執(zhí)行影像對(duì)準(zhǔn)操作，其中該多個(gè)影像是從不同的視角(或沿著不同的視線)來擷取、該多個(gè)影像是依據(jù)一組參數(shù)來扭曲，以及該組參數(shù)是通過找出受限于多個(gè)物理相機(jī)參數(shù)的多個(gè)預(yù)定范圍的解來得到。[0008]本發(fā)明所揭示的方法及裝置可產(chǎn)生位于解空間(例如，預(yù)定解空間(例如，預(yù)先訓(xùn)練的解空間))內(nèi)的扭曲影像，以使人眼視覺感覺不到相關(guān)的經(jīng)學(xué)習(xí)的幾何變形，因此，每一個(gè)重現(xiàn)影像均不會(huì)產(chǎn)生失真，此外，依據(jù)經(jīng)學(xué)習(xí)的幾何限制來在該解空間進(jìn)行的最佳化可持續(xù)產(chǎn)生合理的結(jié)果。對(duì)于本發(fā)明所揭示的方法及裝置的實(shí)施范例來說，可同時(shí)并行相關(guān)計(jì)算的工作流程，以及可降低相關(guān)的運(yùn)算復(fù)雜度且節(jié)省所需的存儲(chǔ)器資源。此外，本發(fā)明的方法及裝置具有強(qiáng)健的能力來抵抗影像噪聲及偏差。再者，本發(fā)明所揭示的方法及裝置可保留在扭曲影像序列中相對(duì)的視差/深度信息(disparity/depthinformat1n)。【【附圖說明】】[0009]圖1為本發(fā)明用來執(zhí)行影像處理的裝置的第一實(shí)施例的示意圖。[0010]圖2為圖1所示裝置的實(shí)施范例的示意圖，其中該裝置為移動(dòng)電話。[0011]圖3為圖1所示裝置之另一個(gè)實(shí)施范例的示意圖，其中該裝置為個(gè)人電腦(例如，筆記本電腦)。[0012]圖4為本發(fā)明影像處理方法的一個(gè)實(shí)施例的流程圖。[0013]圖5為圖4所示影像處理方法所涉及的學(xué)習(xí)/訓(xùn)練程序的期間所產(chǎn)生的輸入影像及多個(gè)轉(zhuǎn)換影像的示意圖，其中該學(xué)習(xí)/訓(xùn)練程序用來決定預(yù)定解空間。[0014]圖6為得自于涉及圖4所示影像處理方法的多視角垂直對(duì)準(zhǔn)操作的多個(gè)影像的示意圖。[0015]圖7為得自于涉及圖4所示影像處理方法的多視角垂直對(duì)準(zhǔn)操作的多個(gè)影像的其中之一以及得自于涉及圖4所示影像處理方法的水平對(duì)準(zhǔn)操作的相關(guān)影像的示意圖。[0016]圖8為得自于涉及圖4所示影像處理方法的多視角垂直對(duì)準(zhǔn)操作的多個(gè)影像其中之一以及得自于涉及圖4所示影像處理方法的水平對(duì)準(zhǔn)操作的相關(guān)影像的示意圖。[0017]圖9為得自于涉及圖4所示影像處理方法的多視角垂直對(duì)準(zhǔn)操作的多個(gè)影像其中之一以及得自于涉及圖4所示影像處理方法的水平對(duì)準(zhǔn)操作的相關(guān)影像的示意圖。[0018]圖10為涉及圖4所示影像處理方法的視差直方圖的示意圖。[0019]圖11為圖1所示裝置的實(shí)施范例的示意圖(其中該裝置的處理電路包含有涉及圖4所示影像處理方法的多個(gè)處理模塊，以及在有需要的時(shí)候，該處理電路可通過多個(gè)運(yùn)動(dòng)感測(cè)器所產(chǎn)生的運(yùn)動(dòng)信息的輔助而選擇性地運(yùn)作)。[0020]圖12為涉及圖4所示影像處理方法的全域/局部坐標(biāo)轉(zhuǎn)換的操作下的兩個(gè)影像的示意圖。[0021]圖13為執(zhí)行于圖12所示的兩個(gè)影像的整體/局部坐標(biāo)轉(zhuǎn)換的示意圖。[0022]圖14為涉及圖4所示影像處理方法與背景的運(yùn)動(dòng)對(duì)準(zhǔn)以供三維顯示的兩個(gè)影像的示意圖。[0023]圖15為涉及圖4所示影像處理方法與前景的運(yùn)動(dòng)對(duì)準(zhǔn)以供三維顯示的兩個(gè)影像的示意圖。[0024]圖16為涉及圖4所示影像處理方法的多個(gè)顯示模式的肖像模式的示意圖。[0025]圖17為涉及圖4所示影像處理方法的多個(gè)顯示模式的全景模式的示意圖?！尽揪唧w實(shí)施方式】】[0026]在說明書及后續(xù)的權(quán)利要求書當(dāng)中使用了某些詞匯來指稱特定的元件。本領(lǐng)域的技術(shù)人員應(yīng)可理解，制造商可能會(huì)用不同的名詞來稱呼同樣的元件。本說明書及權(quán)利要求書并不以名稱的差異來作為區(qū)別元件的方式，而是以元件在功能上的差異來作為區(qū)別的基準(zhǔn)。在通篇說明書及權(quán)利要求當(dāng)中所提及的「包含」為開放式的用語，故應(yīng)解釋成「包含但不限定于」。此外，「耦接」一詞在此包含任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接于第二裝置，則代表該第一裝置可直接連接于該第二裝置，或通過其他裝置或連接手段間接地連接至該第二裝置。[0027]圖1是本發(fā)明用來執(zhí)行影像處理的裝置100的第一實(shí)施例的示意圖。在一個(gè)實(shí)施范例中，裝置100可包含電子元件的至少一部份(例如，一部份或全部)，舉例來說，裝置100可包含上述電子元件的一部份，更具體地說，裝置100可以是該電子元件內(nèi)的控制電路(controlcircuit)(例如，集成電路(integratedcircuit，1C))。在另一個(gè)實(shí)施范例中，裝置100可以是上述電子元件的全部。在另一個(gè)實(shí)施范例中，裝置100可以是包含上述電子元件的音頻/視頻系統(tǒng)(aud1/videosystem)。該電子元件的各種范例可包含(但不局限于)移動(dòng)電話(例如，多功能移動(dòng)電話)、個(gè)人數(shù)字助理(personaldigitalassistant，PDA)、便攜式電子元件(例如，廣義的平板(tablet))，以及個(gè)人電腦(例如，平板個(gè)人電腦(tabletpersonalcomputer)(也可簡(jiǎn)稱為平板)、筆記本電腦或桌上電腦(desktopcomputer))。[0028]由圖1可知，裝置100包含處理電路(processingcircuit)110以及儲(chǔ)存單元(storage)120。儲(chǔ)存單元120用以暫存信息(例如，輸入至處理電路110的至少一個(gè)輸入信號(hào)108所挾帶的信息)，舉例來說，儲(chǔ)存單元可以是存儲(chǔ)器(memory)(例如，易失性存儲(chǔ)器(volatilememory)(例如，隨機(jī)存取存儲(chǔ)器(randomaccessmemory,RAM))或非易失性存儲(chǔ)器(non-volatilememory)(例如，快閃存儲(chǔ)器(Flashmemory)))或硬盤驅(qū)動(dòng)器(harddiskdrive，HDD)。另外，處理電路110用以控制該電子元件的操作、接收多個(gè)影像的影像數(shù)據(jù)(其中該多個(gè)影像是從不同的視角(或沿著不同的視線)來擷取)、將該影像數(shù)據(jù)暫存于儲(chǔ)存單元120，以及依據(jù)該影像數(shù)據(jù)來扭曲(warp)該多個(gè)影像以對(duì)該多個(gè)影像執(zhí)行影像對(duì)準(zhǔn)操作(imagealignment)，其中該多個(gè)影像是依據(jù)一組參數(shù)(asetofparameters)來扭曲，以及該組參數(shù)是通過找出受限于多個(gè)物理相機(jī)參數(shù)(physicalcameraparameter)的多個(gè)預(yù)定范圍的解來得到。舉例來說，該多個(gè)影像是利用上述電子元件的相機(jī)模塊(cameramodule)從不同的視角來擷取，其中該影像數(shù)據(jù)可通過輸入至處理電路110的輸入信號(hào)108來接收。請(qǐng)注意，以上僅供說明需要，并非用來作為本發(fā)明的限制。在一個(gè)實(shí)施范例中，該多個(gè)影像是利用外接元件(externaldevice)(例如，手持式相機(jī)(hand-heldcamera))從不同的視角來擷取。[0029]請(qǐng)注意，上述相機(jī)模塊并不需要被校正(calibrate)，更具體地說，在此實(shí)施例中，該相機(jī)模塊并未以所述的不同的視角(或視線)來校正，舉例來說，在該電子元件夠輕巧而使得用戶可輕易地握住的情形下，用戶可握著該電子元件而任意地從不同的視角來擷取物體的影像。接下來，處理電路110自動(dòng)執(zhí)行該影像對(duì)準(zhǔn)操作以重現(xiàn)三維視覺效果，更具體地說，處理電路110自動(dòng)執(zhí)行該影像對(duì)準(zhǔn)操作產(chǎn)生多個(gè)三維影像以重現(xiàn)該三維視覺效果，其中該多個(gè)三維影像可包含不是利用相機(jī)(例如，上述相機(jī)模塊)所產(chǎn)生的多個(gè)仿真影像(emulatedimage)。處理電路110可通過挾帶該多個(gè)三當(dāng)前第1頁1 2 3 4