立體深度影像建立系統(tǒng)及其方法
【專利摘要】本發(fā)明提供一種立體深度影像建立系統(tǒng)及其方法，所述立體深度影像建立系統(tǒng)包括第一攝影裝置、第二攝影裝置以及影像處理裝置。第一攝影裝置及第二攝影裝置相距預(yù)設(shè)距離，且分別拍攝物體以獲得第一影像及第二影像。影像處理裝置連接于第一攝影裝置以及第二攝影裝置，用以分別在第一影像及第二影像中取得第一局部影像與第二局部影像，其中第一局部影像與第二局部影像均包括所述物體的第一與第二預(yù)定部位，且第一及第二局部影像的尺寸分別小于第一影像及第二影像。其中，影像處理裝置結(jié)合第一及第二局部影像以建立關(guān)于物體的立體深度影像。
【專利說明】立體深度影像建立系統(tǒng)及其方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種影像建立系統(tǒng)，特別是涉及一種立體深度影像建立系統(tǒng)與方法?！颈尘凹夹g(shù)】
[0002]隨著科技以及影像擷取技術(shù)的日益發(fā)展，諸多廠商積極研發(fā)立體影像擷取技術(shù)，且構(gòu)想出許多通過攝影裝置捕捉人體動作而操作電子裝置的方法。其中，通過兩部不同的攝影裝置來模擬人類的雙眼，以針對使用者建立立體深度影像的方式，可使電子裝置通過檢測深度影像中的變化，來判斷使用者欲進行何種操作。其原理在于當(dāng)人類雙眼以微小相異的角度，觀看同一個物體時，雙眼會看到微小相異的兩張影像，雙眼所看到的些微差異，稱之為雙眼視差(Binocular disparity)或視網(wǎng)膜視差(Retinal disparity)。大腦會把這兩張些微差異的影像融合成具有層次和景深的單一物像，進而令人類產(chǎn)生三維空間的立體感。
[0003]然而，在所述兩部攝影裝置分別取得關(guān)于使用者的影像之后，若需要對使用者建立立體深度影像，一般而言需將兩張影像完整地分析才能進行。此時，運算的復(fù)雜度將會隨著影像尺寸的變大而提高，進而使得影像處理的速度下降。
【發(fā)明內(nèi)容】
[0004]有鑒于此，本發(fā)明提出一種立體深度影像建立系統(tǒng)與方法，只需利用兩張原始影像中的部份局部影像便能建立出適用于識別使用者的操作動作的立體深度影像，據(jù)此降低影像處理的時間。
[0005]本發(fā)明提供一種立體深度影像建立系統(tǒng)，其包括第一攝影裝置、第二攝影裝置以及影像處理裝置。第一攝影裝置用以拍攝物體以獲得第一影像。第二攝影裝置與第一攝影裝置相距預(yù)設(shè)距離，用以拍攝所述物體以獲得第二影像。影像處理裝置連接于第一攝影裝置以及第二攝影裝置，用以分別在第一影像及第二影像中取得第一局部影像與第二局部影像，其中第一局部影像與第二局部影像均包括所述物體的第一預(yù)定部位與第二預(yù)定部位，且第一局部影像的尺寸小于第一影像，第二局部影像的尺寸小于第二影像。其中，影像處理裝置結(jié)合第一局部影像以及第二局部影像以建立關(guān)于所述物體的立體深度影像。
[0006]在本發(fā)明的一實施例中，所述影像處理裝置在第一影像中檢測第一部位特征，以找出第一預(yù)定部位在第一影像中的第一預(yù)定部位區(qū)域，并以第一預(yù)定部位區(qū)域為中心向外檢測第二部位特征，以找出第二預(yù)定部位在第一影像中的第二預(yù)定部位區(qū)域，且根據(jù)第一預(yù)定部位區(qū)域及第二預(yù)定部位區(qū)域定義第一影像中的第一區(qū)域以取得第一局部影像。
[0007]在本發(fā)明的一實施例中，所述影像處理裝置在第二影像中檢測第一部位特征，以找出第一預(yù)定部位在第二影像中的第一預(yù)定部位區(qū)域，并以第一預(yù)定部位區(qū)域為中心向外檢測第二部位特征，以找出第二預(yù)定部位在第二影像中的第二預(yù)定部位區(qū)域，且根據(jù)第一預(yù)定部位區(qū)域及第二預(yù)定部位區(qū)域定義第二影像中的第二區(qū)域以取得第二局部影像。
[0008]在本發(fā)明的一實施例中，所述影像處理裝置根據(jù)第一區(qū)域在第一影像中的相對位置，決定第二影像中的第二區(qū)域以取得第二局部影像。
[0009]在本發(fā)明的一實施例中，所述影像處理裝置依照第一區(qū)域在第一影像中的相對位置在第二影像中定義與第二影像具有同樣相對位置的候選區(qū)域，并在第二影像中檢測第一部位特征，以找出第一預(yù)定部位在第二影像中的第一預(yù)定部位區(qū)域。接著，影像處理裝置沿預(yù)設(shè)方向平移候選區(qū)域，直到候選區(qū)域涵蓋第二影像中的第一預(yù)定部位區(qū)域，且候選區(qū)域和第二影像中的第一預(yù)定部位區(qū)域之間的相對位置相符于第一區(qū)域和第一影像中的第一預(yù)定部位區(qū)域之間的相對位置時，以平移后的候選區(qū)域作為第二區(qū)域。
[0010]在本發(fā)明的一實施例中，所述影像處理裝置依照第一區(qū)域在第一影像中的相對位置在第二影像中定義與第二影像具有同樣相對位置的候選區(qū)域，并在候選區(qū)域中檢測第一部位特征，以找出第一預(yù)定部位在第二影像中的第一預(yù)定部位區(qū)域。接著，影像處理裝置沿預(yù)設(shè)方向平移候選區(qū)域，直到候選區(qū)域和第二影像中的第一預(yù)定部位區(qū)域之間的相對位置相符于第一區(qū)域和第一影像中的第一預(yù)定部位區(qū)域之間的相對位置時，以平移后的候選區(qū)域作為第二區(qū)域。
[0011 ] 在本發(fā)明的一實施例中，所述影像處理裝置依照第一區(qū)域在第一影像中的相對位置在第二影像中定義與第二影像具有同樣相對位置的候選區(qū)域，并沿預(yù)設(shè)方向?qū)⒑蜻x區(qū)域平移特定距離后，以平移后的候選區(qū)域作為第二區(qū)域。其中，特定距離與預(yù)設(shè)距離之間具有映射關(guān)系。
[0012]本發(fā)明提供一種立體深度影像建立方法，適用于立體深度影像建立系統(tǒng)，所述方法包括下列步驟。首先，使用第一攝影裝置拍攝物體，以找出第一影像，同時使用第二攝影裝置拍攝所述物體，以找出第二影像，而第二攝影裝置與第一攝影裝置相距預(yù)設(shè)距離。接著，分別在第一影像及第二影像中取得第一局部影像與第二局部影像。其中，第一局部影像與第二局部影像均包括所述物體的第一預(yù)定部位與第二預(yù)定部位，且第一局部影像的尺寸小于第一影像，第二局部影像的尺寸小于第二影像。之后，結(jié)合第一局部影像以及第二局部影像以建立關(guān)于所述物體的立體深度影像。
[0013]在本發(fā)明的一實施例中，所述在第一影像中取得第一局部影像的步驟中，包括在第一影像中檢測第一部位特征，以找出第一預(yù)定部位在第一影像中的第一預(yù)定部位區(qū)域。接著，以第一預(yù)定部位區(qū)域為中心向外檢測第二部位特征，以找出第二預(yù)定部位在第一影像中的第二預(yù)定部位區(qū)域。之后，根據(jù)第一預(yù)定部位區(qū)域及第二預(yù)定部位區(qū)域定義第一影像中的第一區(qū)域以取得第一局部影像。
[0014]在本發(fā)明的一實施例中，所述在第二影像中取得第二局部影像的步驟中，包括在第二影像中檢測第一部位特征，以找出第一預(yù)定部位在第二影像中的第一預(yù)定部位區(qū)域。接著，以第一預(yù)定部位區(qū)域為中心向外檢測第二部位特征，以找出第二預(yù)定部位在第二影像中的第二預(yù)定部位區(qū)域。之后，根據(jù)第一預(yù)定部位區(qū)域及第二預(yù)定部位區(qū)域定義第二影像中的第二區(qū)域以取得第二局部影像。
[0015]在本發(fā)明的一實施例中，在第二影像中取得第二局部影像的步驟包括在定義第一區(qū)域之后，根據(jù)第一區(qū)域在第一影像中的相對位置，決定第二影像中的第二區(qū)域以取得第
二局部影像。
[0016]在本發(fā)明的一實施例中，在根據(jù)第一區(qū)域在第一影像中的相對位置，決定第二影像中的第二區(qū)域以取得第二局部影像的步驟中，包括依照第一區(qū)域在第一影像中的相對位置在第二影像中定義與第二影像具有同樣相對位置的候選區(qū)域。之后，在第二影像中檢測第一部位特征，以找出第一預(yù)定部位在第二影像中的第一預(yù)定部位區(qū)域。接著，沿預(yù)設(shè)方向平移候選區(qū)域，直到候選區(qū)域涵蓋第二影像中的第一預(yù)定部位區(qū)域，且候選區(qū)域和第二影像中的第一預(yù)定部位區(qū)域之間的相對位置相符于第一區(qū)域和第一影像中的第一預(yù)定部位區(qū)域之間的相對位置時，以平移后的候選區(qū)域作為第二區(qū)域。
[0017]在本發(fā)明的一實施例中，在根據(jù)第一區(qū)域在第一影像中的相對位置，決定第二影像中的第二區(qū)域以取得第二局部影像的步驟中，包括依照第一區(qū)域在第一影像中的相對位置在第二影像中定義與第二影像具有同樣相對位置的一候選區(qū)域。之后，在候選區(qū)域中檢測第一部位特征，以找出第一預(yù)定部位在第二影像中的一第一預(yù)定部位區(qū)域。接著，沿一預(yù)設(shè)方向平移候選區(qū)域，直到候選區(qū)域和第二影像中的第一預(yù)定部位區(qū)域之間的相對位置相符于第一區(qū)域和第一影像中的第一預(yù)定部位區(qū)域之間的相對位置時，以平移后的候選區(qū)域作為第二區(qū)域。
[0018]在本發(fā)明的一實施例中，在根據(jù)第一區(qū)域在第一影像中的相對位置，決定第二影像中的第二區(qū)域以取得第二局部影像的步驟中，包括依照第一區(qū)域在第一影像中的相對位置在第二影像中定義與第二影像具有同樣相對位置的候選區(qū)域。接著，沿預(yù)設(shè)方向?qū)⒑蜻x區(qū)域平移特定距離后，以平移后的的候選區(qū)域作為第二區(qū)域。其中，特定距離與預(yù)設(shè)距離之間具有映射關(guān)系。
[0019]在本發(fā)明的一實施例中，所述物體為人體，第一預(yù)定部位為人體的手部，第二預(yù)定部位為人體的臉部。
[0020]基于上述，本發(fā)明提供一種立體深度影像建立系統(tǒng)及其方法，通過所述建立立體深度影像的操作，影像處理裝置可依據(jù)第一攝影裝置及第二攝影裝置所拍攝到的使用者動作來判斷使用者想要進行何種操作。進一步，本發(fā)明系通過影像處理裝置分別對第一影像及第二影像中的第一預(yù)定部位和第二預(yù)定部位進行檢測，進而定義第一局部影像與第二局部影像。而由于本發(fā)明是通過結(jié)合第一局部影像與第二局部影像來建立立體深度影像，而不是對整個第一影像及第二影像進行處理，因此可通過處理較小的局部影像來降低影像處理的復(fù)雜度。
[0021]為使本發(fā)明的上述特征和優(yōu)點能更明顯易懂，下文特舉實施例，并結(jié)合附圖詳細說明如下。
【專利附圖】
【附圖說明】
[0022]圖1A是依照本發(fā)明的一實施例所繪示的立體深度影像建立系統(tǒng)的示意圖。
[0023]圖1B是依照本發(fā)明的一實施例所繪示的利用立體深度影像建立系統(tǒng)建立立體深度影像的示意圖。
[0024]圖1C是根據(jù)本發(fā)明的一實施例所繪示的立體深度影像建立方法的流程圖。
[0025]圖2是根據(jù)本發(fā)明的一實施例所繪示的取得第一局部影像的示意圖。
[0026]圖3是根據(jù)本發(fā)明的一實施例所繪示的取得第二局部影像的示意圖。
[0027]圖4是根據(jù)本發(fā)明的另一實施例所繪示的取得第二局部影像的示意圖。
[0028]圖5是根據(jù)本發(fā)明的又一實施例所繪示的取得第二局部影像的示意圖。
[0029]附圖符號說明[0030]100:立體深度影像建立系統(tǒng)
[0031]110:第一攝影裝置
[0032]112、122:鏡頭
[0033]120:第二攝影裝置
[0034]130:影像處理裝置
[0035]140:人體
[0036]142:手部
[0037]144:臉部
[0038]20,30,40:第一預(yù)定部位區(qū)域
[0039]22,32:第二預(yù)定部位區(qū)域
[0040]410>510:候選區(qū)域
[0041]420、520:預(yù)設(shè)方向
[0042]Al:第一區(qū)域
[0043]A2:第二區(qū)域
[0044]IMGl:第一影像
[0045]IMG1_1:第一局部影像
[0046]IMG2:第二影像
[0047]IMG2_1:第二局部影像
[0048]D1:預(yù)設(shè)距離
[0049]DD:特定距離
[0050]S101?S104:步驟
【具體實施方式】
[0051]圖1A是依照本發(fā)明的一實施例所繪示的立體深度影像建立系統(tǒng)的示意圖。在本實施例中，立體深度影像建立系統(tǒng)100包括第一攝影裝置110、第二攝影裝置120以及影像處理裝置130。第一攝影裝置110用以拍攝物體以獲得第一影像。第二攝影裝置120與第一攝影裝置110相距預(yù)設(shè)距離DI，用以拍攝所述物體以獲得第二影像。第一攝影裝置110及第二攝影裝置120彼此平行配置，且可以分別包括鏡頭112及122。鏡頭112及122的位置位于同一平面上，分別用于接收來自所述物體的光線。其中，鏡頭112及122可以是具有電荷稱合元件(Charge Coupled Device, CCD)鏡頭或是互補式金屬氧化物半導(dǎo)體(Complementary Metal-Oxide Semiconductor,CMOS)鏡頭的照相機或攝影機，但并不限于此。
[0052]影像處理裝置130連接于第一攝影裝置110以及第二攝影裝置120，用以分別在第一攝影裝置110所拍攝到的第一影像中取得第一局部影像，并在第二攝影裝置120所拍攝的第二影像中取得第二局部影像。其中，第一局部影像與第二局部影像均包括被拍攝的物體的第一預(yù)定部位及第二預(yù)定部位。并且，影像處理裝置130會利用第一局部影像以及第二局部影像來建立物體的立體深度影像。舉例來說，影像處理裝置130可以是影像處理晶片、處理器或電腦系統(tǒng)等硬件元件，或是具備影像處理功能的軟件元件(例如能識別、擷取或編輯影像的應(yīng)用程序)，此外，影像處理裝置130也可以是硬件及軟件元件的組合。[0053]立體深度影像建立系統(tǒng)100可配置在任何具有動作感測系統(tǒng)的電子裝置之中。詳言之，動作感測系統(tǒng)可藉由立體深度影像建立系統(tǒng)100所產(chǎn)生的立體深度影像分析使用者的手勢或體感，并控制電子裝置據(jù)此產(chǎn)生對應(yīng)的操作結(jié)果。由于影像處理裝置130只要利用較小的兩個局部影像便能建立立體深度影像，而后續(xù)的使用者動作分析也只需針對較小的范圍來進行處理，因此能大幅降低處理影像的時間。
[0054]圖1B是依照本發(fā)明的一實施例所繪示的利用立體深度影像建立系統(tǒng)建立立體深度影像的示意圖。在本實施例中，假設(shè)被拍攝的物體是人體140，其第一預(yù)定部位例如是人體140的手部142，其第二預(yù)定部位例如是人體140的臉部144。下面結(jié)合圖1C的流程來說明立體深度影像建立系統(tǒng)100產(chǎn)生物體(即人體140)的立體深度影像的詳細步驟。
[0055]圖1C是根據(jù)本發(fā)明的一實施例所繪示的立體深度影像建立方法的流程圖。請同時參照圖1B與圖1C，如步驟SlOl所示，使用第一攝影裝置110拍攝物體(亦即人體140)，以獲得第一影像MG1，并如步驟S102所示，使用第二攝影裝置120拍攝人體140，以獲得第二影像MG2。其中，第一攝影裝置110與第二攝影裝置120例如是同時對人體140進行拍攝。由于第一攝影裝置110及第二攝影裝置120可視為以同一方位對人體140進行拍攝，因此當(dāng)預(yù)設(shè)距離DI不大時(例如6公分)，其分別獲得的第一影像MGl及第二影像MG2彼此應(yīng)相當(dāng)類似。因此，第一攝影裝置110及第二攝影裝置120可同時用來模擬人類的雙眼，而第一影像頂Gl及第二影像MG2則可分別模擬人類雙眼分別看到的影像。此時，預(yù)設(shè)距離DI可以類比為人類雙眼間的距離，而使得第一影像MGl及第二影像MG2之間存在一種類似雙眼視差的平移關(guān)系。舉例而言，當(dāng)?shù)谝粩z影裝置110配置于第二攝影裝置120的左方，且所述預(yù)設(shè)距離DI為例如6公分時，第二影像MG2所呈現(xiàn)的畫面將相似于將第一影像IMGl向左方平移所呈現(xiàn)的畫面。
[0056]接著，如步驟S103所示，影像處理裝置130分別在第一影像MGl及第二影像MG2中取得第一局部影像IMG1_1與第二局部影像IMG2_1，其中第一局部影像IMG1_1與第二局部影像MG2_1均包括人體140的手部142與臉部144，且第一局部影像MG1_1的尺寸小于第一影像頂G1，第二局部影像MG2_1的尺寸小于第二影像MG2。之后，如步驟S104所示，影像處理裝置130可結(jié)合第一局部影像MG1_1與第二局部影像MG2_1以建立關(guān)于人體140的立體深度影像。
[0057]在一實施例中，立體深度影像建立系統(tǒng)100例如是整合于智能型電視(Smart TV)中，而第一攝影裝置110及第二攝影裝置120可以配置于此智能型電視的屏幕上側(cè)，用以拍攝智能型電視前方的使用者，再由影像處理裝置130建立使用者的立體深度影像。其中，影像處理裝置130可以是內(nèi)建于所述智能型電視中的影像處理器。通過如圖1C所述的建立立體深度影像的方法，影像處理裝置130可依據(jù)第一攝影裝置110及第二攝影裝置120所拍攝到包括使用者(例如人體140)的影像，建立僅具有使用者的手部142與臉部144的立體深度影像。而內(nèi)建于智能型電視的動作感測系統(tǒng)便能根據(jù)此立體深度影像追蹤使用者的動作來判斷使用者想要進行何種操作(例如轉(zhuǎn)臺、調(diào)整音量及切換聲道等)。值得一提的是，由于本發(fā)明實施例是通過結(jié)合僅包括使用者的手部142與臉部144的第一局部影像MG1_1與第二局部影像MG2_1來建立立體深度影像，而不是結(jié)合還包括其他背景的第一影像MGl及第二影像頂G2來建立立體深度影像，因此影像處理的復(fù)雜度可隨著所處理的影像區(qū)域變小而降低。并且，之后在檢測及追蹤使用者的動作時，也只需檢測所述立體深度影像范圍內(nèi)的變化，而不需對其他影像范圍進行檢測，因此在檢測上的復(fù)雜度將能有效地降低。
[0058]以下將以三個實施例說明影像處理裝置130取得第一局部影像MG1_1與第二局部影像IMG2_1的詳細實施方式。
[0059][第一實施例]
[0060]圖2是根據(jù)本發(fā)明的一實施例所繪示的取得第一局部影像的示意圖。在本實施例中，影像處理裝置130可以包括手部圖形數(shù)據(jù)庫以及臉部圖形數(shù)據(jù)庫，使得影像處理裝置130在接收到一張影像時，可以藉由所述手部圖形數(shù)據(jù)庫及臉部圖形數(shù)據(jù)庫來識別出現(xiàn)在此影像中的手部及臉部位置。
[0061]詳言之，當(dāng)影像處理裝置130接收到第一影像MGl時，可通過在第一影像MGl中檢測第一部位特征(亦即手部的特征)，以找出手部142在第一影像IMGl中的區(qū)域(以下稱之為第一預(yù)定部位區(qū)域20)。在取得第一預(yù)定部位區(qū)域20之后，影像處理裝置130可將第一預(yù)定部位區(qū)域20定為中心，向外檢測附近是否出現(xiàn)第二部位特征(亦即臉部的特征)，進而找出臉部144在第一影像MGl中的區(qū)域(以下稱之為第二預(yù)定部位區(qū)域22)。接著，影像處理裝置130即可依據(jù)第一預(yù)定部位區(qū)域20以及第二預(yù)定部位區(qū)域22，在第一影像MGl中定義可包括第一預(yù)定部位區(qū)域20以及第二預(yù)定部位區(qū)域22的第一區(qū)域Al，并對應(yīng)地取得第一局部影像MG1_1。舉例來說，第一區(qū)域Al可以是包括第一預(yù)定部位區(qū)域20以及第二預(yù)定部位區(qū)域22的最小矩形，然而本發(fā)明并不局限于此。
[0062]值得注意的是，雖然在第一影像MGl中具有兩個手部特征，但影像處理裝置130僅需檢測出其中一個手部特征即可進行上述取得第一局部影像MG1_1的操作。然而在其他實施例中，影像處理裝置130也可在檢測到兩個手部特征的情況下，以雙手區(qū)域作為取
得第一局部影像的基準(zhǔn)。
[0063]圖3是根據(jù)本發(fā)明的一實施例所繪示的取得第二局部影像的示意圖。在本實施例中，當(dāng)影像處理裝置130接收到第二影像MG2時，同樣可通過類似圖2中的實施例所繪示的方式來取得其中的第二局部影像MG2_1。換言之，影像處理裝置130同樣可在第二影像IMG2中先取得手部142對應(yīng)的第一預(yù)定部位區(qū)域30，再據(jù)以獲得臉部144對應(yīng)的第二預(yù)定部位區(qū)域32。接著，再根據(jù)第一預(yù)定部位區(qū)域30以及第二預(yù)定部位區(qū)域32定義第二區(qū)域A2，以對應(yīng)地取得第二局部影像MG2_1。
[0064]簡而言之，在本實施例中，影像處理單元130會分別對第一影像MGl及第二影像IMG2進行第一預(yù)定部位(即手部)及第二預(yù)定部位(即臉部)的檢測，進而取得第一局部影像IMG1_1以及第二局部影像MG2_1。
[0065][第二實施例]
[0066]在本實施例中，影像處理裝置130會以類同第一實施例的方式自第一影像MGl中取得第一局部影像頂Gl_l。之后，影像處理裝置130會根據(jù)第一區(qū)域Al在第一影像MGl中的相對位置，在第二影像IMG2中決定出第二區(qū)域以獲得第二局部影像。
[0067]以下將以圖4說明影像處理裝置130在第二影像MG2中取得第二局部影像IMG2_1的詳細做法。請同時參照圖2及圖4，在本實施例中，假若影像處理裝置130已在圖2所示的第一影像MGl中確定第一區(qū)域Al的位置，影像處理裝置130接著依照第一區(qū)域Al在第一影像MGl中的相對位置而在第二影像MG2中定義候選區(qū)域410。具體而言，影像處理裝置130會在第二影像MG2中定義一個大小與第一區(qū)域Al相同的候選區(qū)域410，且候選區(qū)域410與第二影像MG2的四個邊緣的距離會符合第一區(qū)域Al與第一影像MGl的四個邊緣的距離。
[0068]接著，影像處理裝置130即在第二影像MG2中檢測第一部位特征(亦即手部的特征)，并取得第一預(yù)定部位在第二影像MG2中的區(qū)域(以下稱之為第一預(yù)定部位區(qū)域40)。之后，影像處理裝置130僅需將候選區(qū)域410沿著預(yù)設(shè)方向420平移，使候選區(qū)域410涵蓋第一預(yù)定部位區(qū)域40，即可用平移后的候選區(qū)域作為第二區(qū)域A2，進而對應(yīng)取得第二局部影像MG2_1。
[0069]詳言之，由于第一攝影裝置110與第二攝影裝置120是擺放于同一平面，故第一影像MGl與第二影像MG2之間僅存在水平方向的視差。并且第一攝影裝置110是配置在第二攝影裝置120的左方，基此，影像處理裝置130只需延著水平軸朝左方平移候選區(qū)域410，直到候選區(qū)域410可涵蓋第一預(yù)定部位區(qū)域40，且第一預(yù)定部位區(qū)域40與候選區(qū)域410的相對位置符合第一預(yù)定部位區(qū)域40與第一區(qū)域Al的相對位置時，便停止移動候選區(qū)域410，再將此刻的候選區(qū)域410定義為第二區(qū)域A2。也就是說，經(jīng)過上述方式定義的第二區(qū)域A2和第二影像MG2中的第一預(yù)定部位區(qū)域40之間的相對位置，會與第一區(qū)域Al和第一影像IMGl中的第一預(yù)定部位區(qū)域20之間的相對位置相符。
[0070]而如同前面所提及的，由于預(yù)設(shè)距離DI不大，故第一攝影裝置110與第二攝影裝置120分別獲得的第一影像MGl及第二影像MG2彼此相當(dāng)類似，所以候選區(qū)域410包括到第一預(yù)定部位的可能性相當(dāng)高。因此，為了更進一步加快影像處理的速度，影像處理裝置130可僅在候選區(qū)域410中檢測第一部位特征(亦即手部的特征)，而不須再對整張第二影像IMG2進行檢測，即可取得第一預(yù)定部位在第二影像IMG2中的區(qū)域。之后，影像處理裝置130只需延著水平軸朝左方平移候選區(qū)域410，直到第一預(yù)定部位區(qū)域40與候選區(qū)域410的相對位置符合第一預(yù)定部位區(qū)域20與第一區(qū)域Al的相對位置時，即可對應(yīng)地取得第二區(qū)域A2以及第二局部影像IMG2_1。
[0071]值得一提的是，上述預(yù)設(shè)方向可依據(jù)第一攝影裝置110以及第二攝影裝置120之間的相對位置來對應(yīng)地調(diào)整。舉例而言，假若將圖1中的第一攝影裝置110配置于第二攝影裝置120的右方時，由于其拍攝影像之間的相對位置關(guān)系有所變化，因此所述預(yù)設(shè)方向則須對應(yīng)地調(diào)整為沿水平軸向右。
[0072][第三實施例]
[0073]在本實施例中，影像處理裝置130會以類同第一實施例的方式自第一影像MGl中取得第一局部影像頂Gl_l。而影像處理裝置130在第二影像MG2中取得第二局部影像IMG2_1的方式則如圖5所示。
[0074]請同時參照圖2及圖5，在本實施例中，影像處理裝置130同樣可依據(jù)第一區(qū)域Al與第一影像頂Gl之間的相對位置，在第二影像MG2中定義候選區(qū)域510。由于候選區(qū)域510的定義方式類似第二實施例，故在此不再贅述。
[0075]接著，影像處理裝置130將候選區(qū)域510沿預(yù)設(shè)方向520平移特定距離DD后，直接以平移后的候選區(qū)域作為第二區(qū)域A2，以對應(yīng)取得第二局部影像IMG2_1。其中，特定距離DD可類比為第一影像MGl與第二影像MG2之間的視差距離，且特定距離DD與第一攝影裝置110及第二攝影裝置120之間的預(yù)設(shè)距離DI具有一映射關(guān)系。因此在本實施例中，假若已知預(yù)設(shè)距離DI的長度，便能根據(jù)上述映射關(guān)系推算出特定距離DD的長度，則影像處理單元130在定義候選區(qū)域510之后，只需直接將候選區(qū)域510平移特定距離DD，即可對應(yīng)取得第二局部影像IMG2_1。
[0076]簡而言之，第二與第三實施例之間的差異在于當(dāng)取得候選區(qū)域之后，第二實施例(請參照圖4)是藉由找出第一部位特征并據(jù)以將候選區(qū)域平移到適當(dāng)位置以確定第二區(qū)域。而在第三實施例(請參照圖5)中，則是直接根據(jù)第一影像MGl與第二影像MG2之間的視差距離來平移后選區(qū)域以確定第二區(qū)域的位置。
[0077]綜上所述，本發(fā)明提供一種立體深度影像建立系統(tǒng)及其方法，其是對第一影像及第二影像進行第一預(yù)定部位和第二預(yù)定部位的檢測，進而定義兩個較小的局部影像，再結(jié)合兩個局部影像來建立立體深度影像。由于本發(fā)明所述的立體深度影像建立系統(tǒng)及方法并不是利用完整的第一影像及第二影像來建立立體深度影像，因此可通過處理較小的局部影像以降低影像處理的復(fù)雜度。
[0078]雖然本發(fā)明已以實施例揭示如上，然其并非用以限定本發(fā)明，本領(lǐng)域的技術(shù)人員，在不脫離本發(fā)明的精神和范圍的前提下，可作若干的更動與潤飾，故本發(fā)明的保護范圍是以本發(fā)明的權(quán)利要求為準(zhǔn)。
【權(quán)利要求】
1.一種立體深度影像建立系統(tǒng)，包括: 一第一攝影裝置，用以拍攝一物體以獲得一第一影像； 一第二攝影裝置，與該第一攝影裝置相距一預(yù)設(shè)距離，用以拍攝該物體以獲得一第二影像；以及 一影像處理裝置，連接于該第一攝影裝置以及該第二攝影裝置，用以分別在該第一影像及該第二影像中取得一第一局部影像與一第二局部影像，其中該第一局部影像與該第二局部影像均包括該物體的一第一預(yù)定部位與一第二預(yù)定部位，且該第一局部影像的尺寸小于該第一影像，該第二局部影像的尺寸小于該第二影像， 該影像處理裝置結(jié)合該第一局部影像以及該第二局部影像以建立關(guān)于該物體的一立體深度影像。
2.如權(quán)利要求1所述的立體深度影像建立系統(tǒng)，其中該影像處理裝置在該第一影像中檢測一第一部位特征，以找出該第一預(yù)定部位在該第一影像中的一第一預(yù)定部位區(qū)域，并以該第一預(yù)定部位區(qū)域為中心向外檢測一第二部位特征，以找出該第二預(yù)定部位在該第一影像中的一第二預(yù)定部位區(qū)域，且根據(jù)該第一預(yù)定部位區(qū)域及該第二預(yù)定部位區(qū)域定義該第一影像中的一第一區(qū)域以取得該第一局部影像。
3.如權(quán)利要求2所述的立體深度影像建立系統(tǒng)，其中該影像處理裝置在該第二影像中檢測該第一部位特征，以找出該第一預(yù)定部位在該第二影像中的一第一預(yù)定部位區(qū)域，并以該第一預(yù)定部位區(qū)域為中心向外檢測該第二部位特征，以找出該第二預(yù)定部位在該第二影像中的一第二預(yù)定部位區(qū)域，且根據(jù)該第一預(yù)定部位區(qū)域及該第二預(yù)定部位區(qū)域定義該第二影像中的一第二區(qū)域以取得該第二局部影像。
4.如權(quán)利要求2所述的立體深度影像建立系統(tǒng)，其中該影像處理裝置根據(jù)該第一區(qū)域在該第一影像中的相對位置， 決定該第二影像中的一第二區(qū)域以取得該第二局部影像。
5.如權(quán)利要求4所述的立體深度影像建立系統(tǒng)，其中該影像處理裝置依照該第一區(qū)域在該第一影像中的相對位置在該第二影像中定義與該第二影像具有同樣相對位置的一候選區(qū)域，并在該第二影像中檢測該第一部位特征，以找出該第一預(yù)定部位在該第二影像中的一第一預(yù)定部位區(qū)域， 該影像處理裝置沿一預(yù)設(shè)方向平移該候選區(qū)域，直到該候選區(qū)域涵蓋該第二影像中的該第一預(yù)定部位區(qū)域，且該候選區(qū)域和該第二影像中的該第一預(yù)定部位區(qū)域之間的相對位置相符于該第一區(qū)域和該第一影像中的該第一預(yù)定部位區(qū)域之間的相對位置時，以平移后的該候選區(qū)域作為該第二區(qū)域。
6.如權(quán)利要求4所述的立體深度影像建立系統(tǒng)，其中該影像處理裝置依照該第一區(qū)域在該第一影像中的相對位置在該第二影像中定義與該第二影像具有同樣相對位置的一候選區(qū)域，并在該候選區(qū)域中檢測該第一部位特征，以找出該第一預(yù)定部位在該第二影像中的一第一預(yù)定部位區(qū)域， 該影像處理裝置沿一預(yù)設(shè)方向平移該候選區(qū)域，直到該候選區(qū)域和該第二影像中的該第一預(yù)定部位區(qū)域之間的相對位置相符于該第一區(qū)域和該第一影像中的該第一預(yù)定部位區(qū)域之間的相對位置時，以平移后的該候選區(qū)域作為該第二區(qū)域。
7.如權(quán)利要求4所述的立體深度影像建立系統(tǒng)，其中該影像處理裝置依照該第一區(qū)域在該第一影像中的相對位置在該第二影像中定義與該第二影像具有同樣相對位置的一候選區(qū)域，并沿一預(yù)設(shè)方向?qū)⒃摵蜻x區(qū)域平移一特定距離后，以平移后的該候選區(qū)域作為該第二區(qū)域， 其中，該特定距離與該預(yù)設(shè)距離之間具有一映射關(guān)系。
8.如權(quán)利要求1所述的立體深度影像建立系統(tǒng)，其中該物體為一人體，該第一預(yù)定部位為該人體的手部，該第二預(yù)定部位為該人體的臉部。
9.一種立體深度影像建立方法，適用于一立體深度影像建立系統(tǒng)，該方法包括: 使用一第一攝影裝置拍攝一物體，以獲得一第一影像； 使用一第二攝影裝置拍攝該物體，以獲得一第二影像，該第二攝影裝置與該第一攝影裝置相距一預(yù)設(shè)距離； 分別在該第一影像及該第二影像中取得一第一局部影像與一第二局部影像，其中該第一局部影像與該第二局部影像均包括該物體的一第一預(yù)定部位與一第二預(yù)定部位，且該第一局部影像的尺寸小于該第一影像，該第二局部影像的尺寸小于該第二影像；以及結(jié)合該第一局部影像以及該第二局部影像以建立關(guān)于該物體的一立體深度影像。
10.如權(quán)利要求9所述的方法，其中在該第一影像中取得該第一局部影像的步驟包括: 在該第一影像中檢測一第一部位特征，以找出該第一預(yù)定部位在該第一影像中的一第一預(yù)定部位區(qū)域； 以該第一預(yù)定部位區(qū)域為中心向外檢測一第二部位特征，以找出該第二預(yù)定部位在該第一影像中的一第二預(yù)定部位區(qū)域；以及 根據(jù)該第一影像中的該第一預(yù)定部位區(qū)域及該第二預(yù)定部位區(qū)域，定義該第一影像中的一第一區(qū)域以取得該第一 局部影像。
11.如權(quán)利要求10所述的方法，其中在該第二影像中取得該第二局部影像的步驟包括: 在該第二影像中檢測該第一部位特征，以找出該第一預(yù)定部位在該第二影像中的一第一預(yù)定部位區(qū)域； 以該第一預(yù)定部位區(qū)域為中心向外檢測該第二部位特征，以找出該第二預(yù)定部位在該第二影像中的一第二預(yù)定部位區(qū)域；以及 根據(jù)該第二影像中的該第一預(yù)定部位區(qū)域及該第二預(yù)定部位區(qū)域，定義該第二影像中的一第二區(qū)域以取得該第二局部影像。
12.如權(quán)利要求10所述的方法，其中在該第二影像中取得該第二局部影像的步驟包括: 在定義該第一區(qū)域之后，根據(jù)該第一區(qū)域在該第一影像中的相對位置，決定該第二影像中的一第二區(qū)域以取得該第二局部影像。
13.如權(quán)利要求12所述的方法，其中根據(jù)該第一區(qū)域在該第一影像中的相對位置，決定該第二影像中的該第二區(qū)域以取得該第二局部影像的步驟包括: 依照該第一區(qū)域在該第一影像中的相對位置在該第二影像中定義與該第二影像具有同樣相對位置的一候選區(qū)域； 在該第二影像中檢測該第一部位特征，以找出該第一預(yù)定部位在該第二影像中的一第一預(yù)定部位區(qū)域；以及 沿一預(yù)設(shè)方向平移該候選區(qū)域，直到該候選區(qū)域涵蓋該第二影像中的該第一預(yù)定部位區(qū)域，且該候選區(qū)域和該第二影像中的該第一預(yù)定部位區(qū)域之間的相對位置相符于該第一區(qū)域和該第一影像中的該第一預(yù)定部位區(qū)域之間的相對位置時，以平移后的該候選區(qū)域作為該第二區(qū)域。
14.如權(quán)利要求12所述的方法，其中根據(jù)該第一區(qū)域在該第一影像中的相對位置，決定該第二影像中的該第二區(qū)域以取得該第二局部影像的步驟包括: 依照該第一區(qū)域在該第一影像中的相對位置在該第二影像中定義與該第二影像具有同樣相對位置的一候選區(qū)域； 在該候選區(qū)域中檢測該第一部位特征，以找出該第一預(yù)定部位在該第二影像中的一第一預(yù)定部位區(qū)域；以及 沿一預(yù)設(shè)方向平移該候選區(qū)域，直到該候選區(qū)域和該第二影像中的該第一預(yù)定部位區(qū)域之間的相對位置相符于該第一區(qū)域和該第一影像中的該第一預(yù)定部位區(qū)域之間的相對位置時，以平移后的該候選區(qū)域作為該第二區(qū)域。
15.如權(quán)利要求12所述的方法，其中在根據(jù)該第一區(qū)域在該第一影像中的相對位置，決定該第二影像中的該第二區(qū)域以取得該第二局部影像的步驟包括: 依照該第一區(qū)域在該第一影像中的相對位置在該第二影像中定義與該第二影像具有同樣相對位置的一候選區(qū)域；以及 沿一預(yù)設(shè)方向?qū)⒃摵蜻x區(qū)域平移一特定距離后，以平移后的該候選區(qū)域作為該第二區(qū)域，其中該特定距離與該預(yù)設(shè)距離之間具有一映射關(guān)系。
16.如權(quán)利要求9所 述的方法，其中該物體為一人體，該第一預(yù)定部位為該人體的手部，該第二預(yù)定部位為該人體 的臉部。
【文檔編號】H04N13/00GK103475886SQ201210211239
【公開日】2013年12月25日 申請日期:2012年6月21日 優(yōu)先權(quán)日:2012年6月5日
【發(fā)明者】周家德, 魏守德, 李芷萱 申請人:緯創(chuàng)資通股份有限公司