三維互動(dòng)裝置及其操控方法
【專利摘要】一種三維互動(dòng)裝置及其操控方法。三維互動(dòng)裝置包括投影單元、取像單元以及圖像處理單元。投影單元用以投射互動(dòng)圖案至主體的表面，藉以讓使用者對(duì)互動(dòng)圖案以手勢(shì)進(jìn)行互動(dòng)觸發(fā)操作。取像單元用以提取在取像范圍內(nèi)的深度圖像。圖像處理單元接收深度圖像并且判斷深度圖像中是否含有使用者的手部圖像。如果是，圖像處理單元對(duì)手部圖像進(jìn)行手部幾何辨識(shí)，以獲得手勢(shì)互動(dòng)語意。圖像處理單元并依據(jù)手勢(shì)互動(dòng)語意來控制投影單元及取像單元。據(jù)此，本公開提供便攜式、非接觸式的三維互動(dòng)裝置。
【專利說明】三維互動(dòng)裝置及其操控方法【技術(shù)領(lǐng)域】
[0001]本公開涉及一種三維互動(dòng)裝置及其操控方法。
【背景技術(shù)】
[0002]近年來非接觸式人機(jī)互動(dòng)界面研究成長(zhǎng)十分快速，弗雷斯特研究(ForresterResearch)公司的分析師研究指出:若能讓體感與互動(dòng)完全融入日?；顒?dòng)，成為生活的一部分，未來將是互動(dòng)應(yīng)用的絕佳機(jī)會(huì)。目前已有多家公司開發(fā)各種生活應(yīng)用產(chǎn)品，例如微軟所發(fā)表的新世代體感游戲裝置Kinect，采用人體動(dòng)作操控作為游戲的互動(dòng)媒介；在波音客機(jī)的銷售大廳，架設(shè)能為客人提供一趟虛擬航程的三維(three-dimensional, 3D)互動(dòng)裝置等等。
[0003]由于深度圖像提供更完整的空間圖像信息，因此發(fā)展虛擬互動(dòng)輸入技術(shù)的重點(diǎn)在于如何有效、即時(shí)且穩(wěn)定的取得第三維(即深度)的信息。然而在現(xiàn)有技術(shù)中，大部分的重點(diǎn)著重于建立深度圖(depth map),以達(dá)到“空間三維互動(dòng)”(spatial 3D interaction)的目的，但目前深度圖的估測(cè)因距離遠(yuǎn)近與解析度等因素，較難測(cè)量到手部甚至手指位置細(xì)微變化的絕對(duì)坐標(biāo)，較難對(duì)應(yīng)譬如小范圍非接觸式的人機(jī)界面需求。
[0004]現(xiàn)有的互動(dòng)輸入方式多屬于大范圍互動(dòng)應(yīng)用，例如大型沉浸式虛擬互動(dòng)裝置、互動(dòng)式數(shù)字黑板與體感互動(dòng)游戲等，對(duì)于范圍較小的目標(biāo)物尚較難于三維空間中進(jìn)行精確定位，例如對(duì)于手部范圍大小的精細(xì)操作與范圍較小互動(dòng)效果并不理想。舉例來說，雖有部分互動(dòng)裝置通過讓使用者手持紅外線投影器或配帶標(biāo)記(Marker)等方式，雖容易進(jìn)行追蹤辨識(shí)，但僅適合于較大面積互動(dòng)范圍。并且因?yàn)橥队俺上穹秶潭ㄅc標(biāo)記尺寸精度不足，與實(shí)現(xiàn)便攜式、較小范圍與非接觸式的三維人機(jī)界面互動(dòng)尚有一段距離。

【發(fā)明內(nèi)容】

[0005]有鑒于此，本公開提供一種三維互動(dòng)裝置及其操控方法，可具有非接觸式、較小的設(shè)定范圍坐標(biāo)定位的三維空間互動(dòng)能力，達(dá)到便攜式隨處投影的三維互動(dòng)效果。
[0006]本公開提出一種三維互動(dòng)裝置，其包括投影單元、取像單元以及圖像處理單元。其中，投影單元用以投射互動(dòng)圖案至主體的表面，藉以讓使用者對(duì)互動(dòng)圖案以手勢(shì)進(jìn)行互動(dòng)觸發(fā)操作，其中互動(dòng)圖案被投射在投影范圍內(nèi)。取像單元用以提取在取像范圍內(nèi)的深度圖像，其中取像范圍涵蓋投影范圍。圖像處理單元連接至投影單元與取像單元，用以接收深度圖像并且判斷深度圖像中是否含有使用者的手部圖像。如果是，圖像處理單元對(duì)手部圖像進(jìn)行手部幾何辨識(shí)，以獲得手勢(shì)互動(dòng)語意。圖像處理單元并依據(jù)手勢(shì)互動(dòng)語意來控制投影單元及取像單元。
[0007]本公開另提出一種三維互動(dòng)裝置的操控方法，其中三維互動(dòng)裝置包括投影單元以及取像單元。操控方法包括下列步驟。對(duì)投影單元的投影坐標(biāo)與取像單元的取像坐標(biāo)執(zhí)行坐標(biāo)校正程序。通過投影單元投射互動(dòng)圖案至主體的表面，藉以讓使用者對(duì)互動(dòng)圖案以手勢(shì)進(jìn)行互動(dòng)觸發(fā)操作。其中，互動(dòng)圖案被投射在投影范圍內(nèi)。并且通過取像單元提取在取像范圍內(nèi)的深度圖像，其中，取像范圍涵蓋投影范圍。判斷深度圖像中是否含有使用者的手部圖像。如果是，對(duì)手部圖像進(jìn)行手部幾何辨識(shí)，以獲得手勢(shì)互動(dòng)語意。再依據(jù)手勢(shì)互動(dòng)語意控制投影單元及取像單元。
[0008]為讓本公開的上述特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉實(shí)施范例，并配合附圖作詳細(xì)說明如下。
【專利附圖】

【附圖說明】
[0009] 圖1繪不為一種三維互動(dòng)裝置的應(yīng)用情境的一實(shí)施范例不意圖。
[0010]圖2是根據(jù)本公開一范例實(shí)施例所繪示的三維互動(dòng)裝置的方塊圖。
[0011]圖3A是根據(jù)本公開一范例實(shí)施例所繪示的三維互動(dòng)裝置的操控方法的流程圖。
[0012]圖3B是根據(jù)本公開一范例實(shí)施例所繪示的坐標(biāo)校正程序的流程圖。
[0013]圖4是根據(jù)本公開一范例實(shí)施例所繪示的坐標(biāo)校正程序的簡(jiǎn)單示意圖。
[0014]圖5是根據(jù)本公開另一范例實(shí)施例所繪示的手勢(shì)辨識(shí)單元獲得手勢(shì)互動(dòng)語意的方法流程圖。
[0015]圖6A繪示為一種分析深度圖像中的凸包處與凹陷處的結(jié)果示意圖。
[0016]圖6B繪示為一種投影單元所投射的互動(dòng)圖案的一實(shí)施范例示意圖。
[0017]圖6C繪示為一種投影單元投射互動(dòng)圖案至使用者的手部的應(yīng)用情境的一實(shí)施范例示意圖。
[0018]圖7是根據(jù)本公開另一范例實(shí)施例所繪示的手勢(shì)互動(dòng)語意數(shù)據(jù)庫的樣本范例。
[0019]【主要元件符號(hào)說明】
[0020]10,200:三維互動(dòng)裝置
[0021]20:手術(shù)燈
[0022]210:投影單元
[0023]220:取像單元
[0024]230:圖像處理單元
[0025]232:手勢(shì)辨識(shí)單元
[0026]240:坐標(biāo)校正單元
[0027]410、420、430:畫面
[0028]710、720、730、740:樣本
[0029]Dl:投影范圍
[0030]E、F、G、H、e、f、g、h:坐標(biāo)
[0031]P1、P2、P3、P4:圓點(diǎn)圖案
[0032]P5:手部形狀圖案
[0033]Rl:取像范圍的區(qū)塊
[0034]R2:投影范圍的區(qū)塊
[0035]U:使用者
[0036]S310~S360:三維互動(dòng)裝置的操控方法的各步驟
[0037]S312、S314、S316:坐標(biāo)校正程序的各步驟
[0038]S501~S521:獲得手勢(shì)互動(dòng)語意的方法的各步驟【具體實(shí)施方式】
[0039]本公開的三維互動(dòng)裝置系結(jié)合取像單元/裝置與投影單元/裝置的設(shè)計(jì)，采用投影坐標(biāo)與取像坐標(biāo)的校正技術(shù)，使本公開的三維互動(dòng)裝置達(dá)到便攜式與非接觸式的互動(dòng)輸入操作。由于利用深度圖像從事目標(biāo)物的辨識(shí)與追蹤，使得三維互動(dòng)裝置在環(huán)境與光線背景變異下，皆較具有抗光強(qiáng)與避免環(huán)境光線干擾的功能。除此之外，使用本公開的三維互動(dòng)裝置的使用者不須通過佩戴標(biāo)記(Marker )，三維互動(dòng)裝置即具有手勢(shì)辨識(shí)功能及三維空間手指定位能力，可建立譬如說類似手部(hand portion)大小等較小的設(shè)定范圍的非接觸式三維空間互動(dòng)。
[0040]為了使本公開的內(nèi)容更易明了，以下列舉若干實(shí)施例作為本公開確實(shí)能夠據(jù)以實(shí)施的范例。所提出的實(shí)施例僅作為解說之用，并非用來限定本公開的權(quán)利范圍。
[0041]本公開的三維互動(dòng)裝置例如可與手術(shù)醫(yī)療裝置相結(jié)合，使得醫(yī)療裝置在一般接觸式的實(shí)體按鍵輸入功能外，還提供三維空間手指定位功能，而能讓醫(yī)護(hù)人員以非接觸形式對(duì)醫(yī)療裝置進(jìn)行操控，降低接觸造成的細(xì)菌感染。圖1繪示為一種三維互動(dòng)裝置的應(yīng)用情境的一實(shí)施范例示意圖。請(qǐng)參照?qǐng)D1實(shí)施例，三維互動(dòng)裝置10例如裝設(shè)固定于手術(shù)燈20的位置A處，三維互動(dòng)裝置10也可裝設(shè)于B處或C處等，但并不限于此，裝設(shè)位置可依實(shí)際應(yīng)用需求來設(shè)定。此外，三維互動(dòng)裝置10也可裝設(shè)于其他醫(yī)療器材，并不以手術(shù)燈為限。
[0042]在此實(shí)施例中，三維互動(dòng)裝置10至少包括投影單元以及取像單元(未繪示于圖1)。投影單元可用以投射互動(dòng)圖案(例如按鍵圖案等任意圖案界面)至使用者U的手部位置，譬如手掌或手臂，取像單元?jiǎng)t用以提取使用者U進(jìn)行互動(dòng)操作的手部深度圖像。隨著手術(shù)燈20的角度變化或位置移動(dòng)，投影單元的投射位置與取像單元所提取的取像位置也會(huì)跟著改變。如圖1所示，點(diǎn)P與點(diǎn)S之間的距離代表取像單元所能提取的最大橫軸取像范圍。點(diǎn)1與點(diǎn)r之間的距離代表投影單元所能投射的最大橫軸投影范圍。
[0043]雖然手術(shù)燈20的角度或位置變化會(huì)影響三維互動(dòng)裝置10的取像或投影的位置。然而，一范例實(shí)施例的三維互動(dòng)裝置10可通過取像單元來持續(xù)提取涵蓋使用者U的手部的深度圖像，進(jìn)而判別手部坐標(biāo)，而可讓投影單元將互動(dòng)圖案投射在使用者U的手部(例如約10X10公分的小面積范圍內(nèi))。除此之外，三維互動(dòng)裝置10還可準(zhǔn)確分析使用者U的手勢(shì)動(dòng)作變化，進(jìn)而解讀手勢(shì)動(dòng)作的手勢(shì)互動(dòng)語意來呈現(xiàn)互動(dòng)結(jié)果。
[0044]以下則舉一范例實(shí)施例來說明圖1的三維互動(dòng)裝置10的詳細(xì)實(shí)施方式。圖2是根據(jù)本公開一范例實(shí)施例所繪示的三維互動(dòng)裝置的方塊圖。
[0045]請(qǐng)參照?qǐng)D2，三維互動(dòng)裝置200至少包括投影單元210、取像單元220、圖像處理單元230、手勢(shì)辨識(shí)單元232以及坐標(biāo)校正單元240。其范例功能分述如下:
[0046]投影單元210用以投射互動(dòng)圖案至一主體的表面。所述主體例如可以是投影屏幕、人體部位、使用者的手部、手術(shù)臺(tái)、病床、工作臺(tái)、桌面、墻壁、筆記本、紙張、木板、等等任意可載圖像的物件(object)，皆可作為主體，但不限于上述。在一范例實(shí)施例中，投影單元210例如可采用一種微型投影機(jī)(pico projector,或稱mini projector)。一般來說,微型投影機(jī)的光源可采用發(fā)光二極管(Light Emitting Diode,LED)或其他固態(tài)光源，以提高微型投影機(jī)所需的流明(Lumen)，進(jìn)而增加微型投影機(jī)投射出來的圖像的亮度。微型投影機(jī)的尺寸大約與一般市面上的移動(dòng)電話相近。因此，微型投影機(jī)具有便攜式且無使用場(chǎng)地的限制，適合用于本公開的三維互動(dòng)裝置200。
[0047]舉例來說，投影單元210可選擇采用下列不同規(guī)格型式的微投影器，以及其他類似規(guī)格:具備44英寸短距投影功能、亮度為200流明的“BENQ Jobee GP2(商品名)”;或40英寸短焦設(shè)計(jì)、亮度為250流明且具LED燈泡的“ViewSonic高畫質(zhì)掌上型投影機(jī)PLED-W200(商品名或激光微型投影的“1-connect ViewX (商品名)”。上述僅為投影單元210可以采用的范例，本公開并不限定使用上述列舉的商品來做為必要的實(shí)施元件。
[0048]在一實(shí)施例中，取像單元220可采用“深度攝影機(jī)”進(jìn)行拍攝，除了二維畫面之夕卜，深度攝影機(jī)會(huì)發(fā)出紅外線光源，通過紅外線光源碰到拍攝物件反射的時(shí)間，判斷物件與攝影機(jī)之間的距離，而得出畫面中物件遠(yuǎn)近的“深度圖像/深度圖”(cbpth image/depthmap)ο在一范例實(shí)施例中，取像單元220可采用非接觸主動(dòng)式掃描規(guī)格的深度攝影機(jī)。
[0049]舉例來說，取像單元220可選擇采用下列深度攝影機(jī)，以及其他類似規(guī)格:飛行時(shí)間(Time-of-flight)攝影機(jī)、立體視覺(Stereo vision)深度攝影機(jī)、激光散斑(Laserspeckle)攝影機(jī)或激光追蹤(Laser tracking)攝影機(jī)等等。
[0050]圖像處理單元230可由軟件、硬件或其組合實(shí)作而得，在此不加以限制。軟件例如是應(yīng)用軟件或驅(qū)動(dòng)程序等。硬件例如是中央處理單元(Central Processing Unit, CPU),或是其他可編程的一般用途或特殊用途的微處理器(MiCToprocessor)、數(shù)字信號(hào)處理器(Digital Signal Processor, DSP)等裝置。
[0051]圖像處理單元還包括手勢(shì)辨識(shí)單元232，手勢(shì)辨識(shí)單元232除了可辨識(shí)取像單元220所提取的深度圖像中的手部圖像之外，更可判斷手部圖像的幾何形狀，通過比對(duì)手勢(shì)互動(dòng)語意數(shù)據(jù)庫(未繪示于圖2)中的樣本來判斷手勢(shì)互動(dòng)語意。其中手勢(shì)互動(dòng)為本發(fā)明的示范實(shí)施例之一，也可利用物件進(jìn)行互動(dòng)，舉凡筆、棒、標(biāo)點(diǎn)等等的物件均可進(jìn)行互動(dòng)。相對(duì)地，可建立物件互動(dòng)數(shù)據(jù)庫提供比對(duì)。
[0052]坐標(biāo)校正單元240耦接投影單元210與取像單元220，用以校正投影單元210的投影坐標(biāo)與取像單元220的取像坐標(biāo)。其校正方法容后詳述。
[0053]圖3A是根據(jù)本公開一范例實(shí)施例所繪示的三維互動(dòng)裝置的操控方法的流程圖。本范例實(shí)施例的方法適用于圖2的三維互動(dòng)裝置200，以下即搭配三維互動(dòng)裝置200中的各構(gòu)件說明本范例實(shí)施例的步驟:
[0054]如步驟S310所述，坐標(biāo)校正單元240對(duì)三維互動(dòng)裝置200的投影單元210的投影坐標(biāo)與取像單元220的取像坐標(biāo)執(zhí)行坐標(biāo)校正程序。取得投影坐標(biāo)與取像坐標(biāo)之間的坐標(biāo)轉(zhuǎn)換關(guān)系之后便可接續(xù)步驟S320，投影單元210投射第一互動(dòng)圖案至一主體的表面，藉以讓使用者對(duì)第一互動(dòng)圖案以手勢(shì)進(jìn)行互動(dòng)觸發(fā)操作，其中第一互動(dòng)圖案被投射在所設(shè)定的一投影范圍內(nèi)。本范例實(shí)施例所述的主體可以是使用者的手、人體部位或其他物件、平臺(tái)的表面、投影屏幕、手術(shù)臺(tái)、病床、工作臺(tái)、桌面、墻壁、筆記本、紙張、木板、等等任意可載圖像的物件(object)等等,在此不限制。
[0055]在步驟S330，取像單元220提取在取像范圍內(nèi)的深度圖像，其中取像范圍涵蓋所設(shè)定的投影范圍。在取得深度圖像之后接續(xù)步驟S340，圖像處理單元230可通過手勢(shì)辨識(shí)單元232判斷深度圖像中是否含有使用者的手部圖像。如果是，進(jìn)一步對(duì)手部圖像進(jìn)行手部幾何辨識(shí)，以獲得手勢(shì)互動(dòng)語意(步驟S350)。在步驟S360，圖像處理單元230可再依據(jù)手勢(shì)互動(dòng)語意控制投影單元210及取像單元220。在一實(shí)施例中，圖像處理單元230可依據(jù)手勢(shì)互動(dòng)語意來控制投影單元210投射第二互動(dòng)圖案(即，互動(dòng)結(jié)果圖案)至所述主體的表面，以進(jìn)行接續(xù)互動(dòng)；并且，圖像處理單元230可控制取像單元220持續(xù)提取含有使用者手勢(shì)的深度圖像。
[0056]以下先詳細(xì)說明在上述步驟S310中的坐標(biāo)校正單元240執(zhí)行坐標(biāo)校正程序的各步驟。請(qǐng)參照?qǐng)D3B，圖3B是根據(jù)本公開一范例實(shí)施例所繪示的坐標(biāo)校正程序的流程圖。圖4是根據(jù)本公開一范例實(shí)施例所繪示的坐標(biāo)校正程序的簡(jiǎn)單示意圖。以下請(qǐng)配合參照?qǐng)D3B與圖4實(shí)施例。
[0057]在一范例實(shí)施例中，坐標(biāo)校正程序的步驟更可分為多個(gè)子步驟S312?S316。先由投影單元210在投影范圍的一或多個(gè)邊界點(diǎn)與中心處分別投射邊界標(biāo)記符號(hào)與中心標(biāo)記符號(hào)，以形成被設(shè)定的一校正圖案(步驟S312)。在本范例實(shí)施例中，邊界標(biāo)記符號(hào)例如為圓點(diǎn)圖案；中心標(biāo)記符號(hào)例如為手部形狀圖案；但并不以此為限，邊界標(biāo)記符號(hào)以及中心標(biāo)記符號(hào)都可為任意圖形。請(qǐng)參照?qǐng)D4實(shí)施例，畫面410顯示投影單元210所投射的校正圖案，其包括4個(gè)圓點(diǎn)圖案P1、P2、P3及P4，以及在中心區(qū)塊處投影了手部形狀圖案P5。其中，圓點(diǎn)圖案P1、P2、P3及P4用以標(biāo)示投影單元210所能投影的最大邊界范圍。手部形狀圖案P5例如是用來提示使用者接下來將以手勢(shì)進(jìn)行互動(dòng)觸發(fā)操作。
[0058]接著，由取像單元220提取涵蓋校正圖案的三原色圖像(步驟S314)。在此說明的是，取像單元220在進(jìn)行坐標(biāo)校正程序時(shí)是用以提取三原色圖像(亦即RGB圖像)，而非深度圖像。因?yàn)樯疃葓D像具有單一深度信息功能，而要進(jìn)一步得到校正圖案的圖形。請(qǐng)參照?qǐng)D4實(shí)施例，畫面420顯示一種取像單元220將所提取的三原色圖像再經(jīng)過二值化(Binary)處理與邊界處理后的結(jié)果。取像單元220除了會(huì)拍攝到校正圖案之外，同時(shí)也將背景例如是工作平臺(tái)等其他背景物件一并拍攝下來。
[0059]坐標(biāo)校正單元240便可利用圖像比對(duì)方法分析三原色圖像中的邊界標(biāo)記符號(hào)與中心標(biāo)記符號(hào)的坐標(biāo)位置，以獲得投影坐標(biāo)與取像坐標(biāo)的坐標(biāo)轉(zhuǎn)換關(guān)系(步驟S316)。其中，圖像比對(duì)例如是采用一種斜面距離(Chamfer distance)的圖像比對(duì)方法,但不限于此。凡是可以分析比對(duì)出邊界標(biāo)記符號(hào)與中心標(biāo)記符號(hào)的圖像比對(duì)方法皆可適用于此步驟。
[0060]請(qǐng)參照?qǐng)D4實(shí)施例，畫面430顯示坐標(biāo)E、F、G及H所形成的區(qū)塊Rl為取像單元220的取像范圍。其中，坐標(biāo)E(0，0)為取像單元220的原點(diǎn)，坐標(biāo)H(640，480)可用以得知取像單元220所提取圖像的尺寸為640X480 (像素)。另外，坐標(biāo)e、f、g及h所形成的區(qū)塊R2則為投影單元210的投影范圍。其中，坐標(biāo)e(230，100)為投影單元210的原點(diǎn)；另外，利用坐標(biāo)h (460，500)與坐標(biāo)e (230，100)相減可得知投影單元210所能投影的最大尺寸為230X400 (像素)。如此一來，坐標(biāo)校正單元240便可得知投影坐標(biāo)與取像坐標(biāo)之間的坐標(biāo)轉(zhuǎn)換關(guān)系。
[0061]為了詳細(xì)說明圖3A的手勢(shì)辨識(shí)單元232執(zhí)行步驟S340、S350的詳細(xì)步驟流程。以下另舉一范例實(shí)施例作為詳細(xì)說明。圖5是根據(jù)本公開另一范例實(shí)施例所繪示的手勢(shì)辨識(shí)單元獲得手勢(shì)互動(dòng)語意的方法流程圖。
[0062]請(qǐng)參照?qǐng)D5實(shí)施例，手勢(shì)辨識(shí)單元232接收深度圖像之后先利用直方圖(histogram)統(tǒng)計(jì)方法分析深度圖像(步驟S501)。在深度圖像中，每一像素或區(qū)塊皆具有相對(duì)應(yīng)的深度值。例如，使用者的手愈靠近取像單元220，深度值愈??；反之，使用者的手愈遠(yuǎn)離取像單元220，深度值愈大。因此，此步驟所產(chǎn)生的深度直方圖的橫軸代表深度值層級(jí)；縱軸代表相應(yīng)的像素?cái)?shù)目。
[0063]判斷深度圖像的深度值是否具有大于深度臨界值的對(duì)應(yīng)圖像區(qū)塊，以判別深度圖像中是否含有使用者的手部圖像(步驟S503)。其中，深度臨界值例如設(shè)定為200。
[0064]如果深度圖像中含有使用者的手部圖像，則依據(jù)手部輪廓(contour)分析深度圖像中的凸包(Convex hull)處與凹陷(Convex deficiency)處(步驟S505)。舉例來說，圖6A繪示為一種分析深度圖像中的凸包處與凹陷處的結(jié)果示意圖。
[0065]得到深度圖像中的凸包處與凹陷處的信息后，便可用來判別手部幾何形狀(步驟S507)。接著判斷此手部圖像為使用者的左手圖像或右手圖像(步驟S509)。如果為左手圖像，則投影單元210可以將互動(dòng)圖案投射至使用者的左手掌上，因此接續(xù)步驟S511，分析與判斷手部圖像(左手)的質(zhì)心點(diǎn)位置。并且在步驟S513，經(jīng)由坐標(biāo)校正單元240將質(zhì)心點(diǎn)位置輸出至投影單元210。如此一來，投影單元210就可以依據(jù)此質(zhì)心點(diǎn)坐標(biāo)對(duì)應(yīng)調(diào)整互動(dòng)圖案的投射位置或調(diào)整互動(dòng)圖案的尺寸。也就是說，在一實(shí)施例中，投影單元210可以準(zhǔn)確地將互動(dòng)圖案投射至使用者的左手部位，而使用者便可利用右手的手勢(shì)變化來對(duì)投射在左手部位上的互動(dòng)圖案進(jìn)行互動(dòng)觸發(fā)操作。
[0066]舉例來說，圖6B繪示為一種投影單元所投射的互動(dòng)圖案的一實(shí)施范例示意圖。其中，虛線Dl代表投影單元所能投射的投影范圍。圖6C繪示為一種投影單元投射互動(dòng)圖案至使用者的左手部位的應(yīng)用情境的一實(shí)施范例示意圖。由于投影單元210取得手部圖像的質(zhì)心點(diǎn)坐標(biāo)，因此將圖6B所示的互動(dòng)圖案投影至使用者的手部區(qū)域。除此之外，當(dāng)使用者的手部移動(dòng)時(shí)，投影單元210的投射位置也可隨之改變。
[0067]回到步驟S509，如果為右手圖像，代表使用者以右手手勢(shì)進(jìn)行互動(dòng)觸發(fā)操作，因此接續(xù)步驟S515，手勢(shì)辨識(shí)單元232分析手部(右手)圖像中的一或多個(gè)指尖的深度位置并追蹤這些指尖的運(yùn)動(dòng)軌跡。
[0068]更進(jìn)一步，手勢(shì)辨識(shí)單元232分析手部(右手)圖像中的食指與拇指的運(yùn)動(dòng)軌跡(步驟S517)。手勢(shì)辨識(shí)單元232通過比對(duì)手勢(shì)互動(dòng)語意數(shù)據(jù)庫中的樣本以及深度位置來判斷運(yùn)動(dòng)軌跡所代表的手勢(shì)互動(dòng)語意(步驟S519)。
[0069]在一實(shí)施范例中，手勢(shì)互動(dòng)語意數(shù)據(jù)庫的建立是以幾組基本手勢(shì)外型當(dāng)作學(xué)習(xí)與比對(duì)的樣本，其中包括手部的手指全開、閉合、拿取、放、點(diǎn)選、推、放大、縮小等等各種基本手勢(shì)外型及其對(duì)應(yīng)的運(yùn)動(dòng)軌跡。圖7是根據(jù)本公開另一范例實(shí)施例所繪示的手勢(shì)互動(dòng)語意數(shù)據(jù)庫的樣本范例。舉例來說，樣本710是以手指按住物件作選擇的操作，其所代表的手勢(shì)互動(dòng)語意為“點(diǎn)選(tap to select)”;樣本720是在手指對(duì)物件點(diǎn)選后，作同一方向的拖曳，其所代表的手勢(shì)互動(dòng)語意為“單向拖曳(slide to scroll)”;樣本730是在手指對(duì)物件點(diǎn)選后，作旋轉(zhuǎn)方向的拖曳，其所代表的手勢(shì)互動(dòng)語意為“旋轉(zhuǎn)拖曳(spin to scroll)”;樣本740是以手指在物件表面點(diǎn)選的同時(shí)，往某一方向輕輕推動(dòng)后，手指隨即離開屏幕，其所代表的手勢(shì)互動(dòng)語意為“輕推(flick to nudge)”。
[0070]另外可選擇，在步驟S521，圖像處理單元230將手勢(shì)辨識(shí)單元232分析所得的手勢(shì)互動(dòng)語意輸出至投影單元210，以使投影單元210對(duì)應(yīng)手勢(shì)互動(dòng)語意投射第二互動(dòng)圖案(譬如互動(dòng)結(jié)果圖案)。舉例來說，如圖6C所示的應(yīng)用情境范例示意圖，如果手勢(shì)互動(dòng)語意為“點(diǎn)選”，則使用者點(diǎn)選或“3”分別可以產(chǎn)生不同的互動(dòng)結(jié)果圖案，其可由使用者依據(jù)實(shí)際應(yīng)用的需求來做設(shè)定。舉例來說，三維互動(dòng)裝置200若裝設(shè)應(yīng)用于手術(shù)燈的醫(yī)療環(huán)境，醫(yī)護(hù)人員以手勢(shì)點(diǎn)選“ I ”例如可使投影單元投射標(biāo)示圖案(譬如箭頭圖案)至患者欲進(jìn)行手術(shù)的部位，更進(jìn)一步，醫(yī)護(hù)人員還可以用手勢(shì)與標(biāo)示圖案進(jìn)行持續(xù)互動(dòng)，譬如拖曳標(biāo)示圖案至其他位置、放大或縮小標(biāo)示圖案等等；以手勢(shì)點(diǎn)選“2”例如可使投影單元投射一患者數(shù)據(jù)；以手勢(shì)點(diǎn)選“3”例如可使投影單元投射一手術(shù)流程圖。
[0071]除此之外，對(duì)應(yīng)不同的手勢(shì)互動(dòng)語意還可以有一或多個(gè)三維互動(dòng)參數(shù)。舉例來說，如果手勢(shì)互動(dòng)語意為“單向拖曳”，代表投影單元所投射的互動(dòng)圖案或物件會(huì)隨手勢(shì)移動(dòng)到手勢(shì)停止。然而，其移動(dòng)的速度與方向則必須通過三維互動(dòng)參數(shù)來決定。手勢(shì)辨識(shí)單元232在分析與追蹤深度圖像中的手部運(yùn)動(dòng)軌跡時(shí)，可一并將手部圖像的深度坐標(biāo)、深度值變化、加速度、力量等等作為三維互動(dòng)參數(shù)，圖像處理單元230更可將三維互動(dòng)參數(shù)傳送至投影單元210。如此一來，投影單元210就可依據(jù)三維互動(dòng)參數(shù)來得知所投射的互動(dòng)圖案或物件要往哪一方向移動(dòng)，移動(dòng)的速度快慢等等，藉此提升本公開的三維互動(dòng)效果。
[0072]綜上所述，本公開系結(jié)合取像單元/裝置與投影單元/裝置，利用投影坐標(biāo)與取像坐標(biāo)的校正技術(shù)，也可使得本公開的三維互動(dòng)裝置具有三維空間手部定位能力，并且能讓使用者以非接觸方式與投影內(nèi)容進(jìn)行三維空間互動(dòng)。此外，由于利用深度圖像進(jìn)行手部辨識(shí)與追蹤，使得本公開的三維互動(dòng)裝置在環(huán)境與光線背景變異下，皆較具有抗光強(qiáng)與避免環(huán)境光線干擾的功效。再者，本公開的三維互動(dòng)裝置與醫(yī)療器材的結(jié)合，提供醫(yī)療人員能在譬如類似手部大小等的較小設(shè)定范圍的三維空間內(nèi)以非接觸形式準(zhǔn)確地進(jìn)行輸入操作，降低因接觸造成的細(xì)菌感染。
[0073]雖然本公開已以實(shí)施范例公開如上，然其并非用以限定本公開，本領(lǐng)域技術(shù)人員，在不脫離本公開的精神和范圍內(nèi)，當(dāng)可作些許的更動(dòng)與潤(rùn)飾，故本公開的保護(hù)范圍當(dāng)視所附權(quán)利要求書界定范圍為準(zhǔn)。
【權(quán)利要求】
1.一種三維互動(dòng)裝置，包括: 投影單元，投射第一互動(dòng)圖案至主體的表面，藉以讓使用者對(duì)該第一互動(dòng)圖案以手勢(shì)進(jìn)行互動(dòng)觸發(fā)操作，其中該第一互動(dòng)圖案被投射在投影范圍內(nèi)； 取像單元，提取在取像范圍內(nèi)的深度圖像，其中該取像范圍涵蓋該投影范圍；以及 圖像處理單元，該圖像處理單元連接該投影單元與該取像單元，接收該深度圖像并判斷該深度圖像中是否含有該使用者的手部圖像，如果是，該圖像處理單元對(duì)該手部圖像進(jìn)行手部幾何辨識(shí)，以獲得手勢(shì)互動(dòng)語意，該圖像處理單元依據(jù)該手勢(shì)互動(dòng)語意控制該投影單元及該取像單元。
2.如權(quán)利要求1所述的三維互動(dòng)裝置，其中: 該投影單元在該投影范圍的至少一邊界點(diǎn)與中心處分別投射邊界標(biāo)記符號(hào)與中心標(biāo)記符號(hào)，以形成用以校正的校正圖案。
3.如權(quán)利要求2所述的三維互動(dòng)裝置，還包括: 坐標(biāo)校正單元，耦接該投影單元與該取像單元，接收該取像單元所提取的三原色圖像，其中該三原色圖像涵蓋該校正圖案，該坐標(biāo)校正單元采用圖像比對(duì)方法分析該三原色圖像中的該邊界標(biāo)記符號(hào)與該中心標(biāo)記符號(hào)的坐標(biāo)位置，以獲得該投影單元的投影坐標(biāo)與該取像單元的取像坐標(biāo)的坐標(biāo)轉(zhuǎn)換關(guān)系。
4.如權(quán)利要求2所述的三維互動(dòng)裝置，其中: 該投影單元所投射的該邊界標(biāo)記符號(hào)為圓點(diǎn)圖案。
5.如權(quán)利要求2所述的三維互動(dòng)裝置，其中: 該投影單元所投射的該中心標(biāo)記符號(hào)為手部形狀圖案。
6.如權(quán)利要求1所述的三維互動(dòng)裝置，其中該圖像處理單元還包括: 手勢(shì)辨識(shí)單元，利用直方圖統(tǒng)計(jì)方法對(duì)該深度圖像進(jìn)行分析，并通過該深度圖像的凸包處與凹陷處來判斷該手部圖像。
7.如權(quán)利要求6所述的三維互動(dòng)裝置，其中: 該手勢(shì)辨識(shí)單元更判斷該手部圖像的質(zhì)心點(diǎn)位置，并且將對(duì)應(yīng)該質(zhì)心點(diǎn)位置的質(zhì)心點(diǎn)坐標(biāo)輸出至該投影單元。
8.如權(quán)利要求7所述的三維互動(dòng)裝置，其中: 該投影單元依據(jù)該質(zhì)心點(diǎn)坐標(biāo)對(duì)應(yīng)調(diào)整第二互動(dòng)圖案的投射位置及該第二互動(dòng)圖案的尺寸。
9.如權(quán)利要求6所述的三維互動(dòng)裝置，其中: 該手勢(shì)辨識(shí)單元更判斷該手部圖像中的至少一指尖的深度位置并追蹤該至少一指尖的運(yùn)動(dòng)軌跡，該手勢(shì)辨識(shí)單元通過比對(duì)手勢(shì)互動(dòng)語意數(shù)據(jù)庫中的樣本及該手部圖像的該深度位置來判斷該運(yùn)動(dòng)軌跡所代表的該手勢(shì)互動(dòng)語意。
10.如權(quán)利要求9所述的三維互動(dòng)裝置，其中: 該手勢(shì)辨識(shí)單元將該手勢(shì)互動(dòng)語意及分析該深度位置及該運(yùn)動(dòng)軌跡所得的至少一三維互動(dòng)參數(shù)傳送至該投影單元與該取像單元，用以控制該投影單元投射對(duì)應(yīng)該手勢(shì)互動(dòng)語意的第二互動(dòng)圖案，并控制該取像 單元持續(xù)提取含有該手勢(shì)的該深度圖像。
11.如權(quán)利要求1所述的三維互動(dòng)裝置，其中該手勢(shì)互動(dòng)語意至少包括點(diǎn)選操作、單向拖曳操作、旋轉(zhuǎn)拖曳操作、輕推操作、放大操作以及縮小操作。
12.如權(quán)利要求1所述的三維互動(dòng)裝置，其中該投影單元采用微型投影機(jī)。
13.如權(quán)利要求1所述的三維互動(dòng)裝置，其中該取像單元為飛行時(shí)間攝影機(jī)、立體視覺深度攝影機(jī)、激光散斑攝影機(jī)或激光追跡攝影機(jī)的其中之一。
14.一種三維互動(dòng)裝置 的操控方法，其中該三維互動(dòng)裝置包括投影單元以及取像單元，該操控方法包括: 對(duì)該投影單元的投影坐標(biāo)與該取像單元的取像坐標(biāo)執(zhí)行坐標(biāo)校正程序； 通過該投影單元投射第一互動(dòng)圖案至主體的表面，藉以讓使用者對(duì)該第一互動(dòng)圖案以手勢(shì)進(jìn)行互動(dòng)觸發(fā)操作，其中該第一互動(dòng)圖案被投射在投影范圍內(nèi)； 通過該取像單元提取在取像范圍內(nèi)的深度圖像，其中該取像范圍涵蓋該投影范圍；判斷該深度圖像中是否含有該使用者的手部圖像，如果是，對(duì)該手部圖像進(jìn)行手部幾何辨識(shí)，以獲得手勢(shì)互動(dòng)語意；以及 依據(jù)該手勢(shì)互動(dòng)語意控制該投影單元及該取像單元。
15.如權(quán)利要求14所述的三維互動(dòng)裝置的操控方法，其中該坐標(biāo)校正程序包括: 由該投影單元在該投影范圍的至少一邊界點(diǎn)與中心處分別投射邊界標(biāo)記符號(hào)與中心標(biāo)記符號(hào)，以形成校正圖案； 由該取像單元提取涵蓋該校正圖案的三原色圖像；以及 以圖像比對(duì)方法分析該三原色圖像中的該邊界標(biāo)記符號(hào)與該中心標(biāo)記符號(hào)的坐標(biāo)位置，以獲得該投影坐標(biāo)與該取像坐標(biāo)的坐標(biāo)轉(zhuǎn)換關(guān)系。
16.如權(quán)利要求14所述的三維互動(dòng)裝置的操控方法，其中該邊界標(biāo)記符號(hào)為圓點(diǎn)圖案。
17.如權(quán)利要求14所述的三維互動(dòng)裝置的操控方法，其中該中心標(biāo)記符號(hào)為手部形狀圖案。
18.如權(quán)利要求14所述的三維互動(dòng)裝置的操控方法，其中判斷該深度圖像以獲得該手勢(shì)互動(dòng)語意的步驟包括: 利用直方圖統(tǒng)計(jì)方法分析該深度圖像； 通過該深度圖像的深度值以及該深度圖像的凸包處與凹陷處來判斷該手部圖像；以及判斷該手部圖像中的至少一指尖的深度位置并追蹤該至少一指尖的運(yùn)動(dòng)軌跡，通過比對(duì)手勢(shì)互動(dòng)語意數(shù)據(jù)庫中的樣本以及該手部圖像的該深度位置來判斷該運(yùn)動(dòng)軌跡所代表的該手勢(shì)互動(dòng)語意。
19.如權(quán)利要求18所述的三維互動(dòng)裝置的操控方法，其中在獲得該手勢(shì)互動(dòng)語意之后,還包括: 將分析該深度位置及該運(yùn)動(dòng)軌跡所得的至少一三維互動(dòng)參數(shù)傳送至該投影單元與該取像單元，用以控制該投影單元投射對(duì)應(yīng)該手勢(shì)互動(dòng)語意的第二互動(dòng)圖案，并控制該取像單元持續(xù)提取含有該手勢(shì)的該深度圖像。
20.如權(quán)利要求19所述的三維互動(dòng)裝置的操控方法，還包括: 判斷該手部圖像的質(zhì)心點(diǎn)位置，將對(duì)應(yīng)該質(zhì)心點(diǎn)位置的質(zhì)心點(diǎn)坐標(biāo)輸出至該投影單元；以及 由該投影單元依據(jù)該質(zhì)心點(diǎn)坐標(biāo)對(duì)應(yīng)調(diào)整該第二互動(dòng)圖案的投射位置與該第二互動(dòng)圖案的尺寸。
21.如權(quán)利要求14所述的三維互動(dòng)裝置的操控方法，其中該手勢(shì)互動(dòng)語意至少包括點(diǎn)選操作、單向拖曳操作、旋轉(zhuǎn)拖曳操 作、輕推操作、放大操作以及縮小操作。
【文檔編號(hào)】G06F3/01GK103902035SQ201210586668
【公開日】2014年7月2日 申請(qǐng)日期:2012年12月28日 優(yōu)先權(quán)日:2012年12月24日
【發(fā)明者】林宏偉, 王浩偉, 董書屏 申請(qǐng)人:財(cái)團(tuán)法人工業(yè)技術(shù)研究院