專利名稱：實現(xiàn)虛擬屏的系統(tǒng)和方法
實現(xiàn)虛擬屏的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機交互領(lǐng)域，尤其涉及一種實現(xiàn)虛擬屏的系統(tǒng)和方法。
背景技術(shù)：
傳統(tǒng)的人機交互方法通常是通過交互設(shè)備與被控裝置進行人機交互，例如，通過鍵盤或鼠標輸入操作指令，被控裝置響應(yīng)輸入的操作指令。也有在被控裝置上設(shè)置觸摸屏，通過觸摸屏與被控裝置進行人機交互。然而，傳統(tǒng)的觸摸屏必須具有一層特定的觸摸膜，且用戶必須接觸到觸摸屏才能輸入相應(yīng)的操作指令。例如，電阻觸摸屏的主要部分是一塊與顯示器表面非常配合的電阻薄膜屏，當手指觸摸屏幕時，電阻薄膜屏的兩層導電層在觸摸點位置就有了接觸，電阻發(fā)生變化，產(chǎn)生信號送到觸摸屏控制器。也就是說，傳統(tǒng)的人機交互方法，要么需借助于有源(電源)的交互設(shè)備，要么需用戶接觸被控裝置，控制方式復雜，不夠靈活，給用戶的使用帶來不便。

發(fā)明內(nèi)容基于此，有必要提供一種實現(xiàn)虛擬屏的系統(tǒng)，能夠在用戶面前虛擬出一塊觸摸屏，使得用戶無需借助有源的交互設(shè)備，也無需接觸被控裝置，就能實現(xiàn)與被控裝置之間的人機交互。一種實現(xiàn)虛擬屏的系統(tǒng)，包括:處理模塊，用于初始化三維立體屏幕；圖像采集模塊，用于采集標記的圖像；識別?！K，用于識別出所述標記的位置；所述處理模塊還用于檢測所述標記的位置是否位于所述三維立體屏幕內(nèi)，當所述標記的位置位于所述三維立體屏幕內(nèi)時，產(chǎn)生觸摸事件。進一步的，所述系統(tǒng)還包括:顯示模塊，用于在顯示屏幕內(nèi)顯示產(chǎn)生所述觸摸事件的觸點。進一步的，所述三維立體屏幕是立方體屏幕，所述立方體屏幕位于以所述顯示屏幕所在平面為XY平面的三維坐標系中。進一步的，所述識別模塊還用于對所述標記的圖像進行處理，識別出所述標記的位置，所述標記的位置是標記在所述三維坐標系中的坐標。進一步的，所述顯示模塊還用于獲取所述標記的位置，按照預設(shè)比例將所述標記的位置轉(zhuǎn)換為屏幕坐標，在顯示屏幕內(nèi)的屏幕坐標位置處顯示所述觸點。進一步的，所述顯示模塊還用于在顯示屏幕內(nèi)將所述觸點顯示為預設(shè)的圖標，獲取標記與顯示屏幕之間的距離，當所述距離變化時更改所述預設(shè)的圖標的顯示。進一步的，所述處理模塊還用于當所述標記的位置不在所述三維立體屏幕內(nèi)時，則產(chǎn)生抬起事件；以及還用于根據(jù)所述觸摸事件和/或抬起事件生成控制指令。此外，還有必要提供一種實現(xiàn)虛擬屏的方法，能夠在用戶面前虛擬出一塊觸摸屏，使得用戶無需借助有源的交互設(shè)備，也無需接觸被控裝置，就能實現(xiàn)與被控裝置之間的人機交互。
一種實現(xiàn)虛擬屏的方法，包括以下步驟:初始化三維立體屏幕；采集標記的圖像；識別出標記的位置；檢測所述標記的位置是否位于所述三維立體屏幕內(nèi)，當所述標記的位置位于所述三維立體屏幕內(nèi)時，產(chǎn)生觸摸事件。進一步的，在顯示屏幕內(nèi)顯示產(chǎn)生觸摸事件的觸點。進一步的，所述三維立體屏幕是立方體屏幕，所述立方體屏幕位于以所述顯示屏幕所在平面為XY平面的三維坐標系中。進一步的，所述識別出標記的位置的步驟包括:對標記的圖像進行處理，識別出標記的位置，所述標記的位置是標記在三維坐標系中的坐標。進一步的，所述在顯示屏幕內(nèi)顯示所述觸點的步驟包括:獲取標記的位置，按照預設(shè)比例將標記的位置轉(zhuǎn)換為屏幕坐標，在顯示屏幕內(nèi)的屏幕坐標位置處顯示所述觸點。進一步的，所述方法還包括:在顯示屏幕內(nèi)將所述觸點顯示為預設(shè)的圖標；獲取標記與顯示屏幕之間的距離，當所述距離變化時更改所述預設(shè)的圖標的顯示。進一步的，所述方法還包括:當所述標記的位置不在所述三維立體屏幕內(nèi)時，則產(chǎn)生抬起事件；以及根據(jù)所述觸摸事件和/或抬起事件生成控制指令。上述實現(xiàn)虛擬屏的系統(tǒng)和方法提出了一種新型的控制方式，用戶可使用標記在顯示屏幕前方進行操控，當標記的位置在預設(shè)的三維立體屏幕內(nèi)，則產(chǎn)生觸摸事件，即在用戶面前能夠虛擬出一塊觸摸屏，使得用戶無需借助有源的交互設(shè)備，也無需接觸被控裝置，就能實現(xiàn)與被控裝置之間的人機交互。

圖1為一 個實施例中實現(xiàn)虛擬屏的系統(tǒng)的結(jié)構(gòu)示意圖；圖2為另一個實施例中實現(xiàn)虛擬屏的系統(tǒng)的結(jié)構(gòu)示意圖；圖3為一個實施例中實現(xiàn)虛擬屏的原理圖；圖4為一個實施例中實現(xiàn)虛擬屏的方法的流程示意圖。
具體實施方式在一個實施例中，如圖1所示，實現(xiàn)虛擬屏的系統(tǒng)包括圖像采集模塊110、識別模塊120和處理模塊130。其中:處理模塊130用于初始化三維立體屏幕；圖像采集模塊110用于采集標記的圖像；識別模塊120用于識別出標記的位置。本實施例中，處理模塊130還用于檢測標記的位置是否位于三維立體屏幕內(nèi)，當所述標記的位置位于三維立體屏幕內(nèi)時，產(chǎn)生觸摸事件。優(yōu)選的，圖像采集模塊110可以是三維圖像采集裝置，例如立體視覺系統(tǒng)(由兩臺空間位置已知的攝像機及相關(guān)數(shù)據(jù)處理設(shè)備組成)、結(jié)構(gòu)光系統(tǒng)(右一臺攝像機、一臺光源以及相關(guān)數(shù)據(jù)處理設(shè)備組成)或TOF (time of flight,飛行時間)深度相機等。進一步的，圖像采集模塊110采集到的圖像為三維深度圖像(即三維圖像)。具體的，標記可以為指定顏色和/或形狀的物體。進一步的，在一個實施例中，標記可以為指定顏色和/或形狀的反光材料。優(yōu)選的，標記為圓形的反光源。在其他實施例中，標記還可以是人體的某個部位，例如可以是人的手指等。進一步的，如圖2所示，在一個實施例中，實現(xiàn)虛擬屏的系統(tǒng)還包括顯示模塊140，顯示模塊140與處理模塊130連接，用于在顯示屏幕內(nèi)顯示產(chǎn)生觸摸事件的觸點。優(yōu)選的，顯示模塊140用于在顯示屏幕內(nèi)將觸點顯示為預設(shè)的圖標，例如顯示為光標、手形圖案等。如圖3所示，在一個實施例中，三維立體屏幕為虛擬的立方體屏幕，其位于以顯示屏幕所在平面為XY平面的三維坐標系中。即處理模塊130以自己為坐標原點，構(gòu)建三維坐標系,而處理模塊130初始化的三維立體屏幕位于該三維坐標系中。例如,三維立體屏幕為長方體屏幕，其在X軸上的范圍為-40cm +40cm，在Y軸上的范圍為_30cm +30cm，在Z軸上的范圍為-1400cm Ocm,表示標記需在該范圍內(nèi)才能產(chǎn)生觸摸事件。在一個實施例中，識別模塊120還用于對標記的圖像進行處理，識別出標記的位置，標記的位置是標記在三維坐標系中的坐標。具體的，識別模塊120可采用傳統(tǒng)的圖像處理方法提取圖像中的標記的區(qū)域，再獲取標記的重心的像素坐標，從而得到標記的位置。進一步的，在一個實施例中，顯示模塊140還用于獲取標記的位置，按照預設(shè)比例將標記的位置轉(zhuǎn)換為屏幕坐標，在顯示屏幕的屏幕坐標位置處顯示發(fā)生觸摸事件的觸點。由于三維立體屏幕在XY平面上的大小可能與顯示屏幕大小并不一致，因此在將觸點顯示在顯示屏幕上前，需將標記的坐標折算為顯示屏幕上的屏幕坐標。例如，三維立體屏幕在XY軸上的大小為400mmX300mm，而顯示屏幕的大小為800mmX600mm，顯示模塊140獲取的標記的坐標為(x0, y0, z0),則觸點的屏幕坐標為(2*x0,2*y0)。進一步的，顯示模塊140還可用于在顯示屏幕內(nèi)將觸點顯示為預設(shè)的圖標，例如光標、手形圖案等。另外，可以在預設(shè)的圖標周圍顯示一些特效，例如，當產(chǎn)生觸摸事件，則手形圖案周圍出現(xiàn)波紋。優(yōu)選的，顯示模塊140還可用于獲取標記與顯示屏幕之間的距離，當該距離變化時更改預設(shè)的圖標的顯示。具體的，標記與顯示屏幕之間的距離為標記的z坐標的絕對值。在一個實施例中，處理模塊130還用于當標記的位置不在三維立體屏幕內(nèi)時，則產(chǎn)生抬起事件。本實施例中，當用戶操控標記移出三維立體屏幕時，處理模塊130會檢測到標記的位置不在三維立體屏幕內(nèi)，則產(chǎn)生抬起事件，即使觸點處于松開狀態(tài)。進一步的，當觸點處于松開狀態(tài)時，在預設(shè)的圖標周圍也可顯示一些特效，例如，在手形圖案下方出現(xiàn)手形影子圖案。當標記距離顯示屏幕越遠，則手形圖案與手形影子圖案的距離顯示越遠。進一步的，處理模塊130還用于根據(jù)觸摸事件和/或抬起事件生成控制指令。本實施例中，當標記的位置位于三維立體屏幕內(nèi)時，產(chǎn)生觸摸事件，具體的，觸摸事件是指處理模塊130產(chǎn)生的觸摸指令，而觸點對應(yīng)了顯示屏幕的屏幕坐標位置在顯示屏幕上的位置點?？梢岳斫獾?，可以采用圖標或特定的標志來顯示觸點。當產(chǎn)生觸摸指令時，使得觸點處于按住顯示屏幕的狀態(tài)(觸摸到觸摸屏)；當標記的位置不在三維立體屏幕內(nèi)時，產(chǎn)生抬起事件，即產(chǎn)生抬起指令，使得觸點處于松開狀態(tài)(離開觸摸屏)。根據(jù)按住顯示屏幕的狀態(tài)和松開狀態(tài)即可生成相應(yīng)的控制指令。例如，按住后立即松開則生成鼠標的單擊指令，按住后松開且在預設(shè)的時間內(nèi)再按住后松開，則生成鼠標的雙擊指令。在一個實施例中，如圖4所示，一種實現(xiàn)虛擬屏的方法，包括以下步驟:步驟S102，初始化三維立體屏幕。步驟S104，采集標記的圖像。步驟S106，識別標記的位置。步驟S108，檢測標記的位置是否位于三維立體屏幕內(nèi)，當標記的位置位于三維立體屏幕內(nèi)時，產(chǎn)生觸摸事件。優(yōu)選的，可采用三維圖像采集裝置采集標記的圖像，例如采用立體視覺系統(tǒng)(由兩臺空間位置已知的攝像機及相關(guān)數(shù)據(jù)處理設(shè)備組成)、結(jié)構(gòu)光系統(tǒng)(右一臺攝像機、一臺光源以及相關(guān)數(shù)據(jù)處理設(shè)備組成)或T0F(time of flight，飛行時間)深度相機等。進一步的，所采集到的圖像為三維深度圖像(即三維圖像)。具體的，標記可以為指定顏色和/或形狀的物體。進一步的，在一個實施例中，標記可以為指定顏色和/或形狀的反光材料。優(yōu)選的，標記為圓形的反光源。在其他實施例中，標記還可以是人體的某個部位，例如可以是人的手指等。進一步的，在一個實施例中，上述方法還包括:在顯示屏幕內(nèi)顯示產(chǎn)生觸摸事件的觸點。優(yōu)選的，還可在顯示屏幕內(nèi)將觸點顯示為預設(shè)的圖標。具體的，在一個實施例中，三維立體屏幕為虛擬的立方體屏幕，其位于以顯示屏幕所在平面為XY平面的三維坐標系中。例如，如圖3所示，以顯示屏幕的中心為坐標原點，構(gòu)建三維坐標系，三維立體屏幕位于該三維坐標系中。在一個實施例中，步驟S106包括:對標記的圖像進行處理，識別出標記的位置，標記的位置是標記在三維坐標系中的坐標。具體的，可可采用傳統(tǒng)的圖像處理方法提取圖像中的標記的區(qū)域，再獲取標記的重心的像素坐標，從而得到標記的位置。在一個實施例中，在顯示屏幕內(nèi)顯示觸點的步驟包括:獲取標記的位置，按照預設(shè)比例將標記的位置轉(zhuǎn)換為屏幕坐標，在顯示屏幕內(nèi)的屏幕坐標位置處顯示所述觸點。由于三維立體屏幕在XY平面的大小可能與顯示屏幕大小并不一致，因此在將觸點顯示在顯示屏幕上前，需將標記的坐標折算為顯示屏幕上的屏幕坐標。在一個實施例中，上述方法還包括:在顯示屏幕內(nèi)將觸點顯示為預設(shè)的圖標。例如顯示為光標、手形圖案等。另外，可以在預設(shè)的圖標周圍顯示一些特效，例如，當產(chǎn)生觸摸事件，則手形圖案周圍出現(xiàn)波紋。進一步的，上述方法還可包括:獲取標記與顯示屏幕之間的距離，當所述距離變化時更改所述預設(shè)的圖標的顯示。具體的，標記與顯示屏幕之間的距離為標記的z坐標的絕對值。在一個實施例中，上述方法還包括:當所述標記的位置不在所述三維立體屏幕內(nèi)時，則產(chǎn)生抬起事件。本實施例中，當用戶操控標記移出三維立體屏幕時，則檢測到標記的位置不在三維立體屏幕內(nèi)，產(chǎn)生抬起事件，即使觸點處于松開狀態(tài)。進一步的，上述方法還可包括:根據(jù)所述觸摸事件和/或抬起事件生成控制指令。本實施例中，當標記的位置位于三維立體屏幕內(nèi)時，產(chǎn)生觸摸事件，即觸點處于按住顯示屏幕的狀態(tài)(觸摸到觸摸屏)；當標記的位置不在三維立體屏幕內(nèi)時，產(chǎn)生抬起事件，即觸點處于松開狀態(tài)(離開觸摸屏)。根據(jù)按住顯示屏幕的狀態(tài)和松開狀態(tài)即可生成相應(yīng)的控制指令。例如，按住后立即松開則生成鼠標的單擊指令，按住后松開且在預設(shè)的時間內(nèi)再按住后松開，則生成鼠標的雙擊指令。上述實現(xiàn)虛擬屏的系統(tǒng)和方法，用戶可使用標記在顯示屏幕前方進行操控，當標記的位置在預設(shè)的三維立體屏幕內(nèi)，則產(chǎn)生觸摸事件，即在用戶面前能夠虛擬出一塊觸摸屏，使得用戶無需借助有源的交互設(shè)備，也無需接觸被控裝置，就能實現(xiàn)與被控裝置之間的人機交互。其中，標記可附帶在交互設(shè)備(如手柄)上，也可由用戶直接手持標記進行操控(例如將標記制成手指套，套在手指上)。標記可以是一個，也可以有多個。采用將標記制成的手指套套在用戶的手指上的方式，當用戶手指進入到三維立體屏幕內(nèi)時，則觸點進入按住顯示屏幕的狀態(tài)，可使得用戶感受到傳統(tǒng)觸摸屏的使用效果，操作簡單。此外，本發(fā)明中的顯示模塊可以是被控裝置的顯示模塊，使得傳統(tǒng)的沒有觸摸屏的被控裝置也能實現(xiàn)觸摸屏的功能，且用戶無需接觸被控裝置的顯示屏幕就能進行觸控，對于用戶來說，虛擬屏就好像在自己的面前(如圖3所示)，極大的提高了用戶的體驗效果。本發(fā)明中的標記將傳統(tǒng)的交互設(shè)備進行了簡單化，降低了成本。由于本發(fā)明可以是無源的交互設(shè)備，因此能夠減少電池的重量，易于使用。本發(fā)明通過標記的位置變化，就能在顯示屏幕上產(chǎn)生觸摸事件和/或抬起事件，從而生成相應(yīng)的控制指令，可以應(yīng)用在各種人機交互應(yīng)用中。本發(fā)明提出了一種新型的控制方式，可取代傳統(tǒng)的使用現(xiàn)有的如鼠標、觸摸屏等輸入設(shè)備進行交互的方式，具有廣泛的應(yīng)用前景。本發(fā)明除了可通過標記進行傳統(tǒng)的鼠標點擊操作外，還可應(yīng)用在一些特定的應(yīng)用場景，例如，用戶可操控兩個標記，在被控裝置的顯示屏幕上顯示兩個觸點，對顯示屏幕進行放大或縮小等操作。此外，被控裝置可以是計算機、移動通信終端、電視或其它用于人機交互的帶顯示屏幕的裝置。以上所述實施例僅表達了本發(fā)明的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對本發(fā)明專利范圍的限制。應(yīng)當指出的是，對于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進，這些都屬于本發(fā)明的保護范圍。因此，本發(fā)明專利的保護范圍應(yīng)以所附權(quán)利要求為準。
權(quán)利要求
1.一種實現(xiàn)虛擬屏的系統(tǒng)，其特征在于，包括: 處理模塊，用于初始化三維立體屏幕； 圖像采集模塊，用于采集標記的圖像； 識別模塊，用于識別出所述標記的位置； 所述處理模塊還用于檢測所述標記的位置是否位于所述三維立體屏幕內(nèi)，當所述標記的位置位于所述三維立體屏幕內(nèi)時，產(chǎn)生觸摸事件。
2.根據(jù)權(quán)利要求1所述的實現(xiàn)虛擬屏的系統(tǒng)，其特征在于，所述系統(tǒng)還包括:顯示模塊，用于在顯示屏幕內(nèi)顯示產(chǎn)生所述觸摸事件的觸點。
3.根據(jù)權(quán)利要求2所述的實現(xiàn)虛擬屏的系統(tǒng)，其特征在于，所述三維立體屏幕是立方體屏幕，所述立方體屏幕位于以所述顯示屏幕所在平面為XY平面的三維坐標系中。
4.根據(jù)權(quán)利要求3所述的實現(xiàn)虛擬屏的系統(tǒng)，其特征在于，所述識別模塊還用于對所述標記的圖像進行處理，識別出所述標記的位置，所述標記的位置是標記在所述三維坐標系中的坐標。
5.根據(jù)權(quán)利要求4所述的實現(xiàn)虛擬屏的系統(tǒng)，其特征在于，所述顯示模塊還用于獲取所述標記的位置，按照預設(shè)比例將所述標記的位置轉(zhuǎn)換為屏幕坐標，在顯示屏幕內(nèi)的屏幕坐標位置處顯示所述觸點。
6.根據(jù)權(quán)利要求5所述的實現(xiàn)虛擬屏的系統(tǒng)，其特征在于，所述顯示模塊還用于在顯示屏幕內(nèi)將所述觸點顯示為預 設(shè)的圖標，獲取標記與顯示屏幕之間的距離，當所述距離變化時更改所述預設(shè)的圖標的顯示。
7.根據(jù)權(quán)利要求1至6任一項所述的實現(xiàn)虛擬屏的系統(tǒng)，其特征在于，所述處理模塊還用于當所述標記的位置不在所述三維立體屏幕內(nèi)時，則產(chǎn)生抬起事件；以及還用于根據(jù)所述觸摸事件和/或抬起事件生成控制指令。
8.一種實現(xiàn)虛擬屏的方法，包括以下步驟: 初始化三維立體屏幕； 采集標記的圖像； 識別出標記的位置； 檢測所述標記的位置是否位于所述三維立體屏幕內(nèi)，當所述標記的位置位于所述三維立體屏幕內(nèi)時，產(chǎn)生觸摸事件。
9.根據(jù)權(quán)利要求8所述的實現(xiàn)虛擬屏的方法，其特征在于，在顯示屏幕內(nèi)顯示產(chǎn)生觸摸事件的觸點。
10.根據(jù)權(quán)利要求9所述的實現(xiàn)虛擬屏的方法，其特征在于，所述三維立體屏幕是立方體屏幕，所述立方體屏幕位于以所述顯示屏幕所在平面為XY平面的三維坐標系中。
11.根據(jù)權(quán)利要求10所述的實現(xiàn)虛擬屏的方法，其特征在于，所述識別出標記的位置的步驟包括:對標記的圖像進行處理，識別出標記的位置，所述標記的位置是標記在三維坐標系中的坐標。
12.根據(jù)權(quán)利要求11所述的實現(xiàn)虛擬屏的方法，其特征在于，所述在顯示屏幕內(nèi)顯示所述觸點的步驟包括:獲取標記的位置，按照預設(shè)比例將標記的位置轉(zhuǎn)換為屏幕坐標，在顯示屏幕內(nèi)的屏幕坐標位置處顯示所述觸點。
13.根據(jù)權(quán)利要求12所述的實現(xiàn)虛擬屏的方法，其特征在于，所述方法還包括:在顯示屏幕內(nèi)將所述觸點顯示為預設(shè)的圖標；獲取標記與顯示屏幕之間的距離，當所述距離變化時更改所述預設(shè)的圖標的顯示。
14.根據(jù)權(quán)利要求8至13任一項所述的實現(xiàn)虛擬屏的方法，其特征在于，所述方法還包括: 當所述標記的位置不在所述三維立體屏幕內(nèi)時，則產(chǎn)生抬起事件；以及 根據(jù)所述觸摸事件和/或抬起 事件生成控制指令。
全文摘要
本發(fā)明提供了一種實現(xiàn)虛擬屏的系統(tǒng)和方法，所述系統(tǒng)包括處理模塊，用于初始化三維立體屏幕；圖像采集模塊，用于采集標記的圖像；識別模塊，用于識別出所述標記的位置；所述處理模塊還用于檢測所述標記的位置是否位于所述三維立體屏幕內(nèi)，當所述標記的位置位于三維立體屏幕內(nèi)時，產(chǎn)生觸摸事件。采用本發(fā)明，能夠在用戶面前虛擬出一塊觸摸屏，使得用戶無需借助有源的交互設(shè)備，也無需接觸被控裝置，就能實現(xiàn)與被控裝置之間的人機交互。
文檔編號G06F3/042GK103197805SQ201210005948
公開日2013年7月10日 申請日期2012年1月10日 優(yōu)先權(quán)日2012年1月10日
發(fā)明者陳翔, 師丹瑋, 倪小輝, 周琨, 吳賢, 賀歡 申請人:深圳泰山在線科技有限公司