技術(shù)領(lǐng)域

所公開(kāi)的主題一般地涉及機(jī)器人遙現(xiàn)（tele-presence）系統(tǒng)的領(lǐng)域。

背景技術(shù)：

機(jī)器人已經(jīng)被用在從對(duì)危險(xiǎn)材料的遠(yuǎn)程控制到輔助外科手術(shù)的施行的各種應(yīng)用中。例如，頒發(fā)給Wang等人的美國(guó)專(zhuān)利No.5,762,458公開(kāi)了一種允許外科醫(yī)生通過(guò)使用機(jī)器人控制的儀器來(lái)施行微創(chuàng)醫(yī)療程序（medical procedure）的系統(tǒng)。Wang的系統(tǒng)中的機(jī)器人臂中的一個(gè)移動(dòng)具有攝像機(jī)的內(nèi)窺鏡。該攝像機(jī)允許外科醫(yī)生觀察患者的手術(shù)區(qū)（surgical area）。

已經(jīng)有由本申請(qǐng)的受讓人InTouch科技公司引入的以RP-7為商標(biāo)的移動(dòng)遙現(xiàn)機(jī)器人在市場(chǎng)上被銷(xiāo)售。該InTouch機(jī)器人由在遠(yuǎn)程站處的用戶(hù)來(lái)控制。該遠(yuǎn)程站可以是具有允許用戶(hù)遠(yuǎn)程控制機(jī)器人的移動(dòng)的操縱桿的個(gè)人計(jì)算機(jī)。機(jī)器人和遠(yuǎn)程站都具有攝像機(jī)、監(jiān)控器、揚(yáng)聲器以及麥克風(fēng)，以考慮到雙向視頻/音頻通信。機(jī)器人攝像機(jī)向在遠(yuǎn)程站處的屏幕提供視頻圖像，使得用戶(hù)可以觀察機(jī)器人的周?chē)h(huán)境并相應(yīng)地移動(dòng)機(jī)器人。

InTouch還提供了一種包括被附著到吊臂的機(jī)器人面部的以VisitOR被出售的系統(tǒng)。吊臂和機(jī)器人面部可以被安裝到手術(shù)室中。在手術(shù)室中使用機(jī)器人面部可能要求面部的消毒。另外，VisitOR要求在手術(shù)室中安裝吊臂。這可以增加安裝這樣的系統(tǒng)的成本和復(fù)雜度。

附圖說(shuō)明

圖1是遙現(xiàn)系統(tǒng)的圖解；

圖2是該系統(tǒng)的推車(chē)（cart）的透視圖；

圖3是推車(chē)的關(guān)節(jié)臂以及機(jī)器人面部的后視圖；

圖4是推車(chē)的懸吊式攝像機(jī)（overhead camera）的放大的透視圖；

圖5是遠(yuǎn)程站的顯示用戶(hù)界面的圖解；

圖6是顯示用戶(hù)界面的示出了被同時(shí)顯示的通過(guò)機(jī)器人攝像機(jī)捕獲的視頻圖像以及通過(guò)懸吊式攝像機(jī)捕獲的視頻圖像的圖解。

具體實(shí)施方式

公開(kāi)的是一種包括推車(chē)的遙現(xiàn)系統(tǒng)。該推車(chē)包括具有機(jī)器人監(jiān)控器、機(jī)器人攝像機(jī)、機(jī)器人揚(yáng)聲器、機(jī)器人麥克風(fēng)的機(jī)器人面部以及包括懸吊式攝像機(jī)。該系統(tǒng)還包括被耦合到機(jī)器人面部以及懸吊式攝像機(jī)的遠(yuǎn)程站。遠(yuǎn)程站包括站監(jiān)控器、站攝像機(jī)、站揚(yáng)聲器和站麥克風(fēng)。遠(yuǎn)程站可以顯示通過(guò)機(jī)器人攝像機(jī)和/或懸吊式攝像機(jī)所捕獲的視頻圖像。舉例來(lái)說(shuō)，推車(chē)可以被用在手術(shù)室中，其中懸吊式攝像機(jī)可以被放置在消過(guò)毒的區(qū)域（sterile field）上方，以提供更加有益的有利位置來(lái)觀察程序。遠(yuǎn)程站處的用戶(hù)可以通過(guò)機(jī)器人面部進(jìn)行電話(huà)會(huì)議，并且還可以通過(guò)懸吊式攝像機(jī)獲得對(duì)醫(yī)療程序的觀察。

更特別地通過(guò)參考數(shù)字參照附圖，圖1、2和3示出了遙現(xiàn)系統(tǒng)10。該系統(tǒng)10包括被耦合到遠(yuǎn)程控制站14的推車(chē)12。推車(chē)12具有機(jī)器人面部16以及懸吊式攝像機(jī)18。遠(yuǎn)程控制站14可以通過(guò)網(wǎng)絡(luò)20被耦合到推車(chē)12。舉例來(lái)說(shuō)，網(wǎng)絡(luò)20可以是諸如因特網(wǎng)之類(lèi)的分組交換網(wǎng)絡(luò)或諸如公共交換電話(huà)網(wǎng)絡(luò)（PSTN）之類(lèi)的電路交換網(wǎng)絡(luò)或其它寬帶系統(tǒng)?？商鎿Q地，推車(chē)12可以通過(guò)衛(wèi)星被耦合到遠(yuǎn)程站14。

遠(yuǎn)程控制站14可以包括具有監(jiān)控器24、攝像機(jī)26、麥克風(fēng)28以及揚(yáng)聲器30的計(jì)算機(jī)22。計(jì)算機(jī)22還可以包含諸如操縱桿或鼠標(biāo)之類(lèi)的輸入設(shè)備32?？刂普?4通常位于遠(yuǎn)離推車(chē)12的地方。雖然只有一個(gè)遠(yuǎn)程控制站14被示出，但是系統(tǒng)10可以包括多個(gè)遠(yuǎn)程站14。一般地，任意數(shù)目的推車(chē)12都可以被耦合到任意數(shù)目的遠(yuǎn)程站14或其它推車(chē)12。例如，一個(gè)遠(yuǎn)程站14可以被耦合到多個(gè)推車(chē)12，或者一個(gè)推車(chē)12可以被耦合到多個(gè)遠(yuǎn)程站14或多個(gè)推車(chē)12。該系統(tǒng)可以包括控制推車(chē)12與遠(yuǎn)程站14之間的接入的仲裁器（未示出）。

如在圖3中示出的那樣，推車(chē)12可以包括支撐并且可以移動(dòng)機(jī)器人面部16的關(guān)節(jié)臂40。關(guān)節(jié)臂40可以具有分別允許機(jī)器人面部14被搖動(dòng)（pan）和被傾斜的主動(dòng)關(guān)節(jié)（active joint）42和44。主動(dòng)關(guān)節(jié)42和44可以響應(yīng)于由遠(yuǎn)程站提供的命令而移動(dòng)。關(guān)節(jié)42和44可以分別包含提供臂40的位置反饋的位置傳感器46和48。

參照?qǐng)D2和3，每個(gè)機(jī)器人面部16都包括（多個(gè)）攝像機(jī)50、監(jiān)控器52、（多個(gè)）麥克風(fēng)54以及（多個(gè)）揚(yáng)聲器56。機(jī)器人攝像機(jī)50被耦合到遠(yuǎn)程監(jiān)控器24，使得遠(yuǎn)程站14處的用戶(hù)可以觀察通過(guò)機(jī)器人攝像機(jī)50所捕獲的視頻圖像。同樣地，機(jī)器人監(jiān)控器52被耦合到遠(yuǎn)程攝像機(jī)26，因此手術(shù)地點(diǎn)（surgical site）處的人員可以觀察遠(yuǎn)程站14的用戶(hù)。麥克風(fēng)28和54以及揚(yáng)聲器30和56都考慮到在系統(tǒng)操作者與手術(shù)地點(diǎn)處的人員之間的有聲通信。

懸吊式攝像機(jī)18可以被耦合到吊臂60。吊臂60可以包括多個(gè)（主動(dòng)的或被動(dòng)的（passive））關(guān)節(jié)62。關(guān)節(jié)62可以包括位置傳感器，以提供關(guān)于懸吊式攝像機(jī)18的位置的反饋。

如在圖4中所示出的那樣，推車(chē)12可以包括懸吊式麥克風(fēng)64以及可拆式把手66。懸吊式麥克風(fēng)64可以提供可替換的聲音源?？刹鹗桨咽?6可以被用來(lái)移動(dòng)吊臂60以及懸吊式攝像機(jī)18。如果推車(chē)12被用在消過(guò)毒的區(qū)域中，例如在手術(shù)室中，那么在每個(gè)醫(yī)療程序之前，把手66都可以被消過(guò)毒的把手替換，以允許在消過(guò)毒的區(qū)域內(nèi)的外科醫(yī)生在程序期間定位吊臂。

再次參照?qǐng)D2，推車(chē)12可以包括直線(xiàn)驅(qū)動(dòng)器70，所述直線(xiàn)驅(qū)動(dòng)器70可以遠(yuǎn)程地或本地地被驅(qū)使來(lái)使機(jī)器人面部16以及懸吊式攝像機(jī)18的高度變化。使高度變化允許推車(chē)12被滾動(dòng)穿過(guò)門(mén)，并且接著被驅(qū)使來(lái)將面部16以及攝像機(jī)18移動(dòng)到被升高的位置。例如，面部16以及攝像機(jī)18可以被降低，以允許推車(chē)12被移動(dòng)進(jìn)入手術(shù)室。攝像機(jī)18可以接著被抬高，以提供期望的對(duì)手術(shù)臺(tái)的觀察。推車(chē)12可以包括位于吊臂60上的激光指示器72和/或定向照明（未示出）。推車(chē)12還可以包括本地控制面板74，以移動(dòng)關(guān)節(jié)臂40、驅(qū)動(dòng)器70和/或吊臂60。在無(wú)論人是正站著、坐著或者以臥姿躺著都將面部16移動(dòng)到處于基本上與人相同的水平方面，直線(xiàn)驅(qū)動(dòng)器70也是有利的。

機(jī)器人面部16可以包括處理器、硬盤(pán)驅(qū)動(dòng)器以及使得面部16能夠起到計(jì)算機(jī)作用的其它電路。面部16可以包括允許用戶(hù)提供輸入的輸入面板76。舉例來(lái)說(shuō)，遠(yuǎn)程站的操作者可以通過(guò)機(jī)器人面部16提供一個(gè)或多個(gè)問(wèn)題，其中推車(chē)的用戶(hù)通過(guò)輸入面板76提供答復(fù)。

系統(tǒng)10可以具有與由在加利福尼亞州的戈拉塔的受讓人InTouch科技公司提供的名稱(chēng)為RP-7的機(jī)器人系統(tǒng)相同或類(lèi)似的特定的部件和軟件，并且具體表現(xiàn)在通過(guò)引入作為參考的美國(guó)專(zhuān)利6,925,357中所描述的系統(tǒng)。

圖5示出了可以被顯示在遠(yuǎn)程站14處的顯示用戶(hù)界面（“DUI”）120。DUI 120可以包括顯示通過(guò)機(jī)器人攝像機(jī)和/或懸吊式攝像機(jī)所捕獲的視頻圖像的機(jī)器人觀察區(qū)域122 。DUI 120還可以包括顯示通過(guò)遠(yuǎn)程站14的攝像機(jī)所提供的視頻圖像的站觀察區(qū)域124。DUI 120可以是通過(guò)遠(yuǎn)程站14的計(jì)算機(jī)22所存儲(chǔ)并操作的應(yīng)用程序的部分。

DUI 120可以包括允許用戶(hù)在通過(guò)機(jī)器人攝像機(jī)提供的視頻圖像與通過(guò)懸吊式攝像機(jī)提供的視頻圖像之間進(jìn)行選擇的圖形開(kāi)關(guān)126。DUI 120還可以具有允許用戶(hù)選擇如在圖6中所示出的同時(shí)顯示來(lái)自機(jī)器人和懸吊式攝像機(jī)的視頻圖像的圖形開(kāi)關(guān)128。來(lái)自?xún)蓚€(gè)攝像機(jī)的視頻圖像都可以從推車(chē)被流向遠(yuǎn)程站。通過(guò)呈現(xiàn)每個(gè)圖像的中心矩形（例如320×480中心區(qū)），圖像可以被合并。通過(guò)操縱任一圖像上的光標(biāo)，縮放或加亮特征可以被利用。當(dāng)光標(biāo)被移出所顯示的視野時(shí)，該系統(tǒng)還可以自動(dòng)搖動(dòng)攝像機(jī)鏡頭。

該系統(tǒng)可以自動(dòng)呈現(xiàn)來(lái)自具有對(duì)對(duì)象的最佳觀察的攝像機(jī)的視頻圖像。例如，該系統(tǒng)可以利用模式識(shí)別技術(shù)來(lái)確定哪個(gè)視頻圖像提供了對(duì)象的更清楚的圖像。該系統(tǒng)可以確定哪個(gè)攝像機(jī)更緊靠對(duì)象并且提供來(lái)自更接近于該對(duì)象的攝像機(jī)的圖像。該系統(tǒng)可以利用來(lái)自推車(chē)的位置反饋來(lái)確定攝像機(jī)的相對(duì)于對(duì)象的接近性。該系統(tǒng)還可以具有可以確定攝像機(jī)到對(duì)象的接近性的諸如激光器、聲納等之類(lèi)的傳感器。該系統(tǒng)可以使用反饋和/或傳感器來(lái)確定哪個(gè)攝像機(jī)更接近于對(duì)象。

該系統(tǒng)可以自動(dòng)移動(dòng)攝像機(jī)，使得每個(gè)攝像機(jī)都指向相同的或基本上相同的視野。例如，如果機(jī)器人面部被指向?qū)ο?，則懸吊式攝像機(jī)可以被自動(dòng)移動(dòng)來(lái)捕獲相同對(duì)象的視頻圖像。同樣地，如果懸吊式攝像機(jī)正在捕獲對(duì)象的視頻圖像，則機(jī)器人面部可以被自動(dòng)移動(dòng)，以指向相同的對(duì)象。這增強(qiáng)了遠(yuǎn)程操作者的“存在”，因?yàn)檫@些遠(yuǎn)程操作者正面對(duì)懸吊式攝像機(jī)正在觀察的相同對(duì)象。

DUI 120可以具有允許用戶(hù)在通過(guò)機(jī)器人麥克風(fēng)或懸吊式麥克風(fēng)所捕獲的聲音之間進(jìn)行切換的圖形開(kāi)關(guān)130。該系統(tǒng)可以基于通過(guò)麥克風(fēng)所捕獲的聲音的（多個(gè)）特征在麥克風(fēng)之間自動(dòng)切換。例如，該系統(tǒng)可以切換到提供最高的聽(tīng)覺(jué)清晰度的麥克風(fēng)，或者切換到最緊靠生成該聲音的人或?qū)ο蟮柠溈孙L(fēng)。

DUI 120可以包括提供機(jī)器人面部的定位的定位顯示138?！案淖儭卑粹o140可以被選擇來(lái)在新的會(huì)話(huà)中改變?nèi)笔〉臋C(jī)器人面部?！案淖儭卑粹o140可以被用來(lái)在具有多個(gè)機(jī)器人面部的系統(tǒng)中選擇并控制不同的機(jī)器人面部。用戶(hù)可以通過(guò)選擇框142發(fā)起并終止會(huì)話(huà)。當(dāng)用戶(hù)選擇該框來(lái)發(fā)起會(huì)話(huà)時(shí)，框142從“連接”改變?yōu)椤皵嚅_(kāi)”。系統(tǒng)設(shè)置以及系統(tǒng)支持可以通過(guò)按鈕144和146來(lái)選擇。

機(jī)器人觀察區(qū)域122以及站觀察區(qū)域124都可以具有相關(guān)聯(lián)的圖形，以使視頻顯示以及音頻顯示變化。每個(gè)區(qū)域都可以具有相關(guān)聯(lián)的圖形音頻滑動(dòng)條148，以使所選擇的麥克風(fēng)的音頻水平變化，并且具有另一滑動(dòng)條152，以使揚(yáng)聲器的音量變化。

DUI 120可以具有滑動(dòng)條150、154和156，以分別使所選擇的攝像機(jī)的縮放、聚焦和亮度變化。通過(guò)選擇圖形攝像機(jī)圖標(biāo)之一158，靜止圖片可以在機(jī)器人面部或遠(yuǎn)程站處被拍攝。靜止圖片可以是在攝像機(jī)圖標(biāo)158被選擇的時(shí)候被呈現(xiàn)在相對(duì)應(yīng)的區(qū)域122或124處的圖像。捕獲并且播放視頻可以通過(guò)圖形圖標(biāo)160進(jìn)行。返回到實(shí)時(shí)視頻可以在拍攝靜止圖片、所捕獲的視頻或者審閱幻燈片之后通過(guò)選擇圖形“實(shí)況播送”按鈕162來(lái)重新開(kāi)始。

靜止圖片可以通過(guò)選擇圖標(biāo)164從磁盤(pán)被加載用于進(jìn)行觀察。所存儲(chǔ)的靜止圖像通過(guò)選擇按鈕166來(lái)審閱。相對(duì)于圖像總數(shù)的所顯示的圖像的數(shù)目通過(guò)圖形框168被示出。通過(guò)移動(dòng)滑動(dòng)條170，用戶(hù)可以快速地經(jīng)過(guò)幻燈片方式的靜止圖像或經(jīng)過(guò)所捕獲的視頻片斷。所捕獲的視頻圖像可以通過(guò)選擇圓圈174被暫停。播放可以通過(guò)相同的按鈕174來(lái)重新開(kāi)始。視頻或靜止圖像通過(guò)按鈕172可以從現(xiàn)役列表中被消除。視頻或靜止圖像可以通過(guò)選擇圖標(biāo)176被傳送到機(jī)器人。例如，遠(yuǎn)程站處的醫(yī)生可以將x光照片傳送到機(jī)器人的屏幕。

該系統(tǒng)可以提供注釋184被顯示在區(qū)域122和/或124中的圖像的能力。例如，遠(yuǎn)程站處的醫(yī)生可以注釋通過(guò)機(jī)器人面部攝像機(jī)所捕獲的圖像的某個(gè)部分。被注釋的圖像可以被該系統(tǒng)存儲(chǔ)。該系統(tǒng)還可以考慮到通過(guò)圖標(biāo)176被發(fā)送到機(jī)器人面部的圖像的注釋。例如，醫(yī)生可以將x光照片發(fā)送到機(jī)器人面部，所述x光照片由機(jī)器人屏幕被顯示。醫(yī)生可以注釋該x光照片，以向位于機(jī)器人地點(diǎn)處的人員指出該x光照片的部分。這可以協(xié)助允許醫(yī)生指示在機(jī)器人地點(diǎn)處的人員。

顯示用戶(hù)界面可以包括圖形輸入186，所述圖形輸入186允許操作者接通和關(guān)斷遠(yuǎn)程站以及遠(yuǎn)程攝像機(jī)的觀察。

參照?qǐng)D1，推車(chē)12可以被使用在手術(shù)室中。舉例來(lái)說(shuō)，吊臂60可以被移動(dòng)來(lái)把懸吊式攝像機(jī)18放置在手術(shù)臺(tái)200上方。懸吊式攝像機(jī)18可以位于消過(guò)毒的區(qū)域上方。機(jī)器人面部16可以鄰近于消過(guò)毒的區(qū)域被放置。利用這樣的配置，人員可以通過(guò)機(jī)器人面部16進(jìn)行雙向視頻會(huì)議。懸吊式攝像機(jī)18可以提供對(duì)患者以及手術(shù)程序的更期望的觀察。這會(huì)允許在遠(yuǎn)程站處的醫(yī)師觀察該程序并且召開(kāi)視頻會(huì)議，以向在手術(shù)地點(diǎn)處的人員提供指令、指導(dǎo)等。

對(duì)于本領(lǐng)域的技術(shù)人員將是顯而易見(jiàn)的是，可以對(duì)上面描述的實(shí)施例的細(xì)節(jié)進(jìn)行改變，而不偏離本發(fā)明的基本原理。當(dāng)某些示例性實(shí)施例已經(jīng)被描述并且在所附的附圖中被示出時(shí)，應(yīng)理解的是，這樣的實(shí)施例僅僅是說(shuō)明本概括性的發(fā)明（broad invention），并不是對(duì)本概括性的發(fā)明進(jìn)行限制，并且應(yīng)理解的是，本發(fā)明并不限于被示出的和被描述的特定的構(gòu)造和裝置，因?yàn)楸绢I(lǐng)域技術(shù)人員可以想到各種其它修改方案。在權(quán)利要求書(shū)中，連接詞“和”是包含的，連接詞“或”是排他的，并且連接詞“和/或”是包含的或排他的。本發(fā)明的其中請(qǐng)求保護(hù)專(zhuān)有的所有權(quán)或特權(quán)的實(shí)施例被如下限定。