用于檢測(cè)可聽輸入中的中止的裝置、設(shè)備及方法
【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)總體上涉及檢測(cè)裝置的可聽輸入中的中止。
【背景技術(shù)】
[0002] 當(dāng)對(duì)于諸如計(jì)算機(jī)的裝置輸入諸如命令的可聽輸入序列時(shí)，可聽輸入序列中的中 止可能導(dǎo)致計(jì)算機(jī)停止"接聽"該可聽輸入序列，這是因?yàn)槔缪b置停止處理序列和/或超 時(shí)，從而不能完全地處理命令。
[0003] 此外，在一些實(shí)例中，被裝置確定為可聽輸入序列中的中止的可能實(shí)際上為用戶 結(jié)束了提供可聽輸入序列之后、等待裝置處理該可聽輸入序列的空白（silence)。在這樣的 實(shí)例中，這可能導(dǎo)致裝置處理并非要輸入至該裝置的音頻并且甚至可能例如不必要地消耗 該裝置的電池。

【發(fā)明內(nèi)容】

[0004] 因此，在第一方面中，一種裝置包括：處理器；存儲(chǔ)器，所述存儲(chǔ)器能夠被所述處 理器訪問并且承載有能夠被所述處理器執(zhí)行以實(shí)現(xiàn)如下操作的指令：處理可聽輸入序列， 所述可聽輸入序列由所述裝置的用戶提供；至少部分地基于來自與所述裝置通信的至少一 個(gè)攝像頭的第一信號(hào)來確定在提供所述可聽輸入序列期間發(fā)生了中止；響應(yīng)于確定發(fā)生了 所述中止，停止處理所述可聽輸入序列；至少部分地基于來自所述攝像頭的第二信號(hào)來確 定已恢復(fù)提供所述可聽輸入序列；以及響應(yīng)于確定已恢復(fù)提供所述可聽輸入序列，恢復(fù)對(duì) 所述可聽輸入序列的處理。
[0005] 在一些實(shí)施方式中，中止可以包括裝置不能理解的可聽序列分隔符。此外，可以至 少部分地基于對(duì)至少第一信號(hào)執(zhí)行讀唇軟件，將可聽序列分隔符確定為是不能理解的，其 中，可以響應(yīng)于采集用戶的面部的至少一部分的至少一個(gè)圖像的攝像頭，由攝像頭生成第 一信號(hào)。
[0006] 此外，在一些實(shí)施方式中，指令還能夠由所述處理器執(zhí)行，從而除非還在對(duì)來自所 述裝置上的加速度計(jì)的信號(hào)進(jìn)行處理時(shí)至少基本上同時(shí)接收到所述可聽序列分隔符，則響 應(yīng)于處理來自所述裝置上的加速度計(jì)的信號(hào)而確定停止處理所述可聽輸入序列。
[0007] 另外，如果需要，則中止包括在用戶向裝置提供可聽輸入期間的中止。因此，至少 部分地基于第一信號(hào)確定發(fā)生了中止可以包括：確定用戶的當(dāng)前面部表情表示不是將要提 供可聽輸入。在一些實(shí)施方式中，確定用戶的當(dāng)前面部表情表示不是將要提供可聽輸入可 以包括：確定用戶的嘴至少大部分是閉合的。
[0008] 此外，如果需要，則至少部分地基于第二信號(hào)確定已恢復(fù)提供可聽輸入序列包括： 確定用戶的嘴是張開的。
[0009] 在另一方面中，一種方法包括：在裝置處接收可聽輸入序列，所述可聽輸入序列由 所述裝置的用戶提供；響應(yīng)于接收到來自與所述裝置通信的至少一個(gè)攝像頭的第一信號(hào)以 及響應(yīng)于接收到來自與所述裝置至少通信的觸控顯示器的輸入，而確定所述用戶已經(jīng)停止 提供所述可聽輸入序列；以及確定所述用戶已經(jīng)恢復(fù)提供所述可聽輸入序列。
[0010] 在又一方面中，一種設(shè)備包括：第一處理器；網(wǎng)絡(luò)適配器；存儲(chǔ)裝置，所述存儲(chǔ)裝 置承載有經(jīng)由所述網(wǎng)絡(luò)適配器通過網(wǎng)絡(luò)傳輸?shù)?、以通過第二處理器實(shí)現(xiàn)如下操作的指令： 處理可聽輸入命令，所述可聽輸入命令由與所述第二處理器關(guān)聯(lián)的裝置的用戶提供，對(duì)所 述可聽輸入命令的處理響應(yīng)于如下操作：基于來自與所述第二處理器通信的至少一個(gè)攝像 頭的至少一個(gè)信號(hào)確定在所述用戶正沿所述裝置的方向看的同時(shí)所述用戶的嘴正在活動(dòng)； 以及執(zhí)行所述可聽輸入命令。
[0011] 參照附圖可以最好地理解本原理關(guān)于其結(jié)構(gòu)和操作的細(xì)節(jié)，在附圖中，相同的附 圖標(biāo)記指代相同的部件，以及在附圖中：
【附圖說明】
[0012] 圖1是根據(jù)本原理的示例性裝置的框圖；
[0013] 圖2是由根據(jù)本原理的裝置執(zhí)行的邏輯的示例流程圖；以及
[0014] 圖3至圖6是在根據(jù)本原理的裝置上可呈現(xiàn)的示例用戶界面（UI)。
【具體實(shí)施方式】
[0015] 本公開內(nèi)容總體上涉及基于用戶信息的裝置（例如，消費(fèi)電子產(chǎn)品（CE))。對(duì)于本 文所描述的任何計(jì)算機(jī)系統(tǒng)，系統(tǒng)可以包括服務(wù)器部件和客戶端部件，服務(wù)器部件和客戶 端部件通過網(wǎng)絡(luò)相連接以使得數(shù)據(jù)可以在服務(wù)器部件和客戶端部件之間進(jìn)行交換?？蛻舳?部件可以包括一個(gè)或更多個(gè)計(jì)算裝置，包括電視（例如，智能TV，連網(wǎng)TV)、計(jì)算機(jī)（諸如膝 上型計(jì)算機(jī)和平板計(jì)算機(jī)）以及包括智能電話的其它移動(dòng)裝置。作為非限定性示例，這些 客戶端裝置可以采用來自蘋果、谷歌或微軟的操作系統(tǒng)?？梢允褂肬NIX操作系統(tǒng)。這些操 作系統(tǒng)可以執(zhí)行一個(gè)或更多個(gè)瀏覽器（諸如由微軟或谷歌或摩斯拉或其它瀏覽器程序制 成的瀏覽器），所述瀏覽器可以通過諸如因特網(wǎng)、本地內(nèi)聯(lián)網(wǎng)或虛擬個(gè)人網(wǎng)絡(luò)的網(wǎng)絡(luò)來訪問 由因特網(wǎng)服務(wù)器提供的網(wǎng)絡(luò)應(yīng)用。
[0016] 本文所使用的指令是指用于處理系統(tǒng)中的信息的計(jì)算機(jī)實(shí)現(xiàn)的步驟?？梢砸攒?件、固件或硬件來實(shí)施指令，因此，按照它們的功能來闡述示例性的部件、塊、模塊、電路和 步驟。
[0017] 處理器可以是能夠憑借各種線（諸如地址線、數(shù)據(jù)線和控制線）以及寄存器和移 位寄存器執(zhí)行邏輯的任何常規(guī)的通用的單片處理器或多片處理器。此外，除了通用的處理 器之外，本文所描述的任何邏輯塊、模塊和電路可以在下述裝置中或者由下述裝置實(shí)現(xiàn)或 執(zhí)行：數(shù)字信號(hào)處理器（DSP)、現(xiàn)場(chǎng)可編程門陣列（FPGA)或其它可編程邏輯裝置，諸如專用 集成電路（ASIC)、分立門或晶體管邏輯、分立硬件部件、或被設(shè)計(jì)為執(zhí)行本文所描述的功能 的前述的任何組合。處理器可以通過控制器或狀態(tài)機(jī)或計(jì)算裝置的組合來實(shí)現(xiàn)。
[0018] 本文中以流程圖和/或用戶界面的形式所描述的軟件和/或應(yīng)用可以包括各種子 例程、過程等。應(yīng)該理解，被公開為由例如模塊執(zhí)行的邏輯可以被重新分配給其它軟件模塊 和/或被合并到單個(gè)模塊中和/或變得在共享庫中可獲得。
[0019] 當(dāng)以軟件實(shí)現(xiàn)邏輯時(shí)，可以使用適合的語言（例如C#或C++，但不限于此）編寫 邏輯，并且可以將邏輯存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上或通過計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)傳輸（例 如，其可以不是載波），計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如為隨機(jī)存取存儲(chǔ)器（RAM)、只讀存儲(chǔ)器 (ROM)、電可擦可編程只讀存儲(chǔ)器（EEPROM)、致密盤只讀存儲(chǔ)器（CD-ROM)或其它光學(xué)盤存 儲(chǔ)裝置（如數(shù)字多功能光盤（DVD))、磁盤存儲(chǔ)裝置或其它磁存儲(chǔ)裝置（包括可移動(dòng)拇指驅(qū) 動(dòng)器）等。連接可以建立計(jì)算機(jī)可讀介質(zhì)。作為示例，這樣的連接可以包括包含光學(xué)光纖和 同軸線以及雙絞線的硬線電纜。這樣的連接可以包括包含紅外和無線電的無線通信連接。
[0020] 在一個(gè)示例中，處理器可以通過其輸入線從諸如計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的數(shù)據(jù)存儲(chǔ) 裝置存取信息，和/或處理器可以通過激活用于發(fā)送數(shù)據(jù)和接收數(shù)據(jù)的無線收發(fā)器來從因 特網(wǎng)服務(wù)器無線地存取信息。數(shù)據(jù)通常在被接收時(shí)通過天線與處理器的寄存器之間的電路 系統(tǒng)從模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，并且在被發(fā)射時(shí)從數(shù)字信號(hào)轉(zhuǎn)換為模擬信號(hào)。然后，處理 器通過其移位寄存器處理數(shù)據(jù)以在輸出線上輸出計(jì)算出的數(shù)據(jù)，以在裝置上呈現(xiàn)計(jì)算出的 數(shù)據(jù)。
[0021] 包括在一個(gè)實(shí)施方式中的部件可以以任何適合的組合形式用在其它實(shí)施方式中。 例如，可以對(duì)本文所描述的和/或在附圖中所描繪的各種部件中的任何部件進(jìn)行組合、交 換或?qū)⑵鋸钠渌鼘?shí)施方式中排除。
[0022] "具有A、B和C中的至少一個(gè)的系統(tǒng)"（同樣地"具有A、B或C中的至少一個(gè)的系 統(tǒng)"以及"具有A、B、C中的至少一個(gè)的系統(tǒng)"）包括僅具有A、僅具有B、僅具有C、具有A和 B兩者、具有A和C兩者、具有B和C兩者、和/或具有A、B和C三者的系統(tǒng)等。
[0023] 在摘要、說明書和/或權(quán)利要求書中使用了術(shù)語"電路"或"電路系統(tǒng)"。如本領(lǐng)域 的技術(shù)人員已知的，術(shù)語"電路系統(tǒng)"包括所有層級(jí)的可用的集成電路（例如，從分立的邏 輯電路到諸如超大規(guī)模集成電路（VLSI)的最高層級(jí)的電路集成），并且包括被編程用以執(zhí) 行實(shí)施方式的功能的可編程邏輯部件以及被編程有用于執(zhí)行這些功能的指令的通用處理 器或?qū)Ｓ锰幚砥鳌?br>[0024] 現(xiàn)在，具體地參照?qǐng)D1，圖1示出了計(jì)算機(jī)系統(tǒng)100的示例性框圖，例如，計(jì)算機(jī)系 統(tǒng)100諸如為聯(lián)網(wǎng)的計(jì)算機(jī)控制的電話（例如，智能電話）、平板計(jì)算機(jī)、筆記本或臺(tái)式計(jì)算 機(jī)、諸如智能手表的聯(lián)網(wǎng)的計(jì)算機(jī)控制的可穿戴式裝置、諸如智能電視（TV)的計(jì)算機(jī)控制 的TV等。因此，在一些實(shí)施方式中，系統(tǒng)100可以是臺(tái)式計(jì)算機(jī)系統(tǒng)（例如由位于北卡羅 來納州莫里斯維爾市的聯(lián)想（美國）公司銷售的ThinkCentre'?系列或ThinkPad?系列之一的個(gè)人計(jì)算機(jī)）或工作站計(jì)算機(jī)（例如，由位于北卡羅來納州莫里斯維爾市的聯(lián) 想（美國）公司銷售的ThinkStation?)。然而，根據(jù)本文的描述明顯可知，根據(jù)本