專利名稱：具有聲音驅(qū)動文字輸入的移動裝置以及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及移動裝置，且更確切地說涉及一種具有聲音驅(qū)動筆跡至文字組合件的移 動裝置。
背景技術(shù)：
移動裝置的當(dāng)前制造趨勢追求減小裝置的尺寸以使得用戶可將移動裝置置放于容 易達到的位置(例如錢包或口袋)中。許多移動裝置與用戶的手一樣小或比用戶的手小， 且通常稱作"手持型裝置"。因此，對待實施在此裝置的有限實際區(qū)域上的顯示屏及小 鍵盤/導(dǎo)航工具存在顯著的尺寸約束。
舉例而言，蜂窩式電話通常不提供全功能鍵盤，例如每一按鈕具有一個字母的鍵盤。 而是數(shù)字小鍵盤的每一鍵具備一個數(shù)字。數(shù)字鍵可允許輸入三個或四個字母表字母。然 而，此類型的小鍵盤通常需要多次按下單個鍵以輸入單個字母。舉例而言，數(shù)字"7" 鍵允許用戶輸入四(4)個字母表字母P、 Q、 R及S中的一者。為了輸入S， "7"鍵被 按下四次。接著，為了輸入下一字母，用戶必須等待顯示屏上的光標(biāo)移動至緊鄰的空格 或按下指定導(dǎo)航鍵以將光標(biāo)移動至緊鄰的空格?？梢岳斫?，此文字輸入過程繁重、麻煩 且費時。文字輸入過程是普遍使用移動通信裝置(例如通用數(shù)字裝置)的潛在障礙之一。
觸摸敏感屏幕是解決文字輸入的問題的一種嘗試。然而，鑒于當(dāng)前制造趨勢，觸摸 敏感屏幕(具有或不具有觸控筆)的尺寸不足以供屏幕提供準(zhǔn)確的文字輸入機制。
另一文字輸入工具為數(shù)字筆。數(shù)字筆技術(shù)的優(yōu)勢在于其不將書寫限于屏幕的表面。 然而，實施數(shù)字筆需要在裝置中安裝復(fù)雜電路及用以在裝置與數(shù)字筆之間提供通信的其 它調(diào)適。
大體而言，常規(guī)移動通信裝置未為用戶提供輸入文字的簡單方法，例如通過用聲音 筆在任何表面上簡單地手寫一個或一個以上字母數(shù)字符號。
另外，常規(guī)移動通信裝置并不在語音輸入模式(例如在電話呼叫期間)與感測從聲 音筆發(fā)出的聲音信號的文字輸入模式兩者中利用麥克風(fēng)。所感測的聲音信號被用在筆位 置追蹤過程中以用圖形表示手寫的字母數(shù)字符號。
此外，常規(guī)移動通信裝置不使用可用于語音輸入信號的降噪處理且或者可用于筆位置追蹤過程以用圖形表示手寫的字母數(shù)字符號的麥克風(fēng)陣列。
常規(guī)移動通信裝置(例如蜂窩式電話)不使用兩個顯示區(qū)，其中一個顯示區(qū)用以顯 示手寫或描繪在任何適合的書寫表面上的仿真手寫的字母數(shù)字符號的圖形表示。

發(fā)明內(nèi)容
為了解決上述問題，本發(fā)明的一目標(biāo)是提供一種移動裝置，其包含具有第一顯示區(qū) 及第二顯示區(qū)的外殼及整合至外殼中的麥克風(fēng)陣列(通常稱作麥克風(fēng)陣列)。所述麥克 風(fēng)陣列具有多個麥克風(fēng)，所述麥克風(fēng)可操作以在與外殼分離且接近外殼的表面上手寫字 母數(shù)字符號時在外殼上的多個位置處感測來自聲音筆的聲音信號。所述裝置也包括筆跡 至文字轉(zhuǎn)換器，其可操作以用圖形表示所述字母數(shù)字符號的仿真手寫痕跡以顯示于第一 顯示區(qū)上，且將所述字母數(shù)字符號轉(zhuǎn)換為表示所述字母數(shù)字符號的計算機可讀交換碼以 顯示于第二顯示區(qū)中。
本發(fā)明的另一目標(biāo)是提供一種具有筆跡至文字轉(zhuǎn)換器的移動裝置，所述筆跡至文字 轉(zhuǎn)換器包括聲音驅(qū)動位置確定單元，其用于在手寫期間移動聲音筆時基于由每一相應(yīng)麥 克風(fēng)接收的聲音信號的到達時間差及強度差來確定一系列筆位置。
本發(fā)明的另一目標(biāo)是提供一種具有麥克風(fēng)陣列的移動裝置，其中所述陣列中的至少 一個麥克風(fēng)是多模式麥克風(fēng)。在第一模式中，所述多模式麥克風(fēng)以裝置的語音輸入模式 操作。在第二模式中，所述多模式麥克風(fēng)以裝置的筆跡至文字輸入模式操作。
本發(fā)明的另一目標(biāo)是提供一種移動通信裝置，其既具有在筆跡至文字輸入模式中響 應(yīng)于由麥克風(fēng)陣列接收的聲音信號的筆跡至文字轉(zhuǎn)換器，又具有與耦接至麥克風(fēng)陣列的 降噪處理器，其中所述降噪處理器在由麥克風(fēng)陣列接收語音輸入信號時降低來自語音輸 入信號的噪聲。
本發(fā)明的又一目標(biāo)是提供一種移動裝置，其包括兩個麥克風(fēng)的麥克風(fēng)陣列，其中至 少一個麥克風(fēng)充當(dāng)多模式麥克風(fēng)。此實施方案需要蜂窩式電話中最小程度上的額外硬件 變化，同時便利于方便及準(zhǔn)確的手寫文字輸入。
本發(fā)明的以上及其它目標(biāo)及特征將通過圖式、本文中給出的描述及隨附權(quán)利要求書 而變得顯而易見。


當(dāng)結(jié)合附圖閱讀時，將更好地理解前述發(fā)明內(nèi)容及以下本發(fā)明的具體實施方式
。為
了說明本發(fā)明，圖中展示了目前優(yōu)選的實施例。然而應(yīng)了解，本發(fā)明不限于所展示的精確布置。圖中 圖1說明具有聲音筆的移動裝置的透視圖2說明具有以假想圖展示的聲音驅(qū)動手寫至文字組合件及在表面上進行書寫的聲 音筆的移動裝置的透視圖3說明圖1的移動裝置的方框圖4說明供與圖1的移動裝置一起使用的聲音筆的方框圖5說明包括手寫至文字轉(zhuǎn)換及降噪的移動裝置的方框圖的替代實施例；
圖6說明具有兩個麥克風(fēng)的麥克風(fēng)陣列的聲音驅(qū)動手寫至文字組合件的替代實施
例；
圖7說明用于聲音驅(qū)動手寫至文字輸入的方法的流程圖； 圖8說明源位置確定算法的圖形曲線；及
圖9說明用于圖5的實施例中的雙重功能操作的麥克風(fēng)陣列的替代實施例。
具體實施例方式
盡管本發(fā)明容許具有許多不同形式的實施例，但此說明書及隨附圖式僅揭示一些形 式作為使用本發(fā)明的實例。本發(fā)明不意圖限于如此描述的實施例，且本發(fā)明的范圍將在 隨附權(quán)利要求書中指出。
下文以對蜂窩式電話的具體應(yīng)用來描述根據(jù)本發(fā)明的移動裝置的優(yōu)選實施例。然 而，所述領(lǐng)域的技術(shù)人員應(yīng)了解本發(fā)明也完全適合于其它類型的具有文字輸入的裝置。 舉例而言，所述移動裝置可為無線電話、衛(wèi)星電話、移動電話、蜂窩式電話、個人數(shù)字 助理(PDA)、膝上型計算機、筆記型計算機，或任何其它個人通信或計算裝置。由于 不容許描述每一及全部裝置類型，所以本文中所述的示范性實施例是針對蜂窩式電話。
現(xiàn)在詳細(xì)參看各圖，其中在全文中相同數(shù)字用以指示相同元件，在圖l-3中展示根 據(jù)本發(fā)明的移動裝置(整體指定為10)的實施例。
移動裝置IO包括外殼12，用于容納及整合處理器20、小鍵盤/導(dǎo)航工具28及顯示
屏34A及34B，其用于導(dǎo)航通過操作功能且執(zhí)行裝置IO的各種計算功能。處理器20與
存儲器36通信以存取所存儲的數(shù)據(jù)或其它軟件應(yīng)用程序以便進行移動裝置IO的預(yù)先編
程的功能。在示范性實施例中，顯示屏34A及34B被展示及描述為單獨的顯示屏。因此，
每一顯示屏提供不同及單獨的顯示區(qū)。然而，必要時顯示屏34A及34B可為一個具有兩
個單獨顯示區(qū)的顯示單元。
可以常規(guī)方式(例如經(jīng)由小鍵盤/導(dǎo)航工具28)滾動顯示區(qū)。此外，顯示屏34A充當(dāng)常規(guī)顯示屏且顯示其它項目。所顯示的項目可包括圖標(biāo)，例如(但不限于)日期、時 間、電池充電情況及音量的圖標(biāo)或表示。顯示屏34A也可顯示具有數(shù)據(jù)輸入欄的圖形用 戶接口以輸入基于文字的信息，例如用于存儲于電話簿中或用于發(fā)送電子郵件。因此， 字母數(shù)字符號16可輸入至由顯示屏34A顯示的圖形用戶接口的數(shù)據(jù)輸入欄中。
移動裝置10進一步包括耦接至天線26的傳輸器22及接收器24以用于傳輸及接收 無線通信信號。傳輸器22及接收器24 (收發(fā)器)耦接至處理器20，例如(但不限于) 數(shù)字信號處理器(DPS)或高級RISC機器(ARM)。處理器20耦接至揚聲器32及麥克 風(fēng)30以用于進行電話通話及/或接受語音輸入且提供其它音響報警。
小鍵盤/導(dǎo)航工具28允許用戶輸入字母數(shù)字信息及導(dǎo)航通過裝置10的功能。裝置 IO的功能包括(但不限于)發(fā)送及接收呼叫、將電話號碼及電子郵件地址存儲于存儲器 36中、在萬維網(wǎng)或因特網(wǎng)中瀏覽，及發(fā)送電子郵件。除小鍵盤/導(dǎo)航工具28之外，移動 裝置10還包括聲音驅(qū)動筆跡至文字組合件38，其在聲音筆60的尖端62按在表面5上 時接收聽不見的頻率范圍(>20kHz)中的聲音信號70。表面5可為允許用戶以其自身 筆跡來書寫或描繪字母數(shù)字符號的任何類型的表面。
聲音驅(qū)動筆跡至文字組合件38包括具有經(jīng)調(diào)適以接收聲音信號70的兩個或兩個以 上麥克風(fēng)的麥克風(fēng)陣列40 (下文中稱作"麥克風(fēng)陣列")。麥克風(fēng)陣列40中的每一麥克 風(fēng)的輸出發(fā)送至濾波器單元42，用于在聲音信號70的頻率范圍中濾波。在示范性實施 例中，聲音信號70是模擬的且由A/D轉(zhuǎn)換器44轉(zhuǎn)換為數(shù)字信號以用于輸入至筆跡至文 字轉(zhuǎn)換器50中。
在蜂窩式電話的實例中，麥克風(fēng)30可為僅用于語音輸入的專用麥克風(fēng)。在圖6的 實施例中，麥克風(fēng)陣列240包括兩個麥克風(fēng)，其中所述麥克風(fēng)中的一者(用參考數(shù)字230 指定)充當(dāng)多模式麥克風(fēng)。在第一模式中，多模式麥克風(fēng)230可以裝置IO的語音輸入 模式操作。另一方面，在第二模式中，多模式麥克風(fēng)230可以裝置IO的筆跡至文字輸 入模式操作。
在操作中，可經(jīng)由模式切換器232自動地切換多模式麥克風(fēng)230的輸出以使得在裝 置處于語音輸入模式時所接收的信號不被濾波器單元242濾波。另一方面，在筆跡至文 字輸入模式期間，自動地切換(在必要時)多模式麥克風(fēng)230以使得所接收的信號被濾 波器單元242濾波。
圖6的包括兩個麥克風(fēng)的麥克風(fēng)陣列240 (其中一個麥克風(fēng)用作多模式麥克風(fēng)230) 的實施例在蜂窩式電話中需要最少的額外硬件，同時便利于在移動裝置10上進行方便 及準(zhǔn)確的文字輸入。筆跡至文字轉(zhuǎn)換器50包括聲音驅(qū)動位置確定單元52、圖形繪制表示單元54、筆跡辨識引擎56及筆跡至文字轉(zhuǎn)換單元58。在操作中，圖形繪制表示單元54將把通過處理聲音信號70及針對顯示確定位置坐標(biāo)x及y而導(dǎo)出的在表面5上的筆跡或痕跡的圖形表示發(fā)送至顯示屏34B的顯示區(qū)。在示范性實施例中，聲音筆60不在表面5上形成基于"墨水"的圖像。然而，在圖2中可最清楚地看出，圖形繪制表示單元54使用一系列位置坐標(biāo)x及y來仿真用戶在顯示屏34B上的手寫的手寫痕跡14。
參看圖6， 一系列手寫痕跡214在顯示屏234B中被展示為手跡字母"ha"。另一方面，顯示屏234A顯示經(jīng)由筆跡至文字轉(zhuǎn)換單元258表示所述痕跡或筆跡的計算機可讀交換碼的一系列標(biāo)準(zhǔn)符號或字符216。手寫痕跡214及符號或字符216的顯示位置用以允許理解而不用以限制。
再次參看圖2，筆跡辨識引擎56使用已知筆跡辨識軟件，例如(但不限于)隱馬爾科夫模型(HMM)技術(shù)，來解譯手寫痕跡14的圖形表示。筆跡辨識技術(shù)也揭示于Z'劉(Z. Liu)、 J '蔡(J. Cai)及R布斯(R. Buse)的"筆跡辨識"("Handwriting recognition",柏林施普林格出版社(Springer),版權(quán)2003)中。應(yīng)當(dāng)用用戶的筆跡來訓(xùn)練一些筆跡辨識軟件，以確保準(zhǔn)確辨識手寫痕跡14。筆跡至文字轉(zhuǎn)換單元58由筆跡辨識引擎56驅(qū)動以將經(jīng)辨識的手寫痕跡14轉(zhuǎn)換為計算機可讀交換碼，例如美國信息交換標(biāo)準(zhǔn)碼(ASCn)、擴充二進制編碼十進制交換碼(EBCDIC)等，以供裝置10使用。圖6實施例中的筆跡至文字轉(zhuǎn)換單元258也使用辨識結(jié)果以在顯示屏234A中以印刷體字母數(shù)字符號的形式顯示字母數(shù)字字符或符號216。
如圖4中所示，聲音筆60包括具有前端或尖端62的筆狀外殼64。尖端62當(dāng)壓在表面5上時促使從聲音源68發(fā)出聲音信號70。聲音源68耦接至電池或電源69。電池69、聲音源68及切換器66定位于外殼64內(nèi)部。在示范性實施例中，在尖端62不處于被按狀態(tài)時，通常斷開(關(guān))切換器66。然而，在尖端62按在表面上時，切換器66閉合且電力傳遞至聲音源68，從而發(fā)出聲音信號70。當(dāng)在表面5上手寫一字母數(shù)字輸入時，尖端62應(yīng)保持被按以完成至少一個字符的形成。
圖2的聲音驅(qū)動筆跡至文字組合件38與圖6的聲音驅(qū)動筆跡至文字組合件238的不同之處在于圖6的麥克風(fēng)陣列僅具有兩個麥克風(fēng)，而圖2的麥克風(fēng)陣列具有兩個以上麥克風(fēng)。
大體而言，將通過由麥克風(fēng)陣列40或240接收的信號之間的到達時間差及強度差
來追蹤聲音筆60的位置。痕跡14或214將顯示于顯示屏34B或234B上且通過使用當(dāng)
前筆跡辨識技術(shù)而辨識為字母數(shù)字符號。經(jīng)辨識的字母數(shù)字符號16或216顯示于顯示屏34A或234A上。
現(xiàn)在將關(guān)于圖6至圖8描述文字輸入的聲音方法，其中圖6包括兩個麥克風(fēng)的麥克風(fēng)陣列240。在字母數(shù)字輸入(下文中稱作"文字輸入")期間，將移動裝置IO放置在平坦表面5上，其中麥克風(fēng)陣列240不受阻礙地拾取聲音信號70。換言之，面朝上地放置麥克風(fēng)陣列240及/或裝置的前表面。然而，麥克風(fēng)陣列240可根據(jù)裝置的功能性及顯示屏的位置而放置于裝置外殼上的其它位置處。
在步驟S100處，用戶經(jīng)由聲音筆60在緊密接近于麥克風(fēng)陣列240的位置處在表面5上手寫所要的字母數(shù)字符號，所述位置允許聲音信號70由麥克風(fēng)陣列240俘獲。為便于理解所述方法，圖6的聲音信號70展示為在筆尖端62處開始、擴展而形成"V"且在麥克風(fēng)陣列240處終止的成假想圖的兩條線。當(dāng)被按下時，聲音筆60發(fā)出在聽不見的頻率范圍(>20kHz)中的聲音。
特定參看圖8中所示的圖形曲線，兩個較大黑點表示麥克風(fēng)陣列240的兩個麥克風(fēng)。標(biāo)注為s的點(黑點)為源位置。值t,、 t2表示信號從源行進至兩個麥克風(fēng)所需的時間。時間tr、 t2.及點S'與點ti、 t2及S相同但處于不同位置及時間。
參看圖7的流程圖，現(xiàn)在將描述移動裝置10的操作。在步驟S100中，聲音筆60產(chǎn)生信號，出于示范性目的，所述信號為窄帶信號。步驟S100之后是步驟S102，其中由麥克風(fēng)陣列240接收的信號被濾波器單元242濾波。步驟S102之后是步驟S104，其中經(jīng)由A/D轉(zhuǎn)換器244將經(jīng)濾波的信號轉(zhuǎn)換為數(shù)字信號以用于輸入至筆跡至文字轉(zhuǎn)換器250。麥克風(fēng)陣列240接收如等式"等式(l)"中所陳述的信號
y"^ocs(Z-ti)+rd(1)
等式(1)
y2(Z)=a2s(Z-t2)+Ti2(0
其中Z為離散時間指數(shù);t,及t2分別為信號從源筆60行進至兩個麥克風(fēng)所需的時間；(Xi (其中i- 1,2)為所接收的聲音信號70的振幅；且T^ (其中i =1，2)為無關(guān)于或獨立于信號s (Z)且彼此無關(guān)或獨立的背景噪聲。應(yīng)注意，因為組合件238為時間不變的，
所以兩個信號的關(guān)聯(lián)性僅取決于相對到達時間延遲(TODA)， T二lt,-t21，而非t!及t2的
絕對值。
聲音驅(qū)動位置確定單元252進行的源位置確定首先使用時間不變系統(tǒng)的關(guān)聯(lián)性質(zhì)而在連續(xù)(逐窗)的基礎(chǔ)上估計TDOA。每一窗為在5至20毫秒的范圍中的所接收信號
17的短區(qū)段。為了估計t，如由等式"等式(2)"所定義，在步驟S106處計算在長度為L的指定時間窗中所接收的信號的離散傅里葉變換(DFT)
Yjk)^S(k)+N"k)
Y2(k) = "2S(k>-Mr + N2(k)
其中S(k)為源信號s(l) (k = 0， 1， ，,，L/2)的L點DFT， cok = 2兀k/L。 DFT的交叉關(guān)聯(lián)性可在等式"等式(3)"中計算為
其中*表示共軛算子。TDOA、 t現(xiàn)在表現(xiàn)為復(fù)相項的部分且因此不限于整數(shù)值。因此，在步驟S108中使用等式"等式(4)"中的估計來計算TDOA
假定噪聲的強度比所接收信號的強度小得多。使用麥克風(fēng)陣列進行源定位的實例揭示于D '諾賓金(D. Rabinkin)、 R '瑞諾曼侖(R. Renomeron)、 A *達赫(A. Dahl)、 J '弗倫奇(J. French)、 J 弗拉納根(J. Flanagan)及M 班奇(M. Bianchi)的"使用麥克風(fēng)陣列的源定位的DSP實施方案"("A DSP Implementation of Source Location UsingMicrophone Arrays",《美國聲學(xué)協(xié)會期刊》(J. Acoust. Soc. Am.)，第99巻，第2503頁，四月版權(quán)1996)中。
TDOA、 t僅定義信號到達時間差，且因此定義如圖8中所示的二維平面上的雙曲線。因為雙曲線上的任何點均將產(chǎn)生相同t，所以需要另一約束條件來唯一地指定源筆60的位置。此可由所接收信號的強度信息來完成。
根據(jù)聲音傳輸?shù)睦碚摚曇粜盘柕恼穹?等式"等式(5)")與聲音源(聲音筆60)與接收器(麥克風(fēng)陣列240中的每一麥克風(fēng))之間的距離的平方成反比，因此
<formula>formula see original document page 18</formula>等式(5)<formula>formula see original document page 19</formula>
其中ri，i=l，2為聲音源60與麥克風(fēng)陣列40中的麥克風(fēng)中的一者之間的歐幾里德(Euclidean)距離。因為在等式"等式(6)"中定義的振幅比率(在步驟S110處計算)
"2 等式(6)
在短時間窗內(nèi)為常數(shù)且可根據(jù)在麥克風(fēng)處所接收的信號得以估計，所以等式"等式(7)"
r22 = (x-x2)2 +(y_y2)2 =R
r, (x-xJ+(y-y！)2 等式(7)
將產(chǎn)生另一二次曲線(圓)，其中Xi、 yi，i=l,2為麥克風(fēng)的已知固定坐標(biāo)。此曲線與來自TDOA的雙曲線的相交將確定源位置坐標(biāo)x及y (在步驟S112處計算)，從而完成給定時間窗內(nèi)的源位置估計。
當(dāng)在步驟S112處確定了坐標(biāo)x及y時，圖形繪制表示單元254將瞬時源x及y坐標(biāo)映射至顯示屏234B的顯示區(qū)以在步驟S114處在顯示區(qū)上顯示。確定一系列筆位置或x及y坐標(biāo)以形成手寫痕跡。手寫痕跡的集合可表示一個或一個以上字母數(shù)字符號。
在步驟S116處，進行痕跡(筆跡)是否完成的確定。如果決定為"否"，則過程返回至步驟S106，直至聲音筆60被短暫或完全舉起以結(jié)束痕跡。圖形繪制表示單元254確定所顯示的一系列筆位置點。如果痕跡完成，則在辨識手寫痕跡214的步驟S118處將數(shù)據(jù)發(fā)送至筆跡辨識引擎256。步驟S118之后是步驟S120,其中通過筆跡至文字轉(zhuǎn)換單元258將經(jīng)辨識的筆跡轉(zhuǎn)換為計算機可讀交換碼，例如ASCII、 EBCDIC等。經(jīng)轉(zhuǎn)換的字母數(shù)字字符或符號216在步驟S122處顯示于顯示屏234A上且可被存儲，用作用于輸入名稱、數(shù)據(jù)及消息的文字輸入，或用以喚起裝置io中的導(dǎo)航功能。
在圖5中展示移動裝置100的替代實施例。移動裝置100除使用聲音驅(qū)動筆跡至文字組合件138之外，還使用降噪組合件160。降噪組合件160與具有兩個或兩個以上麥克風(fēng)的麥克風(fēng)陣列140介接，且從所述麥克風(fēng)陣列140接收信號。當(dāng)經(jīng)由麥克風(fēng)30輸入語音時，所接收的信號將能夠提取環(huán)境中的背景噪聲以便可在電話呼叫期間消除背景噪聲。在操作中，在降噪組合件160操作時，聲音驅(qū)動筆跡至文字組合件138的其它組件被停用。同樣，當(dāng)聲音驅(qū)動筆跡至文字組合件138操作時，降噪組合件160被停用。降噪組合件160的操作使用時間空間自適應(yīng)濾波器(例如盲源分離算法)以分離語音信號與干擾噪聲。盲源分離的實例由盧卡斯 帕拉(Lucas Para)及克雷 斯賓賽(ClaySpence)于"非固定源的巻積盲分離"("Co蹈lutive Blind Separation of Non-StationarySources",《IEEE語音及音頻處理通訊》，(IEEE Transactions on Speech and AudioProcessing),第8巻，第3期，第1063-6676頁，版權(quán)2000)中揭示。另外，空間時間語音增強揭示于E 維賽(E. Visser)、 M 大冢(M. Otsuka)及T 李(T. Lee)的"用于噪聲環(huán)境中的穩(wěn)固語音辨識的空間時間語音增強"("A Spatio-temporal SpeechEnhancement for Robust Speech Recognition .in Noisy Environments",《語音通信》，(Speech Communication),第41巻，第393-407頁，版權(quán)2003)中。
在圖9中所示的替代實施例中，麥克風(fēng)陣列340包括多個(兩個或兩個以上)寬帶聲音傳感器330，其具有100 Hz至22k Hz范圍中的頻率響應(yīng)。麥克風(fēng)陣列340用以同時接收來自用戶的語音(例如在電話呼叫期間)、及聲音信號70。傳感器330的頻率響應(yīng)的范圍將隨語音輸入及用于文字輸入的聲音信號70的頻率而變。在所述實施例中，可不需要在圖1、 2、 3及5中所示的實施例的單獨麥克風(fēng)30。
麥克風(fēng)陣列340耦接至模式切換器332以在用于文字輸入模式的聲音驅(qū)動筆跡至文字組合件338與用于語音輸入模式的降噪組合件360之間同時切換麥克風(fēng)陣列340的多個寬帶聲音傳感器330的路徑。在圖9的實施例中，聲音驅(qū)動筆跡至文字組合件338與聲音驅(qū)動筆跡至文字組合件38、 138或238基本上相同，除了與降噪組合件360共享麥克風(fēng)陣列340之外。
在文字輸入模式中，將麥克風(fēng)陣列340的路徑發(fā)送至聲音驅(qū)動筆跡至文字組合件338的帶通濾波器單元342。將經(jīng)濾波的信號發(fā)送至A/D轉(zhuǎn)換器344，所述信號被傳遞至筆跡至文字轉(zhuǎn)換器350。筆跡至文字轉(zhuǎn)換器350的功能與筆跡至文字轉(zhuǎn)換器50及250相同。
在語音輸入模式中，降噪組合件360與麥克風(fēng)陣列340介接以從用戶接收語音。然而，麥克風(fēng)陣列340時常也會感測或拾取到噪聲。從麥克風(fēng)陣列340接收的信號由低通濾波器單元362濾波。隨后，經(jīng)濾波的信號由A/D轉(zhuǎn)換器364轉(zhuǎn)換為數(shù)字信號且由降噪處理器366處理。當(dāng)經(jīng)由麥克風(fēng)陣列340輸入語音時，降噪處理器366提取環(huán)境中的背景噪聲或其它噪聲以便可在電話呼叫期間消除噪聲。降噪處理器366使用時間空間自適應(yīng)濾波器(例如盲源分離算法)以分離語音信號與干擾噪聲。
出于說明及描述的目的，已提供對本發(fā)明的實施例的以上描述。其不意圖為詳盡的 或?qū)⒈景l(fā)明限于所揭示的精確形式，且根據(jù)以上教示可進行修改及變化，或可通過實踐 本發(fā)明而獲得所述修改或變化。選擇及描述實施例以闡釋本發(fā)明的原理及其實際應(yīng)用以 使所屬領(lǐng)域的技術(shù)人員能夠在各種實施例中且加以適于所涵蓋的特定用途的修改而利 用本發(fā)明。本發(fā)明的范圍意圖由附屬于其的權(quán)利要求書及其等效物界定。
權(quán)利要求
1. 一種移動裝置，其包含具有第一顯示區(qū)及第二顯示區(qū)的外殼；整合至所述外殼中的麥克風(fēng)陣列，所述麥克風(fēng)陣列具有多個麥克風(fēng)，所述麥克風(fēng)可操作以在與所述外殼分離且接近所述外殼的表面上手寫字母數(shù)字符號時在所述外殼上的多個位置處感測來自聲音筆的聲音信號；及筆跡至文字轉(zhuǎn)換器，其在所述第一顯示區(qū)上用圖形表示所述字母數(shù)字符號的仿真手寫痕跡，且將所述字母數(shù)字符號轉(zhuǎn)換為表示所述字母數(shù)字符號的計算機可讀交換碼以顯示于所述第二顯示區(qū)上。
2. 根據(jù)權(quán)利要求1所述的移動裝置；其中所述筆跡至文字轉(zhuǎn)換器包含聲音驅(qū)動位置確 定單元，其在所述手寫期間移動所述聲音筆時基于由每一相應(yīng)麥克風(fēng)感測到的所述 聲音信號的到達時間差及強度差來確定一系列筆位置。
3. 根據(jù)權(quán)利要求l所述的移動裝置；其中所述聲音信號處于聽不見的頻率范圍中。
4. 根據(jù)權(quán)利要求3所述的移動裝置；其中所述多個麥克風(fēng)中的至少一個麥克風(fēng)為多模 式麥克風(fēng)，其中在第一模式中，所述多模式麥克風(fēng)以所述裝置的語音輸入模式操作， 且在第二模式中，所述多模式麥克風(fēng)以所述裝置的筆跡至文字輸入模式操作。
5. 根據(jù)權(quán)利要求4所述的移動裝置；其進一步包含耦接至所述麥克風(fēng)陣列的降噪組合 件；其中在所述至少一個麥克風(fēng)處于所述語音輸入模式時，所述降噪組合件響應(yīng)于 從所述麥克風(fēng)陣列接收的語音信號以降低來自所述語音信號的噪聲。
6. 根據(jù)權(quán)利要求1所述的移動裝置；其中所述裝置包含蜂窩式電話、移動電話、無線 電話、個人數(shù)字助理(PDA)及膝上型計算機中的一者。
7. 根據(jù)權(quán)利要求1所述的移動裝置；其中所述多個麥克風(fēng)沿所述外殼的一側(cè)連續(xù)布 置。
8. 根據(jù)權(quán)利要求1所述的移動裝置；其中所述麥克風(fēng)陣列包含第一麥克風(fēng)及第二麥克
9. 根據(jù)權(quán)利要求8所述的移動裝置；其中從所述聲音筆發(fā)出的每一聲音信號由所述第 一麥克風(fēng)及所述第二麥克風(fēng)感測，所述每一所發(fā)出的聲音信號形成由以下等式定義的兩個所接收的聲音信號y!(Z)及y2(Z)yi(^as(m)+Th(/) y2(Z)=a2s("2)+Ti2(Z)其中Z為離散時間指數(shù)；t,及t2分別為所述兩個聲音信號從所述聲音筆行進至所 述第一麥克風(fēng)及所述第二麥克風(fēng)所需的時間；ai，i= 1,2為所述所接收的聲音信號的 振幅；iii， i =1，2為無關(guān)于或獨立于所述所發(fā)出的聲音信號s(Z)且彼此無關(guān)或獨立的 背景噪聲；且其中所述兩個所接收的聲音信號的關(guān)聯(lián)性取決于相對到達時間延遲(TODA)， t=It,- t2l，其中所述時間t,為到達所述第一麥克風(fēng)的時間且所述時間t2為到達所述第二麥克風(fēng)的時間。
10. 根據(jù)權(quán)利要求9所述的移動裝置；其中所述TDOA計算為f Y ) "maxrlDFT !--r其中Y!(k)為y,(Z)的離散傅里葉變換(DFT)且Y/ (k)為y2(Z)的所述DFT且 表示復(fù)共軛且其可定義為Y"k)^S(k) + N"k) Y2(k) = a2S(k)e-Mr + N2(k)其中S(k)為所述所發(fā)出的源信號s(l) (k = 0, 1, ，，，L/2)的N點DFT， cok = 2兀k/L; 且其中Y,2為所述DFT的交叉關(guān)聯(lián)性，其計算為Y12 =
11. 根據(jù)權(quán)利要求IO所述的移動裝置；其中每一所接收的聲音信號的所述振幅與所述 聲音筆與每一麥克風(fēng)之間的距離的平方成反比例且由以下等式表示<formula>formula see original document page 4</formula>及其中ri， 1=1，2為所述聲音筆與所述第一麥克風(fēng)及所述第二麥克風(fēng)中的一者之間的 歐幾里德距離，其中如下定義的振幅比率R = !在短時間窗內(nèi)為常數(shù)且在所述第一麥克風(fēng)及所述第二麥克風(fēng)處估計為r22 = (x-x2)2 +(y-y2)2 =Rif (x一x,)2+(y一y,)2其中Xl、 y,， id，2為所述第一麥克風(fēng)及所述第二麥克風(fēng)的已知固定坐標(biāo)且用以確 定源位置坐標(biāo)x及y以在所述第一顯示區(qū)上用圖形表示所述仿真手寫痕跡。
12. 根據(jù)權(quán)利要求l所述的移動裝置；其中所述麥克風(fēng)陣列包括具有100Hz至22kHz范圍中的頻率響應(yīng)的寬帶聲音傳感器，且用以同時從用戶接收語音且從所述聲音筆 接收所述聲音信號以輸入文字。
13. 根據(jù)權(quán)利要求l所述的移動裝置；其進一步包含用于傳送無線通信信號的天線；及 可操作以傳輸及接收所述無線通信信號的收發(fā)器。
14. 一種移動裝置，其包含外殼；顯示裝置，其整合于所述外殼中以用于在第一顯示區(qū)及第二顯示區(qū)上進行顯示； 感測裝置，其整合于所述外殼中以在與所述外殼分離且接近所述外殼的表面上手寫字母數(shù)字符號時在所述外殼上的多個位置處感測來自聲音筆的聲音信號；及 表示及轉(zhuǎn)換裝置，其用于用圖形表示所述字母數(shù)字符號的仿真手寫痕跡以顯示于所述第一顯示區(qū)上，且用于將所述字母數(shù)字符號轉(zhuǎn)換為表示所述字母數(shù)字符號的計算機可讀交換碼以顯示于所述第二顯示區(qū)中。
15. 根據(jù)權(quán)利要求14所述的移動裝置；其中所述表示及轉(zhuǎn)換裝置包括用于在移動所述 聲音筆時基于所述聲音信號的到達時間差及強度差來定位一系列筆位置的裝置。
16. 根據(jù)權(quán)利要求14所述的移動裝置；其中所述聲音信號處于聽不見的頻率范圍中。
17. 根據(jù)權(quán)利要求16所述的移動裝置；其中所述感測裝置包括至少一個多模式傳感器， 其中在第一模式中，所述至少一個多模式傳感器以所述裝置的語音輸入模式操作以 感測來自用戶的語音輸入信號，且在第二模式中，所述至少一個多模式傳感器以所 述裝置的筆跡至文字輸入模式操作以感測所述聲音信號。
18. 根據(jù)權(quán)利要求17所述的移動裝置；其進一步包含降噪裝置，所述降噪裝置耦接至 所述感測裝置以響應(yīng)于來自所述感測裝置的信號而降低來自所述語音輸入信號的 噪聲。
19. 根據(jù)權(quán)利要求14所述的移動裝置；其中所述裝置包含蜂窩式電話、移動電話、無 線電話、個人數(shù)字助理(PDA)及膝上型計算機中的一者。
20. 根據(jù)權(quán)利要求14所述的移動裝置；其中所述多個位置沿所述外殼裝置的周邊側(cè)連 續(xù)布置。
21. 根據(jù)權(quán)利要求14所述的移動裝置；其中所述感測裝置包括第一麥克風(fēng)及第二麥克風(fēng)。
22. 根據(jù)權(quán)利要求21所述的移動裝置;其中從所述聲音筆發(fā)出的每一聲音信號由所述第一麥克風(fēng)及所述第二麥克風(fēng)感測，所述每一所發(fā)出的聲音信號形成由以下等式定義的兩個所接收的聲音信號y,(O及y2(0y!(Z):ons(Z-W+Tn(Z) y2(Z)=a2s("2)+ri2(0其中Z為離散時間指數(shù)；t,及t2分別為所述兩個聲音信號從所述聲音筆行進至所 述第一麥克風(fēng)及所述第二麥克風(fēng)所需的時間；ai，i= 1，2為所述所接收的聲音信號的 振幅；w，i =1，2為無關(guān)于或獨立于所述所發(fā)出的聲音信號s(/)且彼此無關(guān)或獨立的 背景噪聲；且其中所述兩個所接收的聲音信號的關(guān)聯(lián)性取決于相對到達時間延遲(TODA)， t=|tl- t2|，其中所述時間h為到達所述第一麥克風(fēng)的時間且所述時間t2為到達所述第二麥克風(fēng)的時間。
23. 根據(jù)權(quán)利要求22所述的移動裝置；其中所述TDOA計算為r = maxJDFT(！————^其中Yi(k)為yK/)的離散傅里葉變換(DFT)且Y,(k)為y2(/)的所述DFT且*表示復(fù)共軛且其可定義為Yt(k):c^S(k)+N,(k) Y2(k) = "2S(k)e-Mr+N2(k)其中S(k)為所述所發(fā)出的源信號s(l)(k = 0, 1，，，，L/2)的N點DFT' wk= 2兀k/L; 且其中Yu為所述DFT的交叉關(guān)聯(lián)性，其計算為Y!2-Y!(k)Y^(k)。
24. 根據(jù)權(quán)利要求23所述的移動裝置；其中每一所接收的聲音信號的所述振幅與所述 聲音筆與每一麥克風(fēng)之間的距離的平方成反比例且由以下等式表示《《 = 1,2及其中r,，i=l，2為所述聲音筆與所述第一麥克風(fēng)及所述第二麥克風(fēng)中的一者之間的 歐幾里德距離，其中如下定義的振幅比率在短時間窗內(nèi)為常數(shù)且在所述第一麥克風(fēng)及所述第二麥克風(fēng)處估計為r22 = (x-x2)2 +(y-y2)2 =R (x-x')2+(y-y,)2其中Xi、 y,，i-l，2為所述第一麥克風(fēng)及所述第二麥克風(fēng)的已知固定坐標(biāo)且用以確 定源位置坐標(biāo)x及y以在所述第一顯示區(qū)上用圖形表示所述仿真手寫痕跡。
25. 根據(jù)權(quán)利要求14所述的移動裝置；其中所述感測裝置包括具有100 Hz至22k Hz范圍中的頻率響應(yīng)的寬帶聲音傳感器，且用以同時從用戶接收語音且從所述聲音筆接收所述聲音信號以輸入文字。
26. 根據(jù)權(quán)利要求14所述的移動裝置；其進一步包含用于傳輸及接收無線通信信號的 裝置。
27. —種移動通信裝置，其包含用于傳輸及接收無線通信信號的無線收發(fā)器； 具有第一顯示區(qū)及第二顯示區(qū)的外殼；整合至所述外殼中的麥克風(fēng)陣列，所述麥克風(fēng)陣列具有多個麥克風(fēng)，所述麥克風(fēng) 可操作以在與所述外殼分離且接近所述外殼的表面上手寫字母數(shù)字符號時在所述外殼上的多個位置處感測來自聲音筆的聲音信號；及筆跡至文字轉(zhuǎn)換器，其可操作以用圖形表示所述字母數(shù)字符號的仿真手寫痕跡以 顯示于所述第一顯示區(qū)上，且將所述字母數(shù)字符號轉(zhuǎn)換為表示所述字母數(shù)字符號的 計算機可讀交換碼以顯示于所述第二顯示區(qū)中。
28. 根據(jù)權(quán)利要求27所述的移動通信裝置；其中所述筆跡至文字轉(zhuǎn)換器包含聲音驅(qū)動 位置確定單元，其用于在所述手寫期間移動所述聲音筆時基于由每一相應(yīng)麥克風(fēng)感 測到的所述聲音信號的到達時間差及強度差來確定一系列筆位置。
29. 根據(jù)權(quán)利要求27所述的移動通信裝置；其中所述聲音信號處于聽不見的頻率范圍中。
30. 根據(jù)權(quán)利要求27所述的移動通信裝置；其中所述多個麥克風(fēng)中的至少一個麥克風(fēng) 為多模式麥克風(fēng)，其中在第一模式中，所述多模式麥克風(fēng)以所述裝置的語音輸入模 式操作，且在第二模式中，所述多模式麥克風(fēng)以所述裝置的筆跡至文字輸入模式操 作。
31. 根據(jù)權(quán)利要求30所述的移動通信裝置；其進一步包含耦接至所述麥克風(fēng)陣列的降 噪組合件；其中在所述至少一個麥克風(fēng)處于所述語音輸入模式時，所述降噪組合件響應(yīng)于從所述麥克風(fēng)陣列接收的語音信號以降低來自所述語音信號的噪聲。
32. 根據(jù)權(quán)利要求27所述的移動通信裝置；其中所述無線通信信號包含蜂窩式電話呼叫、移動呼叫、無線電話呼叫及衛(wèi)星電話呼叫中的一者。
33. 根據(jù)權(quán)利要求27所述的移動通信裝置；其中所述麥克風(fēng)陣列包括具有100 Hz至 22 kHz范圍中的頻率響應(yīng)的寬帶聲音傳感器，且用以同時從用戶接收語音且從所 述聲音筆接收所述聲音信號以輸入文字。
34. —種用于移動裝置的聲音驅(qū)動文字輸入的方法，所述移動裝置具有一具第一顯示區(qū) 及第二顯示區(qū)的外殼及麥克風(fēng)陣列，所述方法包含以下步驟在與所述外殼分離且接近所述外殼的表面上手寫字母數(shù)字符號時通過所述麥克風(fēng)陣列在所述移動裝置的所述外殼上的多個位置處感測來自聲音筆的聲音信號； 在所述第一顯示區(qū)上用圖形表示所述字母數(shù)字符號的仿真手寫痕跡； 將所述手寫痕跡轉(zhuǎn)換為表示所述字母數(shù)字符號的計算機可讀交換碼；及 將所述經(jīng)轉(zhuǎn)換的字母數(shù)字符號顯示于所述第二顯示區(qū)中。
35. 根據(jù)權(quán)利要求34所述的方法；其中所述用圖形表示步驟包括以下步驟在移動所 述聲音筆時基于所述聲音信號的到達時間差及強度差來定位一系列筆位置。
36. 根據(jù)權(quán)利要求34所述的方法；其中所述聲音信號處于聽不見的頻率范圍中。
37. 根據(jù)權(quán)利要求34所述的方法；其進一步包含以下步驟切換所述麥克風(fēng)陣列以用于進入所述移動裝置的語音輸入及由所述麥克風(fēng)陣列感測所述語音輸入。
38. 根據(jù)權(quán)利要求37所述的方法；其進一步包含降低來自所述經(jīng)感測的語音輸入的噪聲的步驟。
39. —種移動通信裝置，其包含無線通信收發(fā)器，其可操作以傳送無線通信信號；外殼，其具有第一顯示區(qū)及第二顯示區(qū)；聲音筆，其用于在與所述外殼分離且接近所述外殼的表面上手寫至少一個字母數(shù)字符號時發(fā)出聲音信號；及聲音驅(qū)動筆跡至文字組合件，其用于接收由所述聲音筆發(fā)出的聲音信號、在所述 第一顯示區(qū)上用圖形表示所述至少一個字母數(shù)字符號的仿真手寫痕跡，及將所述至 少一個字母數(shù)字符號轉(zhuǎn)換為表示所述至少一個字母數(shù)字符號的至少一個計算機可讀交換碼以顯示于所述第二顯示區(qū)中。
40. 根據(jù)權(quán)利要求39所述的移動通信裝置；其中所述聲音驅(qū)動筆跡至文字組合件包括第一麥克風(fēng)及第二麥克風(fēng)。
41. 根據(jù)權(quán)利要求40所述的移動通信裝置;其中每一所發(fā)出的聲音信號由所述第一麥克風(fēng)及所述第二麥克風(fēng)接收，所述每一所發(fā)出的聲音信號形成由以下等式定義的兩個所接收的聲音信號力(/)及y2(/) y2(/)=a2s("2)+ri2(Z)其中Z為離散時間指數(shù)；t,及t2分別為所述兩個聲音信號從所述聲音筆行進至所 述第一麥克風(fēng)及所述第二麥克風(fēng)所需的時間；ai,i= 1,2為所述所接收的聲音信號的 振幅；ri,，i =1,2為無關(guān)于或獨立于所述所發(fā)出的聲音信號s(Z)且彼此無關(guān)或獨立的 背景噪聲；且其中所述兩個所接收的聲音信號的關(guān)聯(lián)性取決于相對到達時間延遲(TODA)， t =ltr t2l，其中所述時間h為到達所述第一麥克風(fēng)的時間且所述時間t2為到達所述 第二麥克風(fēng)的時間。
42. 根據(jù)權(quán)利要求41所述的移動通信裝置；其中所述TDOA計算為<formula>formula see original document page 10</formula>其中YKk)為y"Z)的離散傅里葉變換(DFT)且Y^(k)為y2(Z)的所述DFT且*表 示復(fù)共軛且其可由以下等式定義Y"k卜",S(k)+N"k) Y2(k) = a2S(k)e-Mr + N2(k)其中S(k)為所述所發(fā)出的源信號s(l) (k = 0， 1， ，，，L/2)的N點DFT，叫=2兀k/L; 且其中Yi2為所述DFT的交叉關(guān)聯(lián)性，其計算為Y,「Y,(k)Y,(k)。
43. 根據(jù)權(quán)利要求42所述的移動通信裝置；其中每一所接收的聲音信號的所述振幅與 所述聲音筆與每一麥克風(fēng)之間的距離的平方成反比例且由以下等式表示<formula>formula see original document page 11</formula>及<formula>formula see original document page 11</formula>其中n,i=l,2為所述聲音筆與所述第一麥克風(fēng)及所述第二麥克風(fēng)中的一者之間的 歐幾里德距離，其中如下定義的振幅比率<formula>formula see original document page 11</formula>在短時間窗內(nèi)為常數(shù)且在所述第一麥克風(fēng)及所述第二麥克風(fēng)處估計為r22 = (x_x2)2 +(y_y2)2 =R ri2(x-x,)2+(y-y,)2其中Xi、 yi,i=l，2為所述第一麥克風(fēng)及所述第二麥克風(fēng)的已知固定坐標(biāo)且用以確 定源位置坐標(biāo)x及y以在所述第一顯示區(qū)上用圖形表示所述仿真手寫痕跡。
全文摘要
本發(fā)明提供一種移動裝置，其具有一具第一顯示區(qū)及第二顯示區(qū)的外殼。一麥克風(fēng)陣列整合至所述外殼中且具有麥克風(fēng)，所述麥克風(fēng)可操作以當(dāng)在一與所述外殼分離且接近所述外殼的表面上手寫字母數(shù)字符號時在所述外殼上的多個位置處感測來自聲音筆的聲音信號。一手寫筆跡至文字轉(zhuǎn)換器可操作以用圖形表示所述字母數(shù)字符號的仿真手寫痕跡以顯示于所述第一顯示區(qū)上，且將所述字母數(shù)字符號轉(zhuǎn)換為表示所述字母數(shù)字符號的計算機可讀交換碼以顯示于所述第二顯示區(qū)中。
文檔編號G06F3/043GK101506759SQ200780030839
公開日2009年8月12日 申請日期2007年8月24日 優(yōu)先權(quán)日2006年8月24日
發(fā)明者齊英勇 申請人:高通股份有限公司