專利名稱：應(yīng)用于多媒體輸入設(shè)備的多媒體輸入方法
技術(shù)領(lǐng)域：
本發(fā)明是有關(guān)于一種應(yīng)用于多媒體輸入設(shè)備的多媒體輸入方法，特別是有關(guān)于一種以唇形影像辨識(shí)文字信息為主的多媒體輸入方法。
背景技術(shù)：
早期，在信息通信技術(shù)不發(fā)達(dá)的年代，研發(fā)各項(xiàng)電子信息產(chǎn)品的目的旨在促進(jìn)信息的流通可以不受時(shí)間、空間的限制。而近年，隨著電子信息科技技術(shù)的提升、人們對(duì)于生活?yuàn)蕵返闹匾?、及?duì)便利的生活的講究，促使電子信息產(chǎn)品的研發(fā)逐漸朝向重視人性化及多元化的趨勢(shì)發(fā)展。而讓各種電子通信產(chǎn)品能更加人性化的首要目的即在提高用戶和電子信息產(chǎn)品 之間互動(dòng)的便利性，即提供使用者能以更加多樣化的方式和電子信息產(chǎn)品產(chǎn)生互動(dòng)，而不受特定方式的限定。由此，除了最早期被廣泛應(yīng)用于各種電子信息產(chǎn)品的手寫輸入法，語音輸入法也逐漸的被廣泛應(yīng)用在各種電子信息產(chǎn)品上。例如，習(xí)知的手機(jī)已存在用戶可以通過語音輸入，來取代傳統(tǒng)的手寫輸入模式輸入手機(jī)短信的功能，以避免傳統(tǒng)手寫輸入法耗費(fèi)時(shí)間的缺點(diǎn)，又可利用語音輸入取代傳統(tǒng)遙控器，來控制電視臺(tái)的頻道切換等。然而語音輸入法較傳統(tǒng)手寫輸入法，雖可以改善傳統(tǒng)手寫輸入耗費(fèi)時(shí)間的缺點(diǎn)，但在很多情況下，僅有語音輸入法或手寫輸入法仍是不夠的。例如，當(dāng)將電子產(chǎn)品應(yīng)用在游戲的娛樂功能上時(shí)，單調(diào)的輸入法會(huì)限制了游戲的樂趣，又雖語音輸入法對(duì)大部分的使用者來說已具備十足的便利性，但對(duì)于言語不便的使用者，例如插管的病患、啞巴或發(fā)音障礙者，則無法解決其所面臨的不便利性。為了讓各種電子通信產(chǎn)品能夠更廣泛的適合并滿足各式各樣的用戶，發(fā)展多元的信息輸入方式是不可避免的。

發(fā)明內(nèi)容
由于現(xiàn)有技術(shù)的上述問題，本發(fā)明的目的就是在提供一種應(yīng)用于多媒體輸入設(shè)備的多媒體輸入方法，以達(dá)到多元化的信息輸入的功效。根據(jù)本發(fā)明的目的，提出一種應(yīng)用于多媒體輸入設(shè)備的多媒體輸入方法。該多媒體輸入設(shè)備包含一攝像單元、一處理模塊、一唇形編碼數(shù)據(jù)庫(kù)、一唇讀分析單元及一顯示模塊。且本發(fā)明的多媒體輸入方法，其步驟包含由一攝像單元拍攝用戶的一唇形影像。一處理模塊自攝像單元接收唇形影像，并通過一唇讀分析單元對(duì)唇形影像進(jìn)行編碼，得到一辨識(shí)后的唇形編碼。通過處理模塊進(jìn)一步將辨識(shí)后的唇形編碼與一唇形編碼數(shù)據(jù)庫(kù)所儲(chǔ)存的多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以辨識(shí)是否得到符合辨識(shí)后的唇形編碼的一第一文字結(jié)果，以及當(dāng)辨識(shí)后得到符合辨識(shí)后的唇形編碼的第一文字結(jié)果，即將第一文字結(jié)果傳輸至一顯示模塊，由顯示模塊顯示第一文字結(jié)果。其中，唇形編碼數(shù)據(jù)庫(kù)更提供儲(chǔ)存辨識(shí)后的唇形編碼，以作為下次辨識(shí)唇形影像的參考依據(jù)。
其中，唇形編碼數(shù)據(jù)庫(kù)還儲(chǔ)存有多個(gè)國(guó)家語言的標(biāo)準(zhǔn)唇形編碼，并提供設(shè)置此多個(gè)國(guó)家語言的其中之一為多媒體輸入設(shè)備的一默認(rèn)語言。其中，唇形編碼為唇讀分析單元將唇形影像的各唇形特征點(diǎn)于平面坐標(biāo)軸上定義所得的坐標(biāo)值。其中，攝像單元還包括提供拍攝用戶的一面部表情影像，且多媒體輸入設(shè)備還包括一面部表情編碼數(shù)據(jù)庫(kù)及一面部表情分析單元。面部表情編碼數(shù)據(jù)庫(kù)是提供儲(chǔ)存多個(gè)標(biāo)準(zhǔn)面部表情編碼，每一標(biāo)準(zhǔn)面部表情編碼各自有相對(duì)應(yīng)的文字；面部表情分析單元是提供 對(duì)面部表情影像進(jìn)行編碼，以得到一辨識(shí)后的面部表情編碼；且處理模塊并可進(jìn)一步將辨識(shí)后的面部表情編碼與多個(gè)標(biāo)準(zhǔn)面部表情編碼進(jìn)行比對(duì)，及將辨識(shí)后的唇形編碼與多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以得到對(duì)應(yīng)于辨識(shí)后的面部表情編碼及辨識(shí)后的唇形編碼的一第二文字結(jié)果，且面部表情編碼數(shù)據(jù)庫(kù)更提供儲(chǔ)存辨識(shí)后的面部表情編碼，以作為下次辨識(shí)面部表情影像的參考依據(jù)。其中，攝像單元還包括提供拍攝用戶的一手勢(shì)影像，且多媒體輸入設(shè)備還包括一手勢(shì)編碼數(shù)據(jù)庫(kù)及一手勢(shì)分析單元。手勢(shì)編碼數(shù)據(jù)庫(kù)是提供儲(chǔ)存多個(gè)標(biāo)準(zhǔn)手勢(shì)編碼，每一標(biāo)準(zhǔn)手勢(shì)編碼各自有相對(duì)應(yīng)的文字；及手勢(shì)分析單元，是提供對(duì)手勢(shì)影像進(jìn)行編碼，以得到一辨識(shí)后的手勢(shì)編碼。處理模塊并可進(jìn)一步將辨識(shí)后的手勢(shì)編碼與多個(gè)標(biāo)準(zhǔn)手勢(shì)編碼進(jìn)行比對(duì)，及將辨識(shí)后的唇形編碼與多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以得到對(duì)應(yīng)于辨識(shí)后的手勢(shì)編碼及辨識(shí)后的唇形編碼的一第三文字結(jié)果，且手勢(shì)編碼數(shù)據(jù)庫(kù)還提供儲(chǔ)存辨識(shí)后的手勢(shì)編碼，以作為下次辨識(shí)手勢(shì)影像的參考依據(jù)。其中，此多媒體輸入設(shè)備還包括一語音輸入單兀，且此多媒體輸入設(shè)備還包括一語音編碼數(shù)據(jù)庫(kù)及一語音分析單元。語音輸入單元是連接于處理模塊，提供輸入一語音消息，語音數(shù)據(jù)庫(kù)是提供儲(chǔ)存多個(gè)標(biāo)準(zhǔn)語音編碼，每一標(biāo)準(zhǔn)語音編碼各自有相對(duì)應(yīng)的文字，語音分析模塊是提供對(duì)語音消息進(jìn)行編碼，以得到一辨識(shí)后的語音編碼。處理模塊并可進(jìn)一步將辨識(shí)后的語音編碼與多個(gè)標(biāo)準(zhǔn)語音編碼進(jìn)行比對(duì)，及將辨識(shí)后的唇形編碼與多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以得到對(duì)應(yīng)于辨識(shí)后的語音編碼及辨識(shí)后的唇形編碼的一第四文字結(jié)果，且語音編碼數(shù)據(jù)庫(kù)還提供儲(chǔ)存辨識(shí)后的語音編碼，以作為下次辨識(shí)語音消息的參考依據(jù)。綜上所述，本發(fā)明的多媒體輸入設(shè)備及其方法，可具有一或多個(gè)下述優(yōu)點(diǎn)
(I)本發(fā)明的多媒體輸入方法可由輸入用戶的唇形影像、面部表情影像、手勢(shì)影像或語音消息，達(dá)到輸入文字信息于一電子信息裝置的目的，而可增進(jìn)輸入文字信息時(shí)的方便性。(2)本發(fā)明的多媒體輸入方法具有自動(dòng)學(xué)習(xí)機(jī)制，因此對(duì)擁有該多媒體輸入設(shè)備的用戶而言，本發(fā)明的多媒體輸入方法，有如記憶枕般可記憶用戶的唇形影像、面部表情影像、手勢(shì)影像及語音消息，讓用戶輸入信息時(shí)，可以隨著使用時(shí)間及累積輸入次數(shù)的增加而越來越具便利性。(3)本發(fā)明的多媒體輸入方法由于可由輸入用戶的唇形影像、面部表情影像、手勢(shì)影像或語音消息，達(dá)到輸入文字信息于一電子信息裝置的目的，因此可使用在游戲的應(yīng)用上，增加游戲的趣味性。


圖I為本發(fā)明的多媒體輸入設(shè)備的一實(shí)施例方塊圖。圖2為本發(fā)明的唇唇型影像的坐標(biāo)分析示意圖。圖3為本發(fā)明的面部表情影像的坐標(biāo)分析示意圖。圖4為本發(fā)明的多媒體輸入方法的實(shí)施例I的步驟流程圖。圖5為本發(fā)明的多媒體輸入方法的實(shí)施例2的步驟流程圖。圖6為本發(fā)明的多媒體輸入方法的實(shí)施例3的步驟流程圖。 圖7為本發(fā)明的多媒體輸入方法的實(shí)施例4的步驟流程圖。圖8為本發(fā)明的多媒體輸入設(shè)備的一實(shí)施例的顯示接口。圖9為本發(fā)明的多媒體輸入設(shè)備的一實(shí)施例的顯示接口。圖10為本發(fā)明的多媒體輸入設(shè)備的一實(shí)施例的顯示接口。圖11為本發(fā)明的多媒體輸入設(shè)備的一實(shí)施例的顯示接口。圖中I，多媒體輸入設(shè)備；
11，攝像單元；
12，處理模塊；
121，唇形編碼數(shù)據(jù)庫(kù)；
122，唇讀分析單元；
123，面部表情編碼數(shù)據(jù)庫(kù)；
124，面部表情分析單元；
125，手勢(shì)編碼數(shù)據(jù)庫(kù)；
126，手勢(shì)分析單元；
127，語音編碼數(shù)據(jù)庫(kù)；
128，語音分析單元；
13,語音輸單兀；
14,顯示模塊；
2，手機(jī)；
25，顯示接口 ；
251，唇讀圖框；
252，唇形影像；
253，文字輸入框；
254，短信文字框；
255，面部表情圖框；
256，面部表情影像；
Sll — S14、S16 — S19、S26 — S29、S36 — S39，步驟；
I、J、K、L、M、N，眼部表情特征點(diǎn)；
O、P，腮的表情特征點(diǎn)。
具體實(shí)施例方式如圖I為本發(fā)明的多媒體輸入設(shè)備的一實(shí)施例方塊圖。圖中，多媒體輸入設(shè)備包含一攝像單元11、一處理模塊12、一語音輸入單元13及一顯示模塊14，而處理模塊12還包含有一唇形編碼數(shù)據(jù)庫(kù)121、一唇讀分析單元122、一面部表情編碼數(shù)據(jù)庫(kù)123、一面部表情分析單元124、一手勢(shì)編碼數(shù)據(jù)庫(kù)125、一手勢(shì)分析單元126、一語音編碼數(shù)據(jù)庫(kù)127及一語音分析單元128。攝像單元11為拍攝用戶的一唇形影像，并由處理模塊12接收唇形影像并進(jìn)行唇形影像的辨識(shí)分析，以得到相對(duì)應(yīng)于用戶的唇形影像的文字意涵，用以省去傳統(tǒng)手寫輸入法輸入文字的麻煩。此外，還可進(jìn)一步由攝像單元11拍攝用戶的一面部表情影像或一手勢(shì)影像，來輔助唇形輸入法的不足，或可由一語音輸入單元13，提供用戶輸入一語音消息，來輔助唇形輸入法。其中，唇形編碼數(shù)據(jù)庫(kù)121是儲(chǔ)存多個(gè)標(biāo)準(zhǔn)唇形編碼，每一標(biāo)準(zhǔn)唇形編碼各自有相對(duì)應(yīng)的文字，唇讀分析單元122是提供對(duì)唇形影像進(jìn)行編碼，以得到一辨識(shí)后的唇形編碼，而處理模塊12進(jìn)一步可將辨識(shí)后的唇形編碼與多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以得到對(duì)應(yīng)于辨識(shí)后的唇形編碼的一第一文字結(jié)果。此外，唇形編碼數(shù)據(jù)庫(kù)121還儲(chǔ)存有多個(gè)國(guó)家語言的標(biāo)準(zhǔn)唇形編碼，并提供用戶可設(shè)置此多個(gè)國(guó)家語言的其中的一為此多媒體輸入設(shè)備 的一默認(rèn)語言，而處理模塊12在比對(duì)此辨識(shí)后的唇形編碼時(shí)，則會(huì)自動(dòng)依據(jù)所述默認(rèn)語言所對(duì)應(yīng)的多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，且若當(dāng)處理模塊12在比對(duì)后發(fā)現(xiàn)此辨識(shí)后的唇形編碼不屬于此默認(rèn)語言時(shí)，則會(huì)自動(dòng)將此辨識(shí)后的唇形編碼與其它多個(gè)國(guó)家語言所對(duì)應(yīng)的多個(gè)標(biāo)準(zhǔn)唇形編碼比對(duì)。面部表情編碼數(shù)據(jù)庫(kù)123提供儲(chǔ)存多個(gè)標(biāo)準(zhǔn)面部表情編碼，每一標(biāo)準(zhǔn)面部表情編碼各自有相對(duì)應(yīng)的文字，面部表情分析單元124是提供對(duì)面部表情影像進(jìn)行編碼，以得到一辨識(shí)后的面部表情編碼，而處理模塊12并進(jìn)一步可將辨識(shí)后的面部表情編碼與多個(gè)標(biāo)準(zhǔn)面部表情編碼進(jìn)行比對(duì)，及將辨識(shí)后的唇形編碼與多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以得到對(duì)應(yīng)于辨識(shí)后的面部表情編碼及辨識(shí)后的唇形編碼的一第二文字結(jié)果。另外手勢(shì)編碼數(shù)據(jù)庫(kù)125提供儲(chǔ)存多個(gè)標(biāo)準(zhǔn)手勢(shì)編碼，每一標(biāo)準(zhǔn)手勢(shì)編碼各自有相對(duì)應(yīng)的文字，手勢(shì)分析單元126是提供對(duì)手勢(shì)影像進(jìn)行編碼，以得到一辨識(shí)后的手勢(shì)編碼，處理模塊12并可進(jìn)一步將辨識(shí)后的手勢(shì)編碼與多個(gè)標(biāo)準(zhǔn)手勢(shì)編碼進(jìn)行比對(duì)，及將辨識(shí)后的唇形編碼與多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以得到對(duì)應(yīng)于辨識(shí)后的手勢(shì)編碼及辨識(shí)后的唇形編碼的一第三文字結(jié)果。而語音編碼數(shù)據(jù)庫(kù)127是提供儲(chǔ)存多個(gè)標(biāo)準(zhǔn)語音編碼，每一標(biāo)準(zhǔn)語音編碼各自有相對(duì)應(yīng)的文字，語音分析單元128是將語音消息進(jìn)行編碼，以得到一辨識(shí)后的語音編碼，最后處理模塊12可進(jìn)一步將辨識(shí)后的語音編碼與多個(gè)標(biāo)準(zhǔn)語音編碼進(jìn)行比對(duì)，及將辨識(shí)后的唇形編碼與所述多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以得到對(duì)應(yīng)于辨識(shí)后的語音編碼及辨識(shí)后的唇形編碼的一第四文字結(jié)果。此外，本發(fā)明的多媒體輸入設(shè)備還提供有一自動(dòng)學(xué)習(xí)機(jī)制，此自動(dòng)學(xué)習(xí)機(jī)制為每一次輸入的唇形影像經(jīng)分析后產(chǎn)生的辨識(shí)后的唇形編碼及其對(duì)應(yīng)得到的文字結(jié)果都會(huì)被儲(chǔ)存入唇形編碼數(shù)據(jù)庫(kù)121中，以作為處理模塊12下次對(duì)唇形進(jìn)行分析時(shí)的參考，且若一唇形影像經(jīng)過多次輸入，所得的辨識(shí)后的唇形編碼及其相對(duì)應(yīng)的文字結(jié)果皆相同時(shí)，則此辨識(shí)后的唇形編碼即可取代唇形編碼數(shù)據(jù)庫(kù)中相對(duì)應(yīng)該文字的標(biāo)準(zhǔn)唇形編碼，成為文字新的標(biāo)準(zhǔn)唇形編碼。而除了唇形輸入時(shí)有此學(xué)習(xí)機(jī)制外，同樣的面部表情編碼數(shù)據(jù)庫(kù)123、手勢(shì)編碼數(shù)據(jù)庫(kù)125及語音編碼數(shù)據(jù)庫(kù)127也都提供有此自動(dòng)學(xué)習(xí)機(jī)制，以作為處理模塊12下次分析面部表表情影像、手勢(shì)影像或語音消息的參考依據(jù)。另外，唇讀分析單元122分析唇形影像的方式為將接收到的唇形影像，取其最左側(cè)的端點(diǎn)a、最右側(cè)的端點(diǎn)b、最上側(cè)的兩端點(diǎn)C1及C2及最下側(cè)的端點(diǎn)d后，分析各端點(diǎn)于所定義的平面坐標(biāo)軸上相對(duì)應(yīng)的坐標(biāo)值，并依據(jù)各端點(diǎn)對(duì)應(yīng)的坐標(biāo)值，對(duì)唇形影像進(jìn)行編碼得到一辨識(shí)后的唇形編碼。圖2為本發(fā)明的唇形影像的坐標(biāo)分析示意圖。圖中，可看見最左側(cè)的端點(diǎn)a、最右側(cè)的端點(diǎn)b、最上側(cè)的端點(diǎn)C1及C2及最下側(cè)的端點(diǎn)d在一唇形影像中所對(duì)應(yīng)的位置，及各端點(diǎn)在唇形分析單元122所定義的平面坐標(biāo)軸上的各自有一相對(duì)應(yīng)的坐標(biāo)值。其中，端點(diǎn)a對(duì)應(yīng)的坐標(biāo)值為第一端點(diǎn)坐標(biāo)值(xa，ya)、端點(diǎn)b對(duì)應(yīng)的坐標(biāo)值為第二端點(diǎn)坐標(biāo)值(xb，yb)、端點(diǎn)C1對(duì)應(yīng)的坐標(biāo)值為第三端點(diǎn)坐標(biāo)值(Xc;1，ycl)、端點(diǎn)C2對(duì)應(yīng)的坐標(biāo)值為第四端點(diǎn)坐標(biāo)值(1。2，yj及端點(diǎn)d對(duì)應(yīng)的坐標(biāo)值為第五端點(diǎn)坐標(biāo)值(xd，yd)。此外，唇形編碼數(shù)據(jù)庫(kù)121中所儲(chǔ)存的多個(gè)標(biāo)準(zhǔn)唇形編碼，也是預(yù)先對(duì)發(fā)出各文字時(shí)的唇形進(jìn)行如上述般的坐標(biāo)分析后，得到唇形在發(fā)出各文字時(shí)相對(duì)應(yīng)的標(biāo)準(zhǔn)唇形編碼并儲(chǔ)存的，以提供處理模塊12辨識(shí)比對(duì)唇讀分析單元122得到的辨識(shí)后的唇形編碼所對(duì)應(yīng)的文字。而面部表情分析單元124分析面部表情影像的方式為將接收到的面部表情影像，于面部表情分析單元124所定義的平面坐標(biāo)上，分割成四個(gè)區(qū)域，并分別將其定義為一第一區(qū)域E、一第二區(qū)域F、一第三區(qū)域G及一第四區(qū)域H。接著對(duì)各區(qū)域所存在的各面部特征進(jìn)行分析，以分析各面部特征點(diǎn)在面部表情分析單元124所定義的平面坐標(biāo)上所對(duì)應(yīng)的坐標(biāo)值，并依據(jù)各坐標(biāo)值，對(duì)面部影像進(jìn)行編碼得到一辨識(shí)后的面部表情編碼，其各面部特征所指為眼部的形狀或兩腮的線條等。圖3為本發(fā)明的面部表情影像的坐標(biāo)分析示意圖。圖中，一面部表情于面部表情分析單元124所定義的平面坐標(biāo)上被區(qū)分為一第一區(qū)域E、一第二區(qū)域F、一第三區(qū)域G及一第四區(qū)域H。在第一區(qū)域E存在眼部表情特征，將眼部表情特征區(qū)分為多個(gè)眼睛表情特征點(diǎn)I、J及K，并分析得到各眼睛表情特征點(diǎn)I、J及K在所定義的平面坐標(biāo)上所對(duì)應(yīng)的坐標(biāo)值(xD yi)、(Xj, Yj)及(xK，，yK)。同樣在第二區(qū)域F中，存在的眼部表情也被區(qū)分為多個(gè)眼部表情特征點(diǎn)L、M及N，并分析得到各眼睛表情特征點(diǎn)L、M及N在所定義的平面坐標(biāo)上對(duì)應(yīng)的坐標(biāo)值(xL, yL)、(xM, yM)及(xN，，yN)。 而在第三區(qū)域G及第四區(qū)域H，存在兩腮的表情特征線條。對(duì)存在于第三區(qū)域G的腮的表情特征線條上定義一腮的表情特征點(diǎn)0及對(duì)存在于第四區(qū)域G的腮的表情特征線條上定義另一腮的表情特征點(diǎn)P，并分別分析得到腮的表情特征點(diǎn)0及P在所定義之平面坐標(biāo)上對(duì)應(yīng)的坐標(biāo)值(x0, y0)及(Xp,，yP)。最后面部表情分析單元124會(huì)依據(jù)其所得到的各表情特征點(diǎn)的坐標(biāo)值(Xl，Y1)、(xj, yj)、(xK，，yK)、(xL, yL)、(xM, yM)、(xN，，yN)、(x0, y0 )及(xP，，yP),對(duì)面部表情影像進(jìn)行編碼得到辨識(shí)后的面部表情編碼。同樣的，面部表情編碼數(shù)據(jù)庫(kù)123中所儲(chǔ)存的多個(gè)標(biāo)準(zhǔn)面表情編碼，也是預(yù)先對(duì)相對(duì)應(yīng)于各種意函的面部表情影像進(jìn)行如上述般的坐標(biāo)分析后，得到相對(duì)應(yīng)于各種意函的面部表情影像所對(duì)應(yīng)的標(biāo)準(zhǔn)面部表情編碼并儲(chǔ)存，以提供處理模塊12 辨識(shí)比對(duì)面部表情分析單元124得到的辨識(shí)后的面部表情編碼所對(duì)應(yīng)的文字意涵。圖4為本發(fā)明的多媒體輸入方法的實(shí)施例I的步驟流程圖，其步驟包括步驟S11，拍攝用戶的一唇形影像。步驟S12 :對(duì)該唇形影像進(jìn)行編碼，得到一辨識(shí)后的唇形編碼。步驟S13 :比對(duì)并分析該辨識(shí)后的唇形編碼，以辨識(shí)是否可得到相對(duì)應(yīng)辨識(shí)后的唇形編碼的一第一文字結(jié)果，若比對(duì)成功，則得到一符合于辨識(shí)后的唇形編碼的一第一文字結(jié)果，并通過步驟S14 :顯示該第一文字結(jié)果。但若在步驟S13中，比對(duì)并分析該辨識(shí)后的唇形編碼后，無法得到一符合于辨識(shí)后的唇形編碼的一第一文字結(jié)果，則將會(huì)重新回到步驟S11，由攝像單元11重新拍攝用戶的唇形影像，并重復(fù)步驟S12至步驟S13，直到可辨識(shí)得到一第一文字結(jié)果后，再通過步驟S14顯示此第一文字結(jié)果。
其中，在步驟Sll中，是由攝像單元11拍攝用戶的唇形影像，并在步驟S12中，處理模塊12接收步驟Sll中所拍攝的唇形影像傳輸并通過唇讀分析單元122對(duì)唇形影像進(jìn)行編碼，得到此辨識(shí)后的唇形編碼。當(dāng)獲取對(duì)應(yīng)于唇形影像的辨識(shí)后的唇形編碼后在步驟S13中，處理模塊12由進(jìn)一步將此辨識(shí)后的唇形編碼與唇形編碼數(shù)據(jù)庫(kù)121中儲(chǔ)存的多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)分析，以辨識(shí)是否得到符合此辨識(shí)后的唇形編碼的第一文字結(jié)果。在步驟S13中，若辨識(shí)后可得到符合此辨識(shí)后的唇形編碼的此第一文字結(jié)果時(shí)，則會(huì)進(jìn)入步驟S14，通過處理模塊12將此第一文字結(jié)果傳送至顯示單元14，顯示單元14并將此第一文字結(jié)果輸出顯示在屏幕上。若在步驟S13中比對(duì)失敗，則在此實(shí)施例中，多媒體輸入設(shè)備會(huì)告知用戶是否重新輸入唇形影像，以重新辨識(shí)，并如圖4所示，比對(duì)失敗后，將回到步驟S11，重新拍攝用戶的唇形影像，并繼續(xù)經(jīng)由步驟S12及步驟S13重新進(jìn)行辨識(shí)比對(duì)。若在步驟S13中，經(jīng)由辨識(shí)比對(duì)后，無法得到相對(duì)應(yīng)此辨識(shí)后的唇形編碼的第一文字結(jié)果時(shí)，除了重新回到步驟S11，讓使用者可重新輸入唇形影像，進(jìn)行重新比對(duì)外，還可進(jìn)入一輔助分析模式。其中，輔助分析模式可以選定為面部表情分析模式、手勢(shì)分析模式或語音分析模式，即當(dāng)進(jìn)入輔助分析后，可選擇進(jìn)一步分析用戶的面部表情影像、手勢(shì)影像或語音消息來輔助該唇形影像的分析辨識(shí)。圖5為本發(fā)明多媒體輸入方法的實(shí)施例2的步驟流程圖。于此實(shí)施例中，當(dāng)在步驟S13中比對(duì)并分析辨識(shí)后的唇形編碼，無法得到一符合于辨識(shí)后的唇形編碼的一第一文字結(jié)果時(shí)，則啟動(dòng)輔助分析模式，并選定面部表情分析模式為輔助分析模式。圖中，當(dāng)進(jìn)入輔助分析模式，并且進(jìn)一步選擇面部表情分析模式為輔助分析模式時(shí)，其步驟更包括步驟S16，拍攝使用者的一面部表情影像。步驟S17，對(duì)該面部表情影像進(jìn)行編碼，得到一辨識(shí)后的面部表情編碼。步驟S18，比對(duì)并分析該面部表情編碼及該辨識(shí)后的唇形編碼，辨識(shí)是否得到相對(duì)應(yīng)該辨識(shí)后的面部表情編碼及該辨識(shí)后的唇形編碼的一第二文字結(jié)果。其中，在步驟S16中，是由攝像單元11拍攝用戶的面部表情影像，并在步驟S17中，通過處理模塊12接收步驟S16中所拍攝的面部表情影像并通過面部表情分析單元124對(duì)面部表情影像進(jìn)行編碼，得到此辨識(shí)后的面部表情編碼。當(dāng)獲取辨識(shí)后的面部表情編碼后在步驟S18中，處理模塊12藉由進(jìn)一步將此辨識(shí)后的面部表情編碼與面部表情編碼數(shù)據(jù)庫(kù)123中儲(chǔ)存的多個(gè)標(biāo)準(zhǔn)面部表情編碼進(jìn)行比對(duì)分析，及同時(shí)將辨識(shí)后的唇形編碼與多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以辨識(shí)是否得到符合此辨識(shí)后的面部表情編碼及此辨識(shí)后的唇形編碼的第二文字結(jié)果。并在步驟S18中，辨識(shí)后若可得到符合此辨識(shí)后的唇形編碼及此辨識(shí)后的面部表情編碼的第二文字結(jié)果時(shí)，則將進(jìn)入步驟S19，顯示該第二文字結(jié)果。反之，若辨識(shí)后無法得到符合此辨識(shí)后的唇形編碼及此辨識(shí)后的面部表情編碼的第二文字結(jié)果時(shí)，則將可重新回到步驟S16，重新拍攝用戶的面部表情影像，并重復(fù)分析步驟S17至S18，若仍無法得到結(jié)果，則可繼續(xù)重復(fù)步驟S16至S18，直到得到此第二文字結(jié)果。另外，當(dāng)啟動(dòng)輔助分析模式時(shí)，還可將輔助分析模式選定為手勢(shì)分析模式。如圖6所示，其為本發(fā)明的多媒體輸入方法的實(shí)施例3的步驟流程圖。當(dāng)將輔助分析模式選定為手勢(shì)分析模式時(shí)，其步驟更包括步驟S26，拍攝用戶的一手勢(shì)影像。步驟S27，對(duì)該手勢(shì)影像進(jìn)行編碼，得到一辨識(shí)后的手勢(shì)編碼。步驟S28，比對(duì)并分析該手勢(shì)編碼及該辨識(shí)后唇形編碼，辨識(shí)是否得到相對(duì)應(yīng)該辨識(shí)后的手勢(shì)編碼及該辨識(shí)后的唇形編碼的一第三文字結(jié)果。其中，在步驟S26中，是由攝像單元11拍攝用戶的手勢(shì)影像，并在步驟S27中，通過處理模塊12接收步驟S26中所拍攝的手勢(shì)影像傳輸并通過手勢(shì)分析單元126對(duì)手勢(shì)影像進(jìn)行編碼，得到此辨識(shí)后的手勢(shì)編碼。當(dāng)獲取辨識(shí)后的手勢(shì)編碼后在步驟S28中，處理模塊12由進(jìn)一步將此辨識(shí)后的手勢(shì)編碼與手勢(shì)編碼數(shù)據(jù)庫(kù)125中儲(chǔ)存的多個(gè)標(biāo)準(zhǔn)手勢(shì)編碼進(jìn)行比對(duì)分析，及同時(shí)將辨識(shí)后的唇形編碼與多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以辨識(shí)是否得到符合此辨識(shí)后的手勢(shì)編碼及此辨識(shí)后的唇形編碼的第三文字結(jié)果。并在步驟S28中，若辨識(shí)后可得到符合此辨識(shí)后的唇形編碼及此辨識(shí)后的手勢(shì)編碼的第三文字結(jié)果時(shí)，則將進(jìn)入步驟S29，顯示該第三文字結(jié)果。反之，若辨識(shí)后無法得到符合此辨識(shí)后的唇形編碼及此辨識(shí)后的手勢(shì)編碼的第三文字結(jié)果時(shí)，則將可重新回到步驟S26，重新拍攝用戶的手勢(shì)影像，并重復(fù)分析步驟S27至S28，若仍無法得到結(jié)果，則可繼續(xù)重復(fù)步驟S26至S28，直到得到此第三文字結(jié)果。當(dāng)啟動(dòng)輔助分析模式時(shí)，還進(jìn)一步可將輔助分析模式選定為語音分析模式。如圖7所示，其為本發(fā)明的多媒體輸入方法的實(shí)施例4的步驟流程圖。當(dāng)將輔助分析模式選定為語音分析模式時(shí)，其步驟還包括步驟S36，接收使用者的一語音消息。步驟S37，對(duì)語音消息進(jìn)行編碼，得到一辨識(shí)后的語音編碼。步驟S38，比對(duì)并分析該語音編碼及辨識(shí)后唇形編碼，辨識(shí)是否得到相對(duì)應(yīng)該辨識(shí)后的語音編碼及辨識(shí)后之唇形編碼的一第四文字結(jié)果。其中，在步驟S36中，是由語音輸入單元13提供用戶輸入語音消息，并接收該語音消息，并在步驟S37中，通過處理模塊12接收步驟S36中所接收的語音消息傳輸并通過語音分析單元128對(duì)語音消息進(jìn)行編碼，得到此辨識(shí)后的語音編碼。接著在步驟S38中，處理模塊12由進(jìn)一步將此辨識(shí)后的語音編碼與語音編碼數(shù)據(jù)庫(kù)127中儲(chǔ)存的多個(gè)標(biāo)準(zhǔn)語音編碼進(jìn)行比對(duì)分析，及同時(shí)將辨識(shí)后的唇形編碼與多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以辨識(shí)是否得到符合此辨識(shí)后的語音編碼及此辨識(shí)后的唇形編碼的第四文字結(jié)果。并在步驟S38中，若辨識(shí)后可得到符合此辨識(shí)后的唇形編碼及此辨識(shí)后的語音編碼的第四文字結(jié)果時(shí)，則將進(jìn)入步驟S39，顯示該第四文字結(jié)果。反之，若辨識(shí)后無法得到符合此辨識(shí)后的唇形編碼及此辨識(shí)后的語音編碼的第四文字結(jié)果時(shí)，則將可重新回到步驟S36，提供使用者重新輸入語音消息，并重復(fù)分析步驟S37至S38，若仍無法得到結(jié)果，則可繼續(xù)重復(fù)步驟S36至S38，直到得到此第四文字結(jié)果。如圖8所示，其本發(fā)明的多媒體輸入設(shè)備的一實(shí)施例的顯示接口。在此實(shí)施例中，是將本發(fā)明的輸入設(shè)備應(yīng)用于手機(jī)2上。如第8圖8所示，當(dāng)使用者利用手機(jī)傳送短信時(shí)，可對(duì)準(zhǔn)手機(jī)顯示接口 25上的唇讀圖框251讀出想輸入的文字訊信息，如”可愛的人”，此時(shí)、手機(jī)上的攝像單元11會(huì)自動(dòng)拍攝使用者讀出”可愛的人”時(shí)的唇形影像252，并對(duì)唇形影像252進(jìn)行分析。當(dāng)分析辨識(shí)后若得到一第一文字結(jié)果為”可愛的人”則會(huì)顯示于文字輸入框253上，如圖9所示，其為本發(fā)明的多媒體輸入設(shè)備的一實(shí)施例的顯示接口。此時(shí)若得到的字是正確的，使用者可以由確認(rèn)鍵確認(rèn)，并輸入此文字結(jié)果于短信文字框254中，如圖10所示，其為本發(fā)明的多媒體輸入設(shè)備的一實(shí)施例的顯示接口。反之，若辨識(shí)后無法得到相對(duì)應(yīng)的文字結(jié)果時(shí)，則可進(jìn)入輔助分析模式，并可選擇面部表情分析模式、手勢(shì)分析模式或語音分析模式的其中之一為輔助分析，當(dāng)選擇為面部表情分析模式時(shí)，此時(shí)手機(jī)的顯示接口 25上會(huì)出現(xiàn)面部表情圖框255，并由攝像單元11拍攝用戶的面部表情影像256，如圖11所示，其為本發(fā)明的多媒體輸入設(shè)備的一實(shí)施例的顯示接口，當(dāng)分析辨識(shí)后若得到一第二文字結(jié)果，例如第二文字結(jié)果為”可愛的人”則會(huì)顯示于文字輸入框253上，此時(shí)若得到的字是正確的，使用者可以藉由確認(rèn)鍵確認(rèn)，并輸入此文字結(jié)果于短信文字框254中，同樣如圖10所示。反之，若不正確，使用者可以選擇重新輸入面部表情影像或再回到前面的步驟重新輸入唇形影像，以重新分析辨識(shí)。
綜上所述，使用者可利用本發(fā)明的多媒體輸入設(shè)備及方法，由輸入自身的唇形影像、面部表情影像、手勢(shì)影像或語音消息，以達(dá)成輸入文字信息于一電子信息裝置的目的，并可增加其輸入文字信息時(shí)的方便性及同時(shí)達(dá)到娛樂的效果。但是，上述的具體實(shí)施方式
只是示例性的，是為了更好的使本領(lǐng)域技術(shù)人員能夠理解本專利，不能理解為是對(duì)本專利包括范圍的限制；只要是根據(jù)本專利所揭示精神的所作的任何等同變更或修飾，均落入本專利包括的范圍。
權(quán)利要求
1.一種應(yīng)用于多媒體輸入設(shè)備的多媒體輸入方法，該多媒體輸入設(shè)備包含一攝像單元、一處理模塊、一唇讀分析單元、一唇形編碼數(shù)據(jù)庫(kù)及一顯示模塊，其特征在于該多媒體輸入方法的步驟包括 由所述攝像單元拍攝用戶的一唇形影像； 通過所述處理模塊自所述攝像單元接收所述唇形影像； 所述處理模塊通過所述唇讀分析單元對(duì)所述唇形影像進(jìn)行編碼，得到一辨識(shí)后的唇形編碼； 通過所述處理模塊進(jìn)一步將所述辨識(shí)后的唇形編碼與該唇形編碼數(shù)據(jù)庫(kù)所儲(chǔ)存的多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以辨識(shí)是否得到符合所述辨識(shí)后的唇形編碼的一第一文字結(jié)果；以及 當(dāng)辨識(shí)后得到符合該辨識(shí)后的唇形編碼的所述第一文字結(jié)果，即將該第一文字結(jié)果由所述顯示模塊顯示。
2.根據(jù)權(quán)利要求I所述的多媒體輸入方法，其特征在于其中所述唇形編碼為所述唇讀分析單元將所述唇形影像的各唇形特征點(diǎn)在平面坐標(biāo)軸上定義所得的坐標(biāo)值。
3.根據(jù)權(quán)利要求I所述的多媒體輸入方法，其特征在于其中當(dāng)所述處理模塊無法辨識(shí)得到符合所述辨識(shí)后的唇形編碼的所述第一文字結(jié)果時(shí)，即返回所述由所述攝像單元拍攝該用戶的所述唇形影像的步驟，以提供所述使用者重新輸入的唇形影像。
4.根據(jù)權(quán)利要求I所述的多媒體輸入方法，其特征在于其中當(dāng)所述處理模塊無法辨識(shí)得到符合所述辨識(shí)后的唇形編碼的所述第一文字結(jié)果時(shí)，即啟動(dòng)一輔助分析模式。
5.根據(jù)權(quán)利要求4所述的多媒體輸入方法，其特征在于其中所述輔助分析模式包括一面部表情分析模式、一手勢(shì)分析模式或一語音分析模式。
6.根據(jù)權(quán)利要求5所述的多媒體輸入方法，其特征在于其中當(dāng)所述輔助分析模式為所述面部表情分析模式時(shí)，所述多媒體輸入設(shè)備還包含一面部表情分析單元及一面部表情編碼數(shù)據(jù)庫(kù)，且所述多媒體輸入方法的步驟還包括 由所述攝像單元拍攝該用戶的一面部表情影像； 通過所述處理模塊自所述攝像單元接收所述面部表情影像； 所述處理模塊通過所述面部表情分析單元對(duì)所述面部表情影像進(jìn)行編碼，得到一辨識(shí)后的面部表情編碼； 通過所述處理模塊進(jìn)一步將所述辨識(shí)后的面部表情編碼與所述面部表情編碼數(shù)據(jù)庫(kù)所儲(chǔ)存的多個(gè)標(biāo)準(zhǔn)面部表情編碼進(jìn)行比對(duì)，及將所述辨識(shí)后的唇形編碼與所述多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以辨識(shí)是否得到符合所述辨識(shí)后的面部表情編碼及所述辨識(shí)后的唇形編碼的一第二文字結(jié)果；以及 當(dāng)辨識(shí)后得到符合所述辨識(shí)后的面部表情編碼及所述辨識(shí)后的唇形編碼的所述第二文字結(jié)果，即將所述第二文字結(jié)果由所述顯示模塊顯示。
7.根據(jù)權(quán)利要求6所述的多媒體輸入方法，其特征在于其中所述面部表情編碼為所述面部表情分析模塊將所述面部表情影像的各面部特征在平面坐標(biāo)上定義的坐標(biāo)值。
8.根據(jù)權(quán)利要求5所述的多媒體輸入方法，其特征在于其中當(dāng)所述輔助分析模式為所述手勢(shì)分析模式時(shí)，該多媒體輸入設(shè)備還包含一手勢(shì)分析單元及一手勢(shì)編碼數(shù)據(jù)庫(kù)，且所述多媒體輸入方法的步驟還包括由所述攝像單元拍攝所述用戶的一手勢(shì)影像； 通過所述處理模塊自所述攝像單元接收所述手勢(shì)影像； 所述處理模塊通過所述手勢(shì)分析單元對(duì)所述手勢(shì)影像進(jìn)行編碼，得到一辨識(shí)后的手勢(shì)編碼； 通過所述處理模塊進(jìn)一步將所述辨識(shí)后的手勢(shì)編碼與所述處理模塊中的所述手勢(shì)編碼數(shù)據(jù)庫(kù)所儲(chǔ)存的多個(gè)手勢(shì)編碼進(jìn)行比對(duì)，及將所述辨識(shí)后的唇形編碼與所述多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以辨識(shí)是否得到符合該辨識(shí)后的手勢(shì)編碼及所述辨識(shí)后的唇形編碼的一第三文字結(jié)果；以及 當(dāng)辨識(shí)后得到符合該辨識(shí)后的手勢(shì)編碼及所述辨識(shí)后的唇形編碼的所述第三文字結(jié)果，即將所述第三文字結(jié)果由所述顯示模塊顯示。
9.根據(jù)權(quán)利要求5所述的多媒體輸入方法，其特征在于其中當(dāng)所述輔助分析模式為所述語音分析模式時(shí)，所述多媒體輸入設(shè)備還包含一語音分析單元及一語音編碼數(shù)據(jù)庫(kù)，且所述多媒體輸入方法的步驟還包括 由所述語音輸入單元提供所述用戶輸入一語音消息； 通過所述處理模塊自所述語音輸入單元接收所述語音消息； 所述處理模塊通過所述語音分析單元對(duì)所述語音消息進(jìn)行編碼，得到一辨識(shí)后的語音編碼； 通過所述處理模塊進(jìn)一步將所述辨識(shí)后的語音編碼與所述處理模塊中的所述語音編碼數(shù)據(jù)庫(kù)所儲(chǔ)存的多個(gè)語音編碼進(jìn)行比對(duì)，及將所述辨識(shí)后的唇形編碼與所述多個(gè)標(biāo)準(zhǔn)唇形編碼進(jìn)行比對(duì)，以辨識(shí)是否得到符合所述辨識(shí)后的手勢(shì)編碼及所述辨識(shí)后的唇形編碼的一第四文字結(jié)果；以及 當(dāng)辨識(shí)后得到符合所述辨識(shí)后的語音編碼及所述辨識(shí)后的唇形編碼的所述第四文字結(jié)果，即將所述第四文字結(jié)果由所述顯示模塊顯示。
10.根據(jù)權(quán)利要求I所述的多媒體輸入方法，其特征在于其中所述唇形編碼數(shù)據(jù)庫(kù)還儲(chǔ)存有多個(gè)國(guó)家語言的標(biāo)準(zhǔn)唇形編碼，并提供設(shè)置所述多個(gè)國(guó)家語言的其中的一為所述多媒體輸入設(shè)備的一默認(rèn)語言。
全文摘要
本發(fā)明公開一種應(yīng)用于多媒體輸入設(shè)備的多媒體輸入方法，本發(fā)明的多媒體輸入方法由一攝像單元拍攝用戶的唇形影像，并通過處理模塊對(duì)唇形影像進(jìn)行辨識(shí)分析以得到相對(duì)應(yīng)的文字意涵，然后經(jīng)由一顯示模塊顯示對(duì)應(yīng)的文字于屏幕上，達(dá)到多元輸入的目的。
文檔編號(hào)G06K9/00GK102637071SQ201110035078
公開日2012年8月15日 申請(qǐng)日期2011年2月9日 優(yōu)先權(quán)日2011年2月9日
發(fā)明者趙蕊 申請(qǐng)人:英華達(dá)(上海)電子有限公司, 英華達(dá)(上海)科技有限公司, 英華達(dá)股份有限公司