專利名稱：語句級漢字輸入方法中的用戶詞識別方法與在線一次性學習方法及機器學習系統(tǒng)的制作方法
技術(shù)領域：
本發(fā)明涉及到漢字輸入的機器學習方法中的用戶詞識別方法及在線學習方法。
背景技術(shù)：
語句級漢字輸入中的機器學習方法，能夠自動根據(jù)用戶的輸入習慣來調(diào)整最佳漢 字組合的結(jié)果，可以適用于各種漢字輸入法和輸入系統(tǒng)。隨著自然語言處理與人工智能理論不斷地進步，漢字輸入技術(shù)也相應地不斷提 高，但至今為止還沒有一種漢字輸入技術(shù)能達到一個完美轉(zhuǎn)換的境界，各種技術(shù)中都存在 著各自的不足。體現(xiàn)在拼音輸入法中就是，現(xiàn)今沒有一種產(chǎn)品能達到100%的轉(zhuǎn)換率正確 率，都在不同程度上以不同方式需要用戶的干預，才能達到一個用戶需要的輸出結(jié)果。采用 本方法來改進這些系統(tǒng)，會極大地減少所需用戶干預的次數(shù)，進而提高轉(zhuǎn)換正確率。在為漢字編碼的輸入法和輸入系統(tǒng)中，經(jīng)常會存在一個編碼對應多個漢字的情 況，如拼音輸入，語音輸入和手寫模糊識別時，具體體現(xiàn)為1. 一個編碼對應多個漢字。例如拼音輸入“cheng”時，對應漢字有“成”、“城”、 “稱”、“呈”等。輸入拼音串“chengshi”時，對應詞有“城市”、“誠實”、“程式”、“成事”等。 在更長的語句輸入時，這種情況也會出現(xiàn)。如果此時輸入系統(tǒng)提供的首選項并非用戶所需 輸入，那么用戶則需要手工選擇所需輸入。配有在線一次性學習功能時，輸入法會記錄用戶 的輸入習慣，給出用戶最常用的結(jié)果作為首選項。在這里舉一個例子，在通常的輸入法系統(tǒng) 中，第一次輸入拼音“haerbingongyedaxuezhinengjisuanzhongxin”時，因為“職能”一詞在 統(tǒng)計庫中詞頻較高，得到的結(jié)果為“哈爾濱工業(yè)大學職能計算中心”，用戶干預一次輸入后， 進行了對語言模型的調(diào)整。所謂干預過程就是用戶手工將“職能”用“智能”候選項取代。2.字詞間的組合歧義。如在輸入含人名“裴建立”的短句“明天叫裴建立開會”時， 拼音串“mingtianjiaopeijianlikaihui”對應的轉(zhuǎn)換結(jié)果大都為“明天交配建立開會”。這 是因為輸入系統(tǒng)詞庫中含有“交配”和“建立”這兩個詞，而沒有“裴建立”這個名字，這種情 況需要較多的用戶干預才能得到正確結(jié)果。如果輸入系統(tǒng)不配有相應的用戶詞構(gòu)造和相應 在線學習功能，那么用戶將不厭其煩的每次都將進行大量干預。3.用戶習慣的轉(zhuǎn)變。例如一個用戶是研究電子工程的，他總會使用“芯片”這個 詞，而他對同時也是一個電影愛好者，每天晚上要去寫“新片”推薦。如果采用現(xiàn)有的輸入法學習方法，輸入這兩個詞時就需要用戶不斷干預。

發(fā)明內(nèi)容
為了解決現(xiàn)有機器學習方法中存在的經(jīng)常需要用戶干預才能夠獲得用戶所需要 的結(jié)果的問題，本發(fā)明提出了語句級漢字輸入方法中的用戶詞識別方法與在線一次性學習 方法及機器學習系統(tǒng)。本發(fā)明所述的語句級漢字輸入方法中的用戶詞識別方法是一種基于位置的用戶詞識別方法，該方法中對于詞根c，將該詞根c以位置rp在詞組合中出現(xiàn)的概率作為該詞根c的成詞能 力 IWP(C，rp)
權(quán)利要求
1.語句級漢字輸入方法中的用戶詞識別方法，其特征在于，它是基于位置的用戶詞識 別方法，對于詞根c，將該詞根c以位置rp在詞組合中出現(xiàn)的概率作為該詞根c的成詞能力 IWP (c，rp)
2.根據(jù)權(quán)利要求1所述的語句級漢字輸入方法中的用戶詞識別方法，其特征在于，所 述用戶詞庫采用哈希表的存儲形式。
3.語句級漢字輸入方法中的在線一次性學習方法，其特征在于，該在線學習方法的過 程為步驟一、將音字轉(zhuǎn)換輸出路徑cRoad[M]和最終候選路徑WRoad[N]進行基于長度的對 齊，得到對齊后的音字轉(zhuǎn)換輸出路徑cRoadA[L]和最終候選路徑WRoadA[L] ；Μ、N和L分別 代表這兩條路徑中所含的詞的數(shù)目；步驟二、令i = 1 ；步驟三、根據(jù)語言模型中的信息，計算p(cR0adA[i] |CRoadA[i-l])和 p(wRoadA[i] |wRoadA[i-l]),然后再利用這兩個值，采用最大后驗MAP (Maximum a Posterior)概率方法來計算后驗概率最大的用戶調(diào)節(jié)值Ca ；將(WRoad[i-l]，WRoad[i])和 對應的Ca作為二元元素添加入用戶語言模型庫中；步驟四、令i = i+Ι，如果有i < L，則返回執(zhí)行步驟三；否則一次學習完成。
4.根據(jù)權(quán)利要求3所述的語句級漢字輸入方法中的在線一次性學習方法，其特征在 于，ρ (cRoadA[i] IcRoadA[i-1])表示在音字轉(zhuǎn)換輸出路徑cRoadA[L]中，當?shù)趇_l個詞 為 cRoadA[i-l]的條件下、第 i 個詞為 cRoadA[i]的概率，p(wRoadA[i] wRoadA[i-l])表 示在最終候選路徑cRoadA[L]中，當?shù)趇-Ι個詞為WRoadA[i-l]的條件下、第i個詞為 wRoadA[i]的概率。
5.語句級漢字輸入方法中的機器學習系統(tǒng)，該系統(tǒng)由用戶詞識別模塊和在線一次性學 習模塊組成，其中用戶詞識別模塊，用于識別語句級漢字輸入方法中經(jīng)用戶干預獲得的最終輸出結(jié)果是 否是用戶詞，并對判定為用戶詞的詞進行編碼，然后將該用戶詞機器編碼存入到語句級漢 字輸入方法的用戶詞庫中；在線一次性學習模塊，用于在語句級漢字輸入方法輸出的最優(yōu)路徑與最終路徑不一致 時，根據(jù)語句級漢字輸入方法輸出的最優(yōu)路徑和經(jīng)用戶干預獲得的最終路徑進行在線一次性學習，并根據(jù)學習結(jié)果調(diào)整相應詞的權(quán)重，然后修改用戶語言模型庫。
6.根據(jù)權(quán)利要求5所述的語句級漢字輸入方法中的機器學習系統(tǒng)，其特征在于，所述 用戶詞識別模塊中，用戶詞的識別方法為對于詞根c，將該詞根c以位置rp在詞組合中出現(xiàn)的概率作為該詞根c的成詞能力 IWP (c，rp)
7.根據(jù)權(quán)利要求5所述的語句級漢字輸入方法中的機器學習系統(tǒng)，其特征在于，所述 用戶詞識別模塊中，在線一次性學習模塊中的在線一次性學習方法的過程為步驟一、將音字轉(zhuǎn)換輸出路徑cRoad[M]和最終候選路徑WRoad[N]進行基于長度的對 齊，得到對齊后的音字轉(zhuǎn)換輸出路徑cRoadA[L]和最終候選路徑WRoadA[L] ；Μ、N和L分別 代表這兩條路徑中所含的詞的數(shù)目；步驟二、令i = 1 ；步驟三、根據(jù)語言模型中的信息，計算p(cR0adA[i] |CRoadA[i-l])和 p(wRoadA[i] |wRoadA[i-l]),然后再利用這兩個值，采用最大后驗MAP (Maximum a Posterior)概率方法來計算后驗概率最大的用戶調(diào)節(jié)值Ca ；將(WRoad[i-l]，WRoad[i])和 對應的Ca作為二元元素添加入用戶語言模型庫中；步驟四、令i = i+Ι，如果有i < L，則返回執(zhí)行步驟三；否則一次學習完成。
全文摘要
語句級漢字輸入方法中的用戶詞識別方法與在線一次性學習方法及機器學習系統(tǒng)，涉及漢字輸入的機器學習技術(shù)領域。本發(fā)明解決了現(xiàn)有機器學習方法中存在的經(jīng)常需要用戶干預才能夠獲得最終結(jié)果的問題。用戶詞識別方法是采用相對位置成詞能力作為評價標準來識別用戶詞。學習方法僅在輸入法輸出的最優(yōu)路徑與最終輸出路徑不一致時才啟動，該方法采用基于N元文法的概率計算方法獲得概率值后，采用最大后驗MAP獲得用戶調(diào)節(jié)值CA，該調(diào)節(jié)值CA和相應的詞存入用戶語言模型庫。機器學習系統(tǒng)是應用上述用戶詞識別方法和學習方法實現(xiàn)的學習系統(tǒng)。采用本發(fā)明技術(shù)，能減少用戶輸入時的干預次數(shù)，讓用戶更輕松地得到需要的輸出結(jié)果。
文檔編號G06F3/023GK102004560SQ20101056799
公開日2011年4月6日 申請日期2010年12月1日 優(yōu)先權(quán)日2010年12月1日
發(fā)明者劉峰, 劉秉權(quán), 劉遠超, 劉銘, 單麗莉, 孫承杰, 林磊, 王曉龍 申請人:哈爾濱工業(yè)大學