專利名稱：運(yùn)動(dòng)圖像位移檢測(cè)方法及裝置、光電鼠標(biāo)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及以運(yùn)動(dòng)圖像為分析對(duì)象的電數(shù)字?jǐn)?shù)據(jù)處理技術(shù)，尤其涉及用于光電鼠標(biāo)領(lǐng)域的運(yùn)動(dòng)位移檢測(cè)的數(shù)據(jù)處理方法及裝置。
背景技術(shù)：
作為當(dāng)前鼠標(biāo)界的主流，光電鼠標(biāo)所采用的發(fā)光二極管定位方法也成了目前的主流定位方法。

圖1示意了光電鼠標(biāo)的內(nèi)部結(jié)構(gòu)，包括發(fā)光二極管1，來(lái)自該發(fā)光二極管1的光線被一組光學(xué)反射鏡2引導(dǎo)并照射往與光電鼠標(biāo)底部相接觸的表面；被該表面反射回的光線一部分經(jīng)一組光學(xué)透鏡2'傳輸?shù)焦飧袘?yīng)器件3(例如但不限于可輸出數(shù)字圖像信號(hào)的微成像器)進(jìn)行成像。這樣，當(dāng)光電鼠標(biāo)移動(dòng)時(shí)，其移動(dòng)軌跡便會(huì)被高速“連拍”所記錄下來(lái)的一組圖像所揭示。利用光電鼠標(biāo)所包括的圖像分析器4(可以是基于數(shù)字信號(hào)處理器DSP 的專用芯片)來(lái)分析處理該組圖像，即可得出所述移動(dòng)軌跡。在實(shí)際應(yīng)用中，所述光感應(yīng)器件3和圖像分析器4往往被集成在一顆芯片內(nèi)。圖2示意了光電鼠標(biāo)的電工作原理，虛線框內(nèi)示意的是光電鼠標(biāo)的電結(jié)構(gòu)，具有一連接按鍵的接口及一連接電腦主機(jī)的接口。該電結(jié)構(gòu)包括圖像傳感器(sensor)，用來(lái)采集并將光圖像信號(hào)轉(zhuǎn)換為電圖像信號(hào)；該電圖像信號(hào)被送往模數(shù)轉(zhuǎn)換器以轉(zhuǎn)換成數(shù)字圖像信號(hào)，再被送往圖像信號(hào)處理單元來(lái)計(jì)算生成鼠標(biāo)位移矢量；微控制單元通過(guò)電連接來(lái)控制包括圖像傳感器、模數(shù)轉(zhuǎn)換器或圖像信號(hào)處理單元在內(nèi)的各電路模塊，及接收來(lái)自各電路模塊的狀態(tài)信號(hào)；來(lái)自圖像信號(hào)處理單元的位移矢量數(shù)據(jù)和來(lái)自鼠標(biāo)按鍵的按鍵信息通過(guò)該微控制單元一起打包發(fā)送給電腦主機(jī)。所述微成像器至少包括了圖像傳感器和模數(shù)轉(zhuǎn)換器。圖像信號(hào)處理單元可以采用專用的一顆芯片，或者與微控制單元一起集成在一顆芯片內(nèi)。圖3示意了所述鼠標(biāo)位移矢量。假設(shè)a、b為對(duì)應(yīng)先后時(shí)間的兩幀圖像，三角形代表圖像上的同一特征點(diǎn)，則圖像信號(hào)處理單元通過(guò)提取所述特征點(diǎn)和分析其位置變化來(lái)判斷鼠標(biāo)的移動(dòng)方向和移動(dòng)距離。圖c示意了特征點(diǎn)位置變化所計(jì)算得出的ΔΧ，ΔΥ，唯一地對(duì)應(yīng)于鼠標(biāo)位移矢量，從而完成光標(biāo)定位?，F(xiàn)有定位方法大多采用基于相關(guān)匹配的插值算法來(lái)獲取鼠標(biāo)的運(yùn)動(dòng)矢量，如圖4所示，可以通過(guò)在下一幀(如圖b)中尋找與當(dāng)前幀(如圖a)特征點(diǎn)最佳匹配的位置來(lái)獲得當(dāng)前的位移矢量(如圖c)，其中圖d示意了一個(gè)3*3像素的模板，可以以該模板為單元在圖像區(qū)域中尋找最佳匹配。該方法具有性能穩(wěn)定的優(yōu)點(diǎn)， 但由于插值算法的局限性，無(wú)法有效獲得亞像素大小的精度。為了獲得較高的運(yùn)動(dòng)精度，現(xiàn)有技術(shù)進(jìn)一步將計(jì)算區(qū)域光流的方法用于鼠標(biāo)定位，以獲得高達(dá)1/4像素以上的精度。該方法先對(duì)圖像上的像素建立超定二元光流方程，通過(guò)該方程來(lái)求解獲得單個(gè)像素的運(yùn)動(dòng)矢量，并用最小二乘法來(lái)擬合出多個(gè)像素的運(yùn)動(dòng)矢量均值，即鼠標(biāo)的位移向量。為了簡(jiǎn)化對(duì)該方法的描述，圖5把來(lái)自光感應(yīng)器件的圖像信號(hào)簡(jiǎn)化成一維信號(hào)為例進(jìn)行示意。設(shè)曲線A為t時(shí)刻信號(hào)，曲線B為t+ Δ t時(shí)刻信號(hào)；假定在t 時(shí)刻，χ位置的信號(hào)幅度值為f (x, t)；在t+ Δ t時(shí)刻，χ+Δχ位置的信號(hào)幅度值為f (χ+ Δ χ， t+At)。如果信號(hào)在t時(shí)間內(nèi)移動(dòng)了 Δ χ距離，那么在不考慮其它干擾的情況下，可以知道
f (χ+Δχ, t+At) = f (χ, t)對(duì)上式左邊作泰勒展開得
權(quán)利要求
1. 一種運(yùn)動(dòng)圖像位移檢測(cè)方法，用于分析具有時(shí)間關(guān)系的圖像序列以確定采集該圖像序列時(shí)光感應(yīng)器件相對(duì)于物體的運(yùn)動(dòng)軌跡，包括步驟A.圖像信號(hào)處理單元按時(shí)間順序接收所述圖像序列；其特征在于所述圖像序列包括三幀或三幀以上的圖像；還包括步驟B.基于所述圖像序列，依次對(duì)各當(dāng)前圖像進(jìn)行數(shù)據(jù)處理，依據(jù)與該當(dāng)前圖像相對(duì)應(yīng)的差分圖像上的各像素進(jìn)行計(jì)算，按下列公式計(jì)算并輸出與當(dāng)前圖像對(duì)應(yīng)的位移矢量(ux，uy)
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像位移檢測(cè)方法，其特征在于，還包括步驟C.根據(jù)步驟B中的各位移矢量及其對(duì)應(yīng)圖像間的時(shí)間間隔來(lái)擬合出所述運(yùn)動(dòng)軌跡。
3.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像位移檢測(cè)方法，其特征在于，所述步驟B具體為包括步驟①根據(jù)所述圖像序列來(lái)產(chǎn)生差分圖像序列，即把該圖像序列中的一幀后幀圖像數(shù)據(jù)減去當(dāng)前幀圖像數(shù)據(jù)后作為當(dāng)前幀的差分圖像數(shù)據(jù)，再設(shè)定該后幀圖像數(shù)據(jù)為當(dāng)前幀圖像數(shù)據(jù)，......依此類推直到獲得兩幀或兩幀以上的差分圖像來(lái)構(gòu)成所述差分圖像序列；②利用當(dāng)前差分圖像及其一后幀差分圖像來(lái)計(jì)算當(dāng)前差分圖像中每一像素的所述空間導(dǎo)數(shù)Dx，Dy和時(shí)間導(dǎo)數(shù)Dt;③通過(guò)兩兩相乘來(lái)運(yùn)算得到所述公式中的各中間系數(shù)仏2，Di，DxDy，DxDt‘DyDt ；④在當(dāng)前差分圖像范圍內(nèi)計(jì)算所述公式中的各中間系數(shù)的累加和；并進(jìn)而計(jì)算得到所述位移矢量(ux，uy)。
4.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像位移檢測(cè)方法，其特征在于，所述步驟B具體為包括步驟①根據(jù)所述圖像序列利用當(dāng)前圖像及其一后幀圖像來(lái)計(jì)算獲得當(dāng)前圖像中每一像素的空間導(dǎo)數(shù)Ix，Iy和時(shí)間導(dǎo)數(shù)It;②把一后幀圖像中各像素的空間導(dǎo)數(shù)Ix，Iy和時(shí)間導(dǎo)數(shù)It減去當(dāng)前幀圖像中相應(yīng)像素的空間導(dǎo)數(shù)和時(shí)間導(dǎo)數(shù)，來(lái)產(chǎn)生與當(dāng)前圖像相對(duì)應(yīng)的差分圖像的每一像素的所述空間導(dǎo)數(shù) Dx, Dy和時(shí)間導(dǎo)數(shù)Dt ；③通過(guò)兩兩相乘來(lái)運(yùn)算得到所述公式中的各中間系數(shù)Α2，^> ，DxDy，DxDt‘DyDt ；④在當(dāng)前差分圖像范圍內(nèi)計(jì)算所述公式中的各中間系數(shù)的累加和；并進(jìn)而計(jì)算得到所述位移矢量(ux，uy)。
5.根據(jù)權(quán)利要求3或4所述的運(yùn)動(dòng)圖像位移檢測(cè)方法，其特征在于所述后幀圖像或者為所述圖像序列中當(dāng)前圖像的下一幀圖像，或者為所述圖像序列中當(dāng)前圖像的下若干幀圖像。
6.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像位移檢測(cè)方法，其特征在于步驟B對(duì)各當(dāng)前圖像進(jìn)行數(shù)據(jù)處理時(shí)，處理區(qū)域最大為圖像區(qū)域的可求導(dǎo)數(shù)的最大相關(guān)區(qū)域。
7. —種運(yùn)動(dòng)圖像位移檢測(cè)裝置，用于光電鼠標(biāo)；包括一個(gè)用來(lái)接收數(shù)字圖像信號(hào)的數(shù)據(jù)接口以及一個(gè)數(shù)據(jù)輸出口 ；其特征在于還包括串連連接的差分處理模塊及求導(dǎo)處理模塊，來(lái)自所述數(shù)據(jù)接口的數(shù)字圖像信號(hào)經(jīng)差分處理模塊以幀為單位進(jìn)行幀間數(shù)據(jù)的差分運(yùn)算及求導(dǎo)處理模塊的求導(dǎo)運(yùn)算后，輸出與當(dāng)前幀圖像相對(duì)應(yīng)的差分圖像的每一像素的空間導(dǎo)數(shù)Dx，Dy和時(shí)間導(dǎo)數(shù)Dt 送往全局運(yùn)算模塊，分別計(jì)算該圖像預(yù)定范圍內(nèi)所有像素的各個(gè)中間系數(shù)D〗，ii，DxDy， DxDt' DvDt的累加和；該全局運(yùn)算模塊輸出這些累加和往位移矢量計(jì)算單元，以按公式
8.根據(jù)權(quán)利要求7所述的運(yùn)動(dòng)圖像位移檢測(cè)裝置，其特征在于還包括兩個(gè)相串連的幀延遲器或幀緩存存儲(chǔ)器，連接所述數(shù)據(jù)接口，將所述數(shù)字圖像信號(hào)以幀為單位進(jìn)行分離；令遠(yuǎn)離所述數(shù)據(jù)接口的第二幀延遲器或第二幀緩存存儲(chǔ)器輸出當(dāng)前幀圖像數(shù)據(jù)，則第一幀延遲器或第一幀緩存存儲(chǔ)器輸出的是該當(dāng)前幀的一后幀圖像的數(shù)據(jù)，所述數(shù)據(jù)接口同時(shí)輸出的是該后幀圖像的一后幀圖像的數(shù)據(jù)，這三幀圖像數(shù)據(jù)同時(shí)輸出往差分處理模塊和求導(dǎo)處理模塊的串連支路。
9.根據(jù)權(quán)利要求8所述的運(yùn)動(dòng)圖像位移檢測(cè)裝置，其特征在于所述差分處理模塊串連在所述數(shù)據(jù)接口和求導(dǎo)處理模塊之間，所述第二幀延遲器/幀緩存存儲(chǔ)器和第一幀延遲器/幀緩存存儲(chǔ)器分別提供一路輸出送往所述差分處理模塊進(jìn)行幀間差分，從而該差分處理模塊同時(shí)產(chǎn)生兩幀差分圖像數(shù)據(jù)送往所述求導(dǎo)處理模塊。
10.根據(jù)權(quán)利要求8所述的運(yùn)動(dòng)圖像位移檢測(cè)裝置，其特征在于所述求導(dǎo)處理模塊串連在所述數(shù)據(jù)接口和差分處理模塊之間，所述第二幀延遲器/幀緩存存儲(chǔ)器和第一幀延遲器/幀緩存存儲(chǔ)器分別提供一路輸出送往所述求導(dǎo)處理模塊，從而該求導(dǎo)處理模塊同時(shí)產(chǎn)生兩幀空間導(dǎo)數(shù)Ix，Iy和時(shí)間導(dǎo)數(shù)It送往所述差分處理模塊進(jìn)行幀間差分以獲得差分后的空間導(dǎo)數(shù)Dx，Dy和時(shí)間導(dǎo)數(shù)Dt。
11.根據(jù)權(quán)利要求7所述的運(yùn)動(dòng)圖像位移檢測(cè)裝置，其特征在于還包括一微控制單元，該微控制單元具有用來(lái)接收按鍵信號(hào)的按鍵接口 ；該微控制單元接收來(lái)自所述按鍵接口的數(shù)據(jù)和來(lái)自所述位移矢量計(jì)算單元的位移矢量數(shù)據(jù)，并將這些數(shù)據(jù)打包輸出往所述數(shù)據(jù)輸出口。
12.一種光電鼠標(biāo)，包括提供照射光的發(fā)光二極管，用來(lái)感應(yīng)被物面反射的照射光并將光信號(hào)轉(zhuǎn)換成模擬圖像信號(hào)的圖像傳感器，將所述模擬圖像信號(hào)轉(zhuǎn)換成數(shù)字圖像信號(hào)的模數(shù)轉(zhuǎn)換器，以及一個(gè)接收所述數(shù)字圖像信號(hào)的圖像信號(hào)處理單元；還包括一用來(lái)電連接電腦主機(jī)和鼠標(biāo)按鍵的微控制單元，該微控制單元通過(guò)電連接來(lái)控制所述圖像傳感器、模數(shù)轉(zhuǎn)換器或圖像信號(hào)處理單元，及接收來(lái)自所述圖像傳感器、模數(shù)轉(zhuǎn)換器或圖像信號(hào)處理單元的狀態(tài)信號(hào)；所述圖像信號(hào)處理單元的數(shù)據(jù)輸出口連接所述微控制單元；其特征在于 該圖像信號(hào)處理單元為權(quán)利要求7 10中任一項(xiàng)所述的運(yùn)動(dòng)圖像位移檢測(cè)裝置。
13.根據(jù)權(quán)利要求12所述的光電鼠標(biāo)，其特征在于所述圖像傳感器與所述模數(shù)轉(zhuǎn)換器為一體的微成像器，或，所述圖像信號(hào)處理單元和所述微控制單元被集成在一顆芯片內(nèi)。
全文摘要
一種運(yùn)動(dòng)圖像位移檢測(cè)方法及裝置，用于分析具有時(shí)間關(guān)系的圖像序列以確定采集該圖像序列過(guò)程中光感應(yīng)器件相對(duì)于物體的運(yùn)動(dòng)軌跡，可用于光電鼠標(biāo)。令圖像信號(hào)處理單元按時(shí)間順序接收所述圖像序列；基于所述圖像序列，依次對(duì)各當(dāng)前圖像進(jìn)行數(shù)據(jù)處理，依據(jù)與該當(dāng)前圖像相對(duì)應(yīng)的差分圖像上的各像素進(jìn)行二維光流計(jì)算處理，采用全局矩陣運(yùn)算方法來(lái)計(jì)算并輸出與當(dāng)前圖像對(duì)應(yīng)的位移矢量。采用本發(fā)明的光電鼠標(biāo)，導(dǎo)航定位的精確度和檢測(cè)的穩(wěn)定性均得到有效提高。
文檔編號(hào)G06F3/033GK102243537SQ201010176100
公開日2011年11月16日 申請(qǐng)日期2010年5月14日 優(yōu)先權(quán)日2010年5月14日
發(fā)明者李冰, 楊智明, 王卓華 申請(qǐng)人:深圳市匯春科技有限公司