本發(fā)明涉及計算機視覺領域，特指一種緊湊型的光流計算方法與設備。

背景技術(shù)：

光流計算方法與設備是計算機視覺領域待解決的重要問題之一。光流的概念最早于1950年由Gibson提出。光流是空間運動目標在觀測成像面上的像素運動的瞬時速度。

光流法能夠提供目標運動和結(jié)構(gòu)信息，計算精度高，能準確檢測到亞像素及位移，同時，光流法能夠運用于平移、旋轉(zhuǎn)、縮放等相對復雜的運動。光流法在目標檢測、跟蹤等領域有重要應用。光流計算設備在機器人領域中視覺運動測量與相對運動感知方面有重要應用。近年來，使用光流技術(shù)進行飛行穩(wěn)定控制和避障也成了小型無人機飛行器研究的一個熱點問題。目前傳統(tǒng)的光流計算設備如圖1所示，是由圖像傳感器與中央處理器通過并口線連接而成，其體積較大，不適用于對尺寸和重量有嚴格要求的微型飛行器，而且現(xiàn)有的大多數(shù)光流算法計算量大，計算耗時，阻礙了光流的應用。

現(xiàn)有的光流計算方法有很多，主要可以分為四類，分別是基于微分的方法、基于區(qū)域的匹配法、基于能量的方法和基于相位的方法。1981年，Horn和Schunck根據(jù)灰度一致性假設，推導出光流約束方程，讓光流算法得以發(fā)展。1981年，Horn和Schunck在光流約束方程的基礎上附加了光流場全局平滑約束，推導出了HS光流算法。同一年，Lucas和Kanade兩位學者提出了一種迭代的圖像匹配方法，該算法可用來估計光流，被稱之為LK算法。H-S算法和L-K算法是兩最經(jīng)典的計算方法，都是基于梯度的光流計算方法。Barron于1994年從基于微分的方法、基于區(qū)域的匹配法、基于能量的方法和基于相位的方法這四種方法中選取了9中常用的方法，從精度、可靠性等方面做了定量比較，發(fā)現(xiàn)LK光流算法可靠性好。Lk算法只需要感興趣點周圍的小窗口的局部信息就可得到稀疏光流，光流計算過程的時間開銷較低，適合實時計算。

技術(shù)實現(xiàn)要素：

針對目前光流計算設備尺寸大，不適合尺寸較小場合的應用以及現(xiàn)有光流算法計算復雜的缺點，本發(fā)明提出了一種緊湊型的光流計算方法與設備。一種緊湊型光流計算設備其是一種將圖像傳感器與中央處理器集成在一個芯片上的緊湊型光流計算設備，其減小光流計算設備的尺寸。本發(fā)明還提出了一種新的光流計算方法，通過提取特征點在LK光流算法的基礎上快速計算光流。本發(fā)明在LK光流的基礎上，通過先對圖像進行特征提取，再對提取出的特征點進行LK計算光流，進一步提高了光流的計算效率，并且提高了光流的準確度，其中在特征提取前，對原圖像先進行平滑和紋理增強，提高提取特征的準確率。

一種緊湊型的光流計算設備，包括鏡頭、CMOS圖像傳感器和中央處理器，并將CMOS圖像傳感器、中央處理器集成到一個芯片上，CMOS圖像傳感器采集圖像信息，并將圖像信息直接傳輸給中央處理器進行光流計算，最后通過串口輸出光流數(shù)據(jù)。CMOS圖像傳感器由于集成度高、體積小、質(zhì)量輕的特點，適合用于小尺寸的光流計算設備中，CMOS像素陣列是一個二維可編址傳感器陣列，傳感器的每一列與一個位線相連，行允許線允許所選擇的行內(nèi)每一個敏感單元輸出信號送入它所對應的位線上，位線末端是多路選擇器，按照各列獨立的列編址進行選擇。CMOS圖像傳感替代了傳統(tǒng)攝像頭中的CCD圖像傳感器，更適用于小尺寸場合。

一種光流計算方法，包括以下步驟：

(1)利用高斯低通濾波器對初始圖像I₀進行平滑濾波，得到消除噪聲的圖像I₁。

(2)用拉普拉斯濾波器對圖像I₁進行處理，得到圖像I₂。

(3)將平滑濾波后得到的圖像I₁減去拉普拉斯濾波處理后的圖像I₂，得到紋理增強圖像I₃。

(4)將圖像I₃等分成8×8像素的塊，計算每一個塊的熵值，熵值排行前一半的塊q_n(n＝1,2,3，…，n)作為特征點提取塊。

(5)對特征點提取塊q_n(n＝1,2,3，…，n)用Fast角點檢測算法進行計算，篩選出Fast角點構(gòu)成的像素點集P_n1。

(6)對像素點集P_n1用Shi-Tomasi進行二次篩選，得到Shi-Tomasi角點構(gòu)成的像素點集P_n2，并將點集P_n2作為塊q_n(n＝1,2,3，…，n)最終的特征點。

(7)用L-K光流算法對特征點集P_n2(n＝1,2,3，…，n)計算光流，并輸出。

本發(fā)明提出的光流計算設備更緊湊，與傳統(tǒng)的一個圖像傳感器芯片通過并口連接到一個運行光流算法的微處理器上的光流計算設備，在尺寸上要小，應用場合更靈活；

另外本發(fā)明提出的光流算法較傳統(tǒng)的稠密光流算法計算更簡單，實時性好，能滿足工程需求。

附圖說明

圖1是傳統(tǒng)的光流計算設備示意圖；

圖2是本發(fā)明的光流計算設備示意圖；

圖3是本發(fā)明提出的光流計算方法的流程圖；

在上述附圖中：

1-攝像頭，2-微處理器，3-輸出，4-鏡頭，5-CMOS圖像傳感器，6-中央處理器，7-輸出光流數(shù)據(jù)。

具體實施方式

下面結(jié)合附圖和具體實施方式對本發(fā)明作進一步說明。

傳統(tǒng)的光流計算設備如圖1所示，傳統(tǒng)的光流設備是由攝像頭1獲取圖像數(shù)據(jù)，并通過并口，將攝像頭1與運行光流算法的微處理器2相連，將圖像數(shù)據(jù)通過并口傳送到微處理器2進行處理，計算出光流并輸出3。因為這種光流計算設備圖像獲取模塊與光流計算模塊是分離的，故尺寸較大。

如圖2所示，本發(fā)明提出的一種緊湊型的光流計算設備，包括鏡頭4、CMOS圖像傳感器5和中央處理器6，并將CMOS圖像傳感器5、中央處理器6集成到一個芯片上，CMOS圖像傳感器5接收鏡頭4采集并傳輸過來的圖像數(shù)據(jù)后直接傳給中央處理器6進行光流計算，并通過串口輸出光流數(shù)據(jù)7。

傳統(tǒng)的攝像頭是通過CCD圖像傳感器接收圖像信息的，CCD存儲的電荷信息，需在同步信號控制下一位一位地實施轉(zhuǎn)移后讀取，電荷信息轉(zhuǎn)移和讀取輸出需要有時鐘控制電路和三組不同的電源相配合，整個電路較為復雜，速度較慢，不適用于尺寸小且實時性強的光流計算設備。CMOS圖像傳感器由于集成度高、體積小、質(zhì)量輕的特點，適合用于小尺寸的光流計算設備中，CMOS像素陣列是一個二維可編址傳感器陣列，傳感器的每一列與一個位線相連，行允許線允許所選擇的行內(nèi)每一個敏感單元輸出信號送入它所對應的位線上，位線末端是多路選擇器，按照各列獨立的列編址進行選擇。CMOS圖像傳感替代了傳統(tǒng)攝像頭中的CCD圖像傳感器，更適用于小尺寸場合。

光流計算方法運行在中央處理器上，參照圖3，為本發(fā)明提供的一種光流計算方法的流程圖，從鏡頭獲取初始圖片到得到光流數(shù)據(jù)需要經(jīng)過以下步驟：

(1)首先是圖像預處理操作，先利用高斯低通濾波器對初始圖像進行平滑濾波，得到消除噪聲的圖像f(x,y)。

高斯濾波器是一類根據(jù)高斯函數(shù)的形狀來選擇權(quán)值的線性平滑濾波器。高斯平滑濾波器對于抑制服從正態(tài)分布的噪聲非常有效。一維零均值高斯函數(shù)為：g(x)＝exp(-x²/(2δ²))，其中δ決定了高斯函數(shù)的寬度。高斯濾波器是十分有效地低通濾波器。通過高斯低通濾波器的圖像較好的濾除了噪音，但是同時也造成了圖像紋理的模糊，所以對高斯低通濾波后的圖像需要進一步使用拉普拉斯濾波器進行紋理增強。

(2)用拉普拉斯濾波器對圖像I₁進行處理，得到圖像I₂。

高斯低通濾波器平滑濾波后的圖像為f(x,y)，f(x,y)的拉普拉斯算子定義為：

其二階導的離散形式為：

由以上可得：▽²f(x,y)＝[f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)]-4f(x,y)。

(3)將平滑濾波后得到的圖像I₁減去拉普拉斯濾波處理后的圖像I₂，得到紋理增強圖像I₃。

從步驟(2)可以看出，拉普拉斯濾波器是對圖像邊緣進行提取，邊緣以外的像素點像素值會變?yōu)?，這并不是本發(fā)明需要的效果，本發(fā)明需要的是能夠在增強紋理的同時能夠保持圖像灰度級別的圖像，因此本發(fā)明通過用f(x,y)與拉普拉斯處理后的圖像作差，得到所需要的紋理增強圖像，令紋理增強后的圖像為g(x,y)，則有：

g(x,y)＝f(x,y)-▽²f(x,y)。

(4)將紋理增強后的圖像g(x,y)等分成8×8像素的塊，計算每一個塊的熵值，熵值排行前一半的塊q_n(n＝1,2,3，…，n)作為特征點提取塊。

常規(guī)的確定圖像特征提取塊方法中，提取特征點都是通過圖像全局范圍來提取的，這樣提取特征點需要對每個像素點進行計算，運算量較大。而本發(fā)明發(fā)現(xiàn)，圖像中的特征點主要是集中在紋理豐富的區(qū)域，可以通過先找出紋理豐富的區(qū)域，然后針對紋理豐富的區(qū)域進行特征提取，減少計算量。本發(fā)明使用圖像的熵作為紋理度量。圖像的熵是一種對特征的統(tǒng)計，能夠反映圖像中平均信息量的多少，圖像的一位熵表示圖像中灰度分布的聚集特征所包含的信息量，表達式為：其中z_i表示亮度的一個隨機變量，p(z)表示一個區(qū)域中的灰度級的直方圖，L表示該區(qū)域的灰階數(shù)。

確定特征提取塊操作的具體方法為：(1)將紋理增強后的圖像g(x,y)等分成8×8像素的塊；(2)計算每一個塊的熵值；(3)對熵值進行排序；(4)取熵值排行前一半的塊作為特征點提取塊。

(5)對特征點提取塊q_n(n＝1,2,3，…，n)用Fast角點檢測算法進行計算，篩選出Fast角點構(gòu)成的像素點集P_n1。

Fast角點算法的基本思想為：選擇特征點提取塊q_n中的一個像素點p，設其灰度值為I(p)，以p為圓心，以半徑為3個像素作圓，考慮圓周上的16個像素點，給定一個閾值t，當16個像素點上有12個連續(xù)的像素點像素灰度值大于I(p)+t或小于I(p)-t，則確定該點為一個Fast角點。

(6)對像素點集P_n1用Shi-Tomasi角點算法進行二次篩選，得到Shi-Tomasi角點構(gòu)成的像素點集P_n2，并將點集P_n2作為塊q_n(n＝1,2,3，…，n)最終的特征點。

Shi-Tomasi角點算法的基本思想為：設圖像在點p(x,y)處的灰度為I(x,y)，以p點為中心建立一個n·n的窗口Ω，w(x,y)為窗口函數(shù)，將窗口平移[Δx,Δy]，則灰度變化E[Δx,Δy]為：

對于微小的平移，將I(x+Δx,y+Δy)進行泰勒展開并忽略二階及以上項，帶入上式可得：

其中，I_x、I_y分別表示圖像灰度在x和y方向的偏導數(shù)，將上式寫成矩陣的形式有：

其中M為2×2的矩陣：

對于像素點p(x,y)，若M的兩個特征值中較小的一個大于給定閾值，即λ₁≥λ₂且λ₂≥k·λ_2max(λ_2max是所有像素點較小特征值中的最大值)。那么點p(x,y)為Shi-Tomasi角點。

(7)用L-K光流算法對特征點集P_n2(n＝1,2,3，…，n)計算光流，并輸出。

L-K光流算法的基本思想是假設在一個小鄰域內(nèi)，光流矢量保持不變，運用最小二乘法獲得光流。L-K算法中取鄰域窗口為5×5，根據(jù)光流約束方程I_x·u+I_y·v+I_t＝0，其中I_x、I_y、I_t分別表示圖像灰度空間對空間和時間的偏導數(shù)，u、v分別表示光流的水平和垂直分量，可以建立25個方程：

通過式(6)來求解最小化的||Ad-b||²，即

(A^TA)d＝A^Tb (6)

有線性代數(shù)知識可知，當(AA^T)可逆時，方程組的解如下所示：

當(A^TA)滿秩，即秩為2時，(A^TA)有兩個較大的特征向量，(A^TA)可逆。當圖像中的紋理至少包含兩個梯度方向時就可以滿足該條件，通過求取方程的解計算出光流。