本發(fā)明涉及一種書本邊框定位方法，尤其涉及一種書本邊框的圖像定位方法。
背景技術(shù)：
隨著計(jì)算機(jī)技術(shù)的發(fā)展與普及，圖像處理技術(shù)廣泛應(yīng)用于人類生產(chǎn)和生活中的各個(gè)領(lǐng)域。書本識(shí)別是圖像處理技術(shù)應(yīng)用之一，近年來被廣泛應(yīng)用于兒童早教領(lǐng)域。書本邊框定位技術(shù)是書本識(shí)別技術(shù)中最為基礎(chǔ)的核心技術(shù)，其定位精度影響書本識(shí)別精度，對(duì)基于書本識(shí)別技術(shù)的兒童益智產(chǎn)品性能的提升具有重要的意義。
現(xiàn)有的書本邊框定位方法主要有三類：(1)基于hough變換的邊框定位方法，根據(jù)書本的先驗(yàn)知識(shí)，利用hough變換檢測(cè)直線的原理找出特定方向的直線，完成書本邊框定位，此類方法計(jì)算時(shí)占用內(nèi)存多，且易受書本內(nèi)容和背景的干擾，書本邊框定位精度低。(2)基于最大連通域的邊框定位方法，通過對(duì)圖像進(jìn)行最大連通域檢測(cè)，獲取書本區(qū)域，再采用直線擬合方法結(jié)合書本的先驗(yàn)知識(shí)篩選得到邊緣直線，實(shí)現(xiàn)書本邊框的定位，此類方法的實(shí)時(shí)性不好，且易受干擾連通域的影響，書本邊框定位精度易受背景影響。(3)基于邊緣的邊框定位方法，采用邊緣提取算法提取書本的邊緣輪廓，再采用直線擬合方法結(jié)合書本的先驗(yàn)知識(shí)篩選得到邊緣直線，實(shí)現(xiàn)書本邊框的定位，此類方法的實(shí)時(shí)性較好，但是對(duì)于光照強(qiáng)度低或者不均書本，邊框定位效果差，且易受到背景的干擾。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明的目的在于提供一種書本邊框的圖像定位方法，采用邊緣提取算法分別對(duì)r、g和b三通道圖像進(jìn)行邊緣提取，并依次進(jìn)行或運(yùn)算得到邊緣圖像，防止低光照強(qiáng)度下書本邊緣的丟失；采用直線掃描法尋找出邊框的上邊緣；根據(jù)先驗(yàn)條件進(jìn)行上邊緣左右端點(diǎn)粗定位；采用直線擬合方法對(duì)上邊緣左右端點(diǎn)進(jìn)行精定位，提高了書本邊框上邊緣的定位精度和抗干擾能力。本發(fā)明的優(yōu)點(diǎn)是，充分利用彩色圖像的色彩信息，對(duì)低強(qiáng)度的邊緣也有較好的檢測(cè)效果；采用直線掃描法完成書本邊緣的快速定位以及書本邊緣端點(diǎn)的粗定位；采用直線擬合法完成書本邊緣端點(diǎn)的精定位，書本邊緣輪廓提取不全時(shí)也能完成書本邊框的精確定位。本發(fā)明提供的一種書本邊框的圖像定位方法解決了現(xiàn)有技術(shù)存在的問題，具有速度快、精度高、魯棒性好和環(huán)境適應(yīng)能力強(qiáng)的優(yōu)點(diǎn)，適合用于各種色彩、桌面背景和光照環(huán)境下書本邊框的精確定位。
本發(fā)明提供了一種書本邊框的圖像定位方法，包括以下步驟：
1)書本圖像預(yù)處理，具體包括以下步驟：
(a)首先將書本彩色圖像按r、g和b三色分成三張單通道圖像，然后利用canny算子分別對(duì)三張單通道圖像進(jìn)行邊緣提取，得到二值化圖像；
(b)對(duì)步驟(a)得到的三張二值化圖像依次進(jìn)行或運(yùn)算，得到邊緣輪廓圖像；
2)書本邊框上邊緣尋找，具體包括下述步驟：
(a)構(gòu)建初始扇形區(qū)域，以圖像左上角為頂點(diǎn)，以書本圖像的x軸為角平分線，構(gòu)建圓心角為2θ的扇形區(qū)域；
(b)構(gòu)建扇形區(qū)域內(nèi)的掃描直線，以扇形的頂點(diǎn)為起點(diǎn)，以與圖像x軸的夾角α為直線傾角，構(gòu)建一條掃描直線，夾角α以沿圖像x軸逆時(shí)針旋轉(zhuǎn)方向?yàn)檎槙r(shí)針為負(fù)，夾角范圍為α∈[-θ,θ]；
(c)在扇形區(qū)域內(nèi)通過直線掃描獲得具有最長(zhǎng)連通線段的掃描直線，首先，以與x軸夾角α＝-θ的直線為初始掃描直線，從左至右進(jìn)行掃描，獲得該掃描直線上的最長(zhǎng)連通線段；其次，在扇形區(qū)域內(nèi)以δθ為步長(zhǎng)沿逆時(shí)針方向構(gòu)建一條新的掃描直線，直至α＝θ為止，對(duì)于每一條掃描直線，重復(fù)上述掃描過程，獲得每一條掃描直線內(nèi)的最長(zhǎng)連通線段；最后，通過比較得到此扇形區(qū)域內(nèi)具有最長(zhǎng)連通線段的掃描直線；
(d)通過平移扇形區(qū)域獲得書本邊框上邊緣所在的掃描直線，先將初始扇形區(qū)域以δh為步長(zhǎng)沿著圖像y軸方向平行下移，直至下移至圖像高度的γ倍，其中γ∈(0,1)，當(dāng)扇形區(qū)域每下移一個(gè)位置時(shí)，重復(fù)步驟(c)；再通過比較得到上述所有扇形區(qū)域中具有最長(zhǎng)連通線段的掃描直線，即書本上邊緣包含在該掃描直線中；
(e)旋轉(zhuǎn)原圖像并計(jì)算圖像旋轉(zhuǎn)后的書本邊框上邊緣，首先，利用步驟(d)得到書本邊框上邊緣所在的掃描直線，根據(jù)該直線與圖像x軸夾角α，利用仿射變換原理將圖像反向旋轉(zhuǎn)α，使書本邊框上邊緣與圖像坐標(biāo)的x軸平行；然后，根據(jù)旋轉(zhuǎn)圖像間y坐標(biāo)的映射關(guān)系計(jì)算出旋轉(zhuǎn)后圖像上邊緣的y軸坐標(biāo)值yu，即為圖像旋轉(zhuǎn)后書本邊框上邊緣；
3)書本邊框上邊緣左右端點(diǎn)粗定位，具體包括下述步驟：
(a)創(chuàng)建矩形掃描區(qū)域，以步驟2)得到的書本邊框上邊緣為矩形水平中位線，以2δh′為矩形的高，以旋轉(zhuǎn)后圖像的寬為矩形的寬，創(chuàng)建矩形掃描區(qū)域；
(b)在矩形掃描區(qū)域內(nèi)，利用掃描法得到以矩形區(qū)域水平中位線為基準(zhǔn)線的有向距離集合，首先，沿矩形區(qū)域的水平方向從左至右進(jìn)行掃描；其次，在每一個(gè)水平位置，沿垂直方向從上至下進(jìn)行掃描，記錄邊緣點(diǎn)到水平中位線的最近距離，若邊緣點(diǎn)在水平中位線上方，則距離為正，若在下方，則距離為負(fù)，正好在中位線上則距離為0，如果沒有掃描到邊緣點(diǎn)，則距離定義為2δh′；最后，完成整個(gè)矩形區(qū)域掃描后，得到矩形區(qū)域水平中位線的有向距離集合；
(c)提取有向距離集合中的有效線段區(qū)域，首先，根據(jù)步驟(b)得到的有向距離集合，去除離水平中位線較遠(yuǎn)的邊緣點(diǎn)集；其次，去除較短且連續(xù)的邊緣點(diǎn)集合；再次，根據(jù)方差去除連續(xù)且波動(dòng)較大的點(diǎn)集；最后，得到有向距離集合中的有效線段區(qū)域；
(d)上邊緣左右端點(diǎn)粗定位，根據(jù)步驟(c)保留的有效線段區(qū)域，首先，將有效線段區(qū)域中具有x坐標(biāo)最小值的邊緣點(diǎn)設(shè)為書本邊框上邊緣的左端點(diǎn)，其次，將有效線段區(qū)域中具有x軸坐標(biāo)最大值的邊緣點(diǎn)設(shè)為書本邊框上邊緣的右端點(diǎn)，從而實(shí)現(xiàn)了上邊緣左右端點(diǎn)粗定位；
4)書本邊框上邊緣左右端點(diǎn)精定位，具體包括下述步驟：
(a)創(chuàng)建矩形區(qū)域，以書本上邊緣yu為矩形的上邊，以y＝y(tǒng)u+δh″的直線為矩形的下邊，以圖像寬度為矩形的寬，創(chuàng)建矩形掃描區(qū)域；
(b)分別創(chuàng)建左和右矩形掃描區(qū)域，以步驟(a)得到的矩形區(qū)域的垂直中位線為界，將矩形區(qū)域分為左和右矩形掃描區(qū)域；
(c)得到書本邊框的左右邊緣點(diǎn)集，首先，在左矩形掃描區(qū)域內(nèi)，從左至右進(jìn)行掃描，記錄邊緣點(diǎn)，得到書本邊框的左邊緣點(diǎn)集；其次，在右矩形掃描區(qū)域內(nèi)，從右至左進(jìn)行掃描，記錄邊緣點(diǎn)，得到書本邊框的右邊緣點(diǎn)集；
(d)計(jì)算得到書本邊框的左右邊緣直線方程，首先，分別根據(jù)書本左和右邊框直線的特點(diǎn)，去除左和右邊緣點(diǎn)集中的奇異點(diǎn)；其次，對(duì)剩余的左和右邊緣點(diǎn)集，分別采用最小二乘法進(jìn)行直線擬合，得到書本邊框的左邊緣直線方程ll和右邊緣直線方程lr；
(e)上邊緣左右端點(diǎn)精定位，首先，計(jì)算左邊緣直線方程ll與邊框上邊緣直線y＝y(tǒng)u的交點(diǎn)，即為書本上邊緣左端點(diǎn)；其次，計(jì)算右邊緣直線方程lr與邊框上邊緣直線y＝y(tǒng)u的交點(diǎn)，即為書本上邊緣右端點(diǎn)，實(shí)現(xiàn)上邊緣左右端點(diǎn)精定位；
5)書本邊框下邊緣尋找，具體包括下述步驟：
(a)左邊緣下端點(diǎn)定位，根據(jù)步驟4)得到的左邊緣直線方程ll，以y＝y(tǒng)u+δh″的點(diǎn)為起點(diǎn)，從直線ll左邊δd開始水平掃描到其右邊δd處，若存在邊緣點(diǎn)，則令y＝y(tǒng)+1繼續(xù)從直線ll的左邊水平掃描到其右邊，直至未掃描到邊緣點(diǎn)止，記錄上一行的y坐標(biāo)，即為左邊緣下端點(diǎn)；
(b)右邊緣下端點(diǎn)定位，根據(jù)步驟4)得到的右邊緣直線方程lr，以y＝y(tǒng)u+δh″的點(diǎn)為起點(diǎn)，從直線lr右邊δd開始水平掃描到其左邊δd處，若存在邊緣點(diǎn)，則令y＝y(tǒng)+1繼續(xù)從直線lr的右邊水平掃描到其左邊，直至未掃描到邊緣點(diǎn)止，記錄上一行的y坐標(biāo)，即為右邊緣下端點(diǎn)；
(c)書本邊框下邊緣定位，比較步驟(a)得到左邊緣下端點(diǎn)和步驟(b)得到的右邊緣下端點(diǎn)，兩者y坐標(biāo)較大的為書本邊框下邊緣yb。
附圖說明
圖1為本發(fā)明的工作流程圖。
具體實(shí)施方式
本發(fā)明方法要求的書本圖像一般是以廣角鏡頭俯視拍攝得到的，圖像場(chǎng)景中只有單一的書本，且能夠完全包含整個(gè)書本或者大部分書本，圖像中的書本不能倒置或傾斜過大(如：要求傾斜角度|α|≤15°)，書本在圖像中的位置應(yīng)盡量居中、平整，圖像背景為普通的任意單色桌面。
本發(fā)明采用如圖1所示的工作流程圖，實(shí)現(xiàn)基于圖像的書本邊框定位，其具體實(shí)施步驟如下：
1、書本圖像預(yù)處理
所述書本圖像預(yù)處理，是采用邊緣提取算法對(duì)三通道書本圖像提取書本邊緣輪廓，具體實(shí)施步驟如下：
1)將真彩色圖像ia按r、g和b三色分成三張單通道圖像，利用canny算子分別對(duì)三張單通道圖像進(jìn)行邊緣提取，得到二值化圖像ir、ig和ib；
2)依次將圖像ir、ig和ib的每一個(gè)像素進(jìn)行或運(yùn)算，得到書本邊緣圖像id，具體計(jì)算公式為
2、書本邊框上邊緣尋找
首先，利用直線掃描法尋找邊框上邊緣所在的掃描直線；然后，根據(jù)掃描直線的參數(shù)，采用仿射變換旋轉(zhuǎn)圖像，使得書本邊框上邊緣與圖像的x軸平行，得到旋轉(zhuǎn)后的書本邊框上邊緣，其具體實(shí)施步驟如下：
1)構(gòu)建初始扇形區(qū)域，以圖像左上角為頂點(diǎn)，以書本圖像的x軸為角平分線，構(gòu)建圓心角為2θ的扇形區(qū)域；
2)構(gòu)建扇形區(qū)域內(nèi)的掃描直線，以扇形的頂點(diǎn)為起點(diǎn)，以與圖像x軸的夾角α為直線傾角，構(gòu)建一條掃描直線，夾角α以沿圖像x軸逆時(shí)針旋轉(zhuǎn)方向?yàn)檎?，順時(shí)針為負(fù)，夾角范圍為α∈[-θ,θ]；
需要說明的是，本發(fā)明實(shí)施例中，夾角范圍可以為α∈[-15°,15°]；
3)在扇形區(qū)域內(nèi)通過直線掃描獲得具有最長(zhǎng)連通線段的掃描直線，首先，以與x軸夾角α＝-θ的直線為初始掃描直線，從左至右進(jìn)行掃描，獲得該掃描直線上的最長(zhǎng)連通線段；其次，在扇形區(qū)域內(nèi)以δθ為步長(zhǎng)沿逆時(shí)針方向構(gòu)建一條新的掃描直線，直至α＝θ為止，對(duì)于每一條掃描直線，重復(fù)上述掃描過程，獲得每一條掃描直線內(nèi)的最長(zhǎng)連通線段；最后，通過比較得到此扇形區(qū)域內(nèi)具有最長(zhǎng)連通線段的掃描直線；
4)通過平移扇形區(qū)域獲得書本邊框上邊緣所在的掃描直線，首先將初始扇形區(qū)域以δh為步長(zhǎng)沿著圖像y軸方向平行下移，直至下移至圖像寬度h的γ倍，其中γ∈(0,1)，當(dāng)扇形區(qū)域每下移一個(gè)位置時(shí)，重復(fù)步驟3)；最后，通過比較得到上述所有扇形區(qū)域中具有最長(zhǎng)連通線段的掃描直線，即書本上邊緣包含在該掃描直線中；
5)旋轉(zhuǎn)原圖像并計(jì)算圖像旋轉(zhuǎn)后的書本邊框上邊緣，首先，利用步驟4)得到書本邊框上邊緣所在的掃描直線，根據(jù)該直線與圖像x軸夾角α，利用仿射變換原理將圖像反向旋轉(zhuǎn)α，使書本邊框上邊緣與圖像坐標(biāo)的x軸平行；然后，根據(jù)旋轉(zhuǎn)圖像間y坐標(biāo)的映射關(guān)系計(jì)算出旋轉(zhuǎn)后圖像上邊緣的y軸坐標(biāo)值yu，即為圖像旋轉(zhuǎn)后書本邊框上邊緣；
需要說明的是，具體y坐標(biāo)映射關(guān)系公式如下所示：
式中，α為旋轉(zhuǎn)角度，w′和h′分別為旋轉(zhuǎn)前圖像的寬度和高度，h為旋轉(zhuǎn)后圖像的高度，y′u和yu分別為旋轉(zhuǎn)前和旋轉(zhuǎn)后書本上邊緣的y坐標(biāo)值。
3、書本邊框上邊緣左右端點(diǎn)粗定位
根據(jù)步驟2獲得的書本邊框上邊緣y＝y(tǒng)u，利用垂直掃描法，在上邊緣的鄰域掃描，得到有向距離信息；然后，通過計(jì)算平均值和方差特征，根據(jù)特征值刪選直線端點(diǎn)點(diǎn)集，完成書本邊框上邊緣左右端點(diǎn)粗定位，具體實(shí)施過程如下：
1)創(chuàng)建矩形掃描區(qū)域，以步驟2得到的書本邊框上邊緣為矩形水平中位線，以2δh′為矩形的高，以旋轉(zhuǎn)后圖像的寬為矩形的寬，創(chuàng)建矩形掃描區(qū)域；
2)在矩形掃描區(qū)域內(nèi)，利用掃描法得到以矩形區(qū)域水平中位線為基準(zhǔn)線的有向距離集合，首先，沿矩形區(qū)域的水平方向從左至右進(jìn)行掃描；其次，在每一個(gè)水平位置，沿垂直方向從上至下進(jìn)行掃描，記錄邊緣點(diǎn)到水平中位線的最近距離，若邊緣點(diǎn)在水平中位線上方，則距離為正，若在下方，則距離為負(fù)，正好在中位線上則距離為0，若沒有掃描到邊緣點(diǎn)，則距離定義為2δh′；最后，完成整個(gè)矩形區(qū)域掃描后，得到矩形區(qū)域水平中位線的有向距離集合；
3)提取有向距離集合中的有效線段區(qū)域，首先，根據(jù)步驟2)得到的有向距離集合，去除離水平中位線較遠(yuǎn)的邊緣點(diǎn)集；其次，去除集合中距離的絕對(duì)值小于dmin，且連續(xù)長(zhǎng)度小于lmin的邊緣點(diǎn)集合；再次，根據(jù)方差去除連續(xù)且波動(dòng)較大的點(diǎn)集；最后，得到有向距離集合中的有效線段區(qū)域；
4)上邊緣左右端點(diǎn)粗定位，根據(jù)步驟3)保留的有效線段區(qū)域，首先，將有效線段區(qū)域中具有x坐標(biāo)最小值的邊緣點(diǎn)設(shè)為書本邊框上邊緣的左端點(diǎn)；其次，將具有x軸坐標(biāo)最大值的邊緣點(diǎn)設(shè)為書本邊框上邊緣的右端點(diǎn)，從而實(shí)現(xiàn)了上邊緣左端點(diǎn)pul與右端點(diǎn)pur的粗定位。
4、書本邊框上邊緣左右端點(diǎn)精定位，其具體實(shí)施步驟如下：
1)創(chuàng)建矩形區(qū)域，根據(jù)步驟3得到的書本邊框信息，以上邊緣yu為矩形的上邊，以y＝y(tǒng)u+δh″的直線為矩形的下邊，以圖像寬度為矩形的寬，創(chuàng)建矩形掃描區(qū)域；
2)分別創(chuàng)建左和右矩形掃描區(qū)域，以步驟1)得到的矩形區(qū)域的垂直中位線為界，將矩形區(qū)域分為左和右矩形掃描區(qū)域；
3)得到書本邊框的左右邊緣點(diǎn)集，首先，在左矩形掃描區(qū)域內(nèi)，從左至右進(jìn)行掃描，得到書本邊框的左邊緣點(diǎn)集；其次，在右矩形掃描區(qū)域內(nèi)，從右至左進(jìn)行掃描，得到書本邊框的右邊緣點(diǎn)集；
4)計(jì)算得到書本邊框的左右邊緣直線方程，首先，分別根據(jù)書本左和右邊框直線的特點(diǎn)，去除左和右邊緣點(diǎn)集中的奇異點(diǎn)；其次，對(duì)剩余的左和右邊緣點(diǎn)集，分別采用最小二乘法進(jìn)行直線擬合，得到書本邊框的左邊緣直線方程ll和右邊緣直線方程lr；
ll最小二乘法直線公式如下：
假設(shè)左邊緣點(diǎn)集有n個(gè)數(shù)據(jù)點(diǎn)，坐標(biāo)分別為(xi,yi)，其中i＝0,1,l,n，采用最小二乘擬合方法可得左邊緣直線ll，其方程為
y＝klx+bl
其中kl和bl的計(jì)算公式分別為
5)上邊緣左右端點(diǎn)精定位，首先，計(jì)算左邊緣直線方程ll與邊框上邊緣直線y＝y(tǒng)u的交點(diǎn)，即為書本上邊緣左端點(diǎn)；其次，計(jì)算右邊緣直線方程lr與邊框上邊緣直線y＝y(tǒng)u的交點(diǎn)，即為書本上邊緣右端點(diǎn)，實(shí)現(xiàn)上邊緣左右端點(diǎn)pul與pur精定位。
5、書本邊框下邊緣尋找，其具體實(shí)施步驟如下：
1)左邊緣下端點(diǎn)定位，根據(jù)步驟4得到的左邊緣直線方程ll，以y＝y(tǒng)u+δh″的點(diǎn)為起點(diǎn)，從直線ll左邊δd開始水平掃描到其右邊δd處，若存在邊緣點(diǎn)，則令y＝y(tǒng)+1繼續(xù)從直線ll的左邊水平掃描到其右邊，直至未掃描到邊緣點(diǎn)止，記錄上一行的y坐標(biāo)，即為左邊緣下端點(diǎn)pdl；
2)右邊緣下端點(diǎn)定位，根據(jù)步驟4得到的右邊緣直線方程lr，以y＝y(tǒng)u+δh″的點(diǎn)為起點(diǎn)，從直線lr右邊δd開始水平掃描到其左邊δd處，若存在邊緣點(diǎn)，則令y＝y(tǒng)+1繼續(xù)從直線lr的右邊水平掃描到其左邊，直至未掃描到邊緣點(diǎn)止，記錄上一行的y坐標(biāo)，即為右邊緣下端點(diǎn)pdr；
3)書本邊框下邊緣定位，比較步驟1)得到左邊緣下端點(diǎn)pdl和步驟2)得到的右邊緣下端點(diǎn)pdr，兩者y坐標(biāo)較大的為書本邊框下邊緣yb。