專利名稱：一種基于視頻圖像的點(diǎn)讀機(jī)點(diǎn)讀方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種點(diǎn)讀機(jī)點(diǎn)讀方法，尤其涉及一種基于視頻圖像的點(diǎn)讀機(jī)點(diǎn)讀方法。
背景技術(shù)：
點(diǎn)讀機(jī)(又稱為智能電腦讀書機(jī)，英語互動(dòng)電子課本、同步讀書機(jī)、英語智能點(diǎn)讀 機(jī)、電子書、電子課本等)是現(xiàn)代數(shù)碼信息技術(shù)與最新教學(xué)需求完美結(jié)合的一種有聲互動(dòng) 的學(xué)習(xí)產(chǎn)品，它能將文字化的書本教材變成能按學(xué)習(xí)需要任意發(fā)聲的有聲教材。近年來，點(diǎn)讀機(jī)已迅速進(jìn)入了國(guó)內(nèi)市場(chǎng)，發(fā)展成為國(guó)內(nèi)外兒童學(xué)習(xí)的主要輔助工 具之一。目前流行的點(diǎn)讀機(jī)采用壓力感應(yīng)方法獲取點(diǎn)讀坐標(biāo)，實(shí)現(xiàn)點(diǎn)讀功能。其點(diǎn)讀原理 是在壓力感應(yīng)面板內(nèi)放置點(diǎn)陣方式的壓力傳感器，利用橫坐標(biāo)與縱坐標(biāo)掃描的方法得到 點(diǎn)讀筆在壓力感應(yīng)面板上點(diǎn)讀的位置(即x與y坐標(biāo)值)，微處理器接收到點(diǎn)讀指令，并將 壓力感應(yīng)面板上點(diǎn)讀坐標(biāo)轉(zhuǎn)換成相應(yīng)書本坐標(biāo)，讀出相應(yīng)的語音文件，實(shí)現(xiàn)了點(diǎn)讀功能。采 用壓力感應(yīng)方法的點(diǎn)讀機(jī)，具有點(diǎn)讀精度高的優(yōu)點(diǎn)，但由于其壓力感應(yīng)面板需要塑料外殼 保護(hù)及容納各種大小的書本，從而體積龐大、重量重、攜帶不方便；不同廠家生產(chǎn)的點(diǎn)讀機(jī)， 甚至同一廠家不同型號(hào)的點(diǎn)讀機(jī)，都需專用的壓力感應(yīng)面板，通用性差。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于視頻圖像的點(diǎn)讀機(jī)點(diǎn)讀方法，該點(diǎn)讀方法簡(jiǎn)單實(shí) 用、攜帶方便、通用性好，并具有較高點(diǎn)讀精度。本發(fā)明是這樣來實(shí)現(xiàn)的，其特征是方法步驟為(1)用視頻攝像頭實(shí)時(shí)獲取點(diǎn)讀筆和書本的視頻圖像；(2)利用點(diǎn)讀筆的筆尖輕觸開關(guān)，觸發(fā)微處理器捕獲單幀圖像，并將該圖像輸入到 微處理器中；(3)先利用邊緣檢測(cè)算子和閾值分割法將圖像二值化，再采用圖像膨脹、圖像腐 蝕、圖像濾波和最大連通域法排除非目標(biāo)物體的干擾，準(zhǔn)確提取書本的邊緣輪廓，并對(duì)書本 邊緣輪廓進(jìn)行校正；(4)利用書本邊緣輪廓獲取書本長(zhǎng)寬的像素值，并建立書本坐標(biāo)系；(5)先根據(jù)點(diǎn)讀筆的顏色信息，利用閾值分割法將圖像二值化，再采用最大連通域 法獲取點(diǎn)讀筆的桿狀特征；(6)根據(jù)點(diǎn)讀筆的桿狀特征，利用行掃描法獲取點(diǎn)讀筆的筆尖位置；(7)利用已知書本的長(zhǎng)寬值與圖像中書本長(zhǎng)寬的像素值，對(duì)圖像坐標(biāo)進(jìn)行標(biāo)定；(8)在書本坐標(biāo)系下，利用標(biāo)定結(jié)果計(jì)算點(diǎn)讀筆的筆尖坐標(biāo)；(9)根據(jù)筆尖在書本坐標(biāo)系下的坐標(biāo)值，調(diào)出相應(yīng)的語音信息，從而實(shí)現(xiàn)了基于視 頻圖像的點(diǎn)讀機(jī)點(diǎn)讀。利用視頻攝像頭、點(diǎn)讀筆和微處理器實(shí)現(xiàn)點(diǎn)讀機(jī)的點(diǎn)讀功能。
所述的點(diǎn)讀筆有特制顏色的筆桿，筆尖有輕觸開關(guān)，開關(guān)觸發(fā)時(shí)可以產(chǎn)生信號(hào)并 能被微處理器識(shí)別和接收。原理是利用視頻攝像頭實(shí)時(shí)獲取點(diǎn)讀筆和書本的視頻圖像；利用圖像邊緣檢測(cè) 算子和閾值分割法將圖像二值化，使書本邊緣輪廓從背景中分割出來，為準(zhǔn)確提取書本邊 緣輪廓，采用圖像膨脹與腐蝕、圖像濾波和最大連通域方法消除背景和噪聲干擾；采用最小 二乘擬合法得到書本的上邊緣直線，計(jì)算書本的上邊緣直線與水平方向的夾角，并利用該 夾角校正書本邊緣輪廓；在此基礎(chǔ)上，再利用最小二乘擬合法得到書本的邊緣直線，并建立 書本坐標(biāo)系；根據(jù)點(diǎn)讀筆的特制顏色信息，利用閾值分割法將圖像二值化，并采用最大連通 域法提取點(diǎn)讀筆的輪廓并確定其筆尖的位置；利用已知書本的長(zhǎng)寬值與圖像中書本長(zhǎng)寬的 像素值，對(duì)圖像坐標(biāo)進(jìn)行標(biāo)定；利用標(biāo)定結(jié)果計(jì)算點(diǎn)讀筆的筆尖坐標(biāo)，根據(jù)點(diǎn)讀筆的筆尖在 書本坐標(biāo)系下的坐標(biāo)值，調(diào)出相應(yīng)的語音信息，實(shí)現(xiàn)基于視頻圖像的點(diǎn)讀機(jī)點(diǎn)讀。本發(fā)明的優(yōu)點(diǎn)是利用最大連通域法有效排除了圖像二值化后的噪聲和其他非目 標(biāo)物體的干擾；利用最小二乘擬合法得到書本的邊緣直線方程，準(zhǔn)確檢測(cè)到書本的邊緣輪 廓；利用點(diǎn)讀筆的特制顏色準(zhǔn)確獲取點(diǎn)讀筆的桿狀特征；采用上述方法提高了點(diǎn)讀精度， 利用視頻攝像頭、點(diǎn)讀筆和微處理器實(shí)現(xiàn)基于視頻圖像的點(diǎn)讀機(jī)點(diǎn)讀功能。因此，基于視頻 圖像的點(diǎn)讀機(jī)具有簡(jiǎn)單實(shí)用、攜帶方便、通用性好、點(diǎn)讀精度高的優(yōu)點(diǎn)。


圖1為本發(fā)明的工作流程圖。
具體實(shí)施例方式本發(fā)明方法要求用簡(jiǎn)單支架支撐普通廣角攝像頭使之能夠垂直拍攝，拍攝的場(chǎng)景 中只有單一的書本，且能夠完全包含整本書，場(chǎng)景中的背景為普通的任意單色桌面，場(chǎng)景中 的點(diǎn)讀筆為純色且筆尖有輕觸開關(guān)，微處理器能夠接收到筆尖輕觸開關(guān)觸發(fā)時(shí)產(chǎn)生的信 號(hào)，控制攝像頭獲取圖像。同時(shí)，書本的實(shí)際長(zhǎng)寬應(yīng)是已知的。本發(fā)明采用如圖1所示的基于視頻圖像的點(diǎn)讀機(jī)點(diǎn)讀方法的流程圖，進(jìn)行點(diǎn)讀機(jī) 的點(diǎn)讀位置準(zhǔn)確測(cè)量并讀取相應(yīng)語音，其具體實(shí)施步驟如下1、視頻圖像實(shí)時(shí)獲取將帶有支架的攝像頭放置在書本正前方的合適位置，實(shí)時(shí)獲取點(diǎn)讀筆和書本的視 頻圖像。2、筆尖輕觸開關(guān)是否觸發(fā)判斷筆尖開發(fā)是否觸發(fā)，若觸發(fā)，則微處理器執(zhí)行點(diǎn)讀筆和書本的單幀圖像采集， 否則，等待點(diǎn)讀。3、單幀圖像采集當(dāng)點(diǎn)讀筆點(diǎn)讀時(shí)，筆尖上的輕觸開關(guān)觸發(fā)，產(chǎn)生信號(hào)傳入微處理器，控制攝像頭采 集單幀圖像數(shù)據(jù)，并輸入微處理器中。4、書本的輪廓提取和校正對(duì)第3步獲取的單幀圖像進(jìn)行書本的邊緣輪廓提取和校正，其主要步驟如下1)利用邊緣檢測(cè)算子提取書本的邊緣信息，其中邊緣檢測(cè)算子可用Canny、Robert 或 Sobel。2)采用閾值法對(duì)圖像進(jìn)行二值化，并采用圖像膨脹、圖像腐蝕、圖像濾波和最大連 通域法排除非目標(biāo)物體的干擾，準(zhǔn)確提取書本的邊緣輪廓。3)采用垂直掃描法和兩次最小二乘擬合法得到書本的上邊緣直線后，計(jì)算該直線 與水平方向的夾角a，將圖像順時(shí)針旋轉(zhuǎn)a角，完成了圖像的校正。兩次最小二乘擬合法如下首先，對(duì)書本的上邊緣點(diǎn)集進(jìn)行第一次最小二乘擬合法得到上邊緣直線方程，其 次，計(jì)算點(diǎn)集中每點(diǎn)到該直線的距離并按從小到大排序，去除點(diǎn)集中距離遠(yuǎn)的二分之一的 點(diǎn)，排除了噪聲點(diǎn)的影響，最后，利用該點(diǎn)集中剩余的點(diǎn)進(jìn)行第二次最小二乘擬合法得到上 邊緣直線。5、書本坐標(biāo)系的建立利用第4步校正過的書本邊緣輪廓圖像，建立書本坐標(biāo)系的主要步驟如下1)利用書本頂點(diǎn)分別到相應(yīng)圖像頂點(diǎn)距離最短的特征，確定書本的左上和右上兩 個(gè)頂點(diǎn)位置，并計(jì)算得到書本上邊緣長(zhǎng)度的像素值，即為書本長(zhǎng)的像素值。2)利用書本左上頂點(diǎn)位置和第4步獲得的書本上邊緣直線方程，并利用書本上邊 緣與左邊緣垂直的特征，計(jì)算得到書本左邊緣直線方程。3)已知書本長(zhǎng)寬值和得到的書本上邊緣長(zhǎng)度的像素值，計(jì)算得到書本左下頂點(diǎn)位 置和左邊緣長(zhǎng)度的像素值，即為書本寬的像素值。4)以左上頂點(diǎn)為原點(diǎn)，分別以書本上邊緣直線和左邊緣直線為坐標(biāo)系x軸和y軸， 建立書本坐標(biāo)系。6、點(diǎn)讀筆的桿狀特征提取及其筆尖位置確定本發(fā)明利用點(diǎn)讀筆的特制顏色提取點(diǎn)讀筆的桿狀特征，并用掃描法獲取其筆尖位 置，其主要步驟如下1)利用點(diǎn)讀筆的紅色(或藍(lán)色、綠色等)，并用閾值分割法將點(diǎn)讀筆的邊緣輪廓從 圖像中分離出來。2)采用最大連通域法去除其他干擾，提取出點(diǎn)讀筆的桿狀特征。3)采用行掃描法獲取筆尖位置，若為右手握點(diǎn)讀筆，則從左至右掃描獲取點(diǎn)讀筆 的筆尖位置；若為左手握點(diǎn)讀筆，則從右至左掃描獲取點(diǎn)讀筆的筆尖位置。7、圖像坐標(biāo)標(biāo)定及點(diǎn)讀筆的筆尖坐標(biāo)計(jì)算利用已知書本的長(zhǎng)寬值與圖像中書本長(zhǎng)寬的像素值，對(duì)圖像坐標(biāo)進(jìn)行標(biāo)定，即獲 得圖像中每個(gè)像素所對(duì)應(yīng)的實(shí)際坐標(biāo)值。利用標(biāo)定結(jié)果和第6步獲得的筆尖位置，計(jì)算出 點(diǎn)讀筆的筆尖坐標(biāo)。8、點(diǎn)讀功能實(shí)現(xiàn)根據(jù)點(diǎn)讀筆的筆尖坐標(biāo)，調(diào)出相應(yīng)的語音信息，實(shí)現(xiàn)了基于視頻圖像的點(diǎn)讀機(jī)點(diǎn) 讀功能。
權(quán)利要求
一種基于視頻圖像的點(diǎn)讀機(jī)點(diǎn)讀方法，其特征是方法步驟為(1)用視頻攝像頭實(shí)時(shí)獲取點(diǎn)讀筆和書本的視頻圖像；(2)利用點(diǎn)讀筆的筆尖輕觸開關(guān)，觸發(fā)微處理器捕獲單幀圖像，并將該圖像輸入到微處理器中；(3)先利用邊緣檢測(cè)算子和閾值分割法將圖像二值化，再采用圖像膨脹、圖像腐蝕、圖像濾波和最大連通域法排除非目標(biāo)物體的干擾，準(zhǔn)確提取書本的邊緣輪廓，并對(duì)書本邊緣輪廓進(jìn)行校正；(4)利用書本邊緣輪廓獲取書本長(zhǎng)寬的像素值，并建立書本坐標(biāo)系；(5)先根據(jù)點(diǎn)讀筆的顏色信息，利用閾值分割法將圖像二值化，再采用最大連通域法獲取點(diǎn)讀筆的桿狀特征；(6)根據(jù)點(diǎn)讀筆的桿狀特征，利用行掃描法獲取點(diǎn)讀筆的筆尖位置；(7)利用已知書本的長(zhǎng)寬值與圖像中書本長(zhǎng)寬的像素值，對(duì)圖像坐標(biāo)進(jìn)行標(biāo)定；(8)在書本坐標(biāo)系下，利用標(biāo)定結(jié)果計(jì)算點(diǎn)讀筆的筆尖坐標(biāo)；(9)根據(jù)筆尖在書本坐標(biāo)系下的坐標(biāo)值，調(diào)出相應(yīng)的語音信息，從而實(shí)現(xiàn)了基于視頻圖像的點(diǎn)讀機(jī)點(diǎn)讀。
2.根據(jù)權(quán)利要求1所述的一種基于視頻圖像的點(diǎn)讀機(jī)點(diǎn)讀方法，其特征在于利用視 頻攝像頭、點(diǎn)讀筆和微處理器實(shí)現(xiàn)點(diǎn)讀機(jī)的點(diǎn)讀功能。
3.根據(jù)權(quán)利要求1所述的一種基于視頻圖像的點(diǎn)讀機(jī)點(diǎn)讀方法，其特征是所述的點(diǎn)讀 筆有特制顏色的筆桿，筆尖有輕觸開關(guān)，開關(guān)觸發(fā)時(shí)可以產(chǎn)生信號(hào)并能被微處理器識(shí)別和 接收。
全文摘要
一種基于視頻圖像的點(diǎn)讀機(jī)點(diǎn)讀方法，其特征是方法步驟為(1)用視頻攝像頭實(shí)時(shí)獲取點(diǎn)讀筆和書本的視頻圖像；(2)利用點(diǎn)讀筆的筆尖輕觸開關(guān)，并將該圖像輸入到微處理器中；(3)對(duì)書本邊緣輪廓進(jìn)行校正；(4)建立書本坐標(biāo)系；(5)采用最大連通域法獲取點(diǎn)讀筆的桿狀特征；(6)根據(jù)點(diǎn)讀筆的桿狀特征，利用行掃描法獲取點(diǎn)讀筆的筆尖位置；(7)利用已知書本的長(zhǎng)寬值與圖像中書本長(zhǎng)寬的像素值，對(duì)圖像坐標(biāo)進(jìn)行標(biāo)定；(8)在書本坐標(biāo)系下，利用標(biāo)定結(jié)果計(jì)算點(diǎn)讀筆的筆尖坐標(biāo)；(9)從而實(shí)現(xiàn)了基于視頻圖像的點(diǎn)讀機(jī)點(diǎn)讀。本發(fā)明的優(yōu)點(diǎn)是利用視頻攝像頭、點(diǎn)讀筆和微處理器實(shí)現(xiàn)點(diǎn)讀機(jī)的點(diǎn)讀功能；利用最大連通域法有效排除了圖像二值化后的噪聲和其他非目標(biāo)物體的干擾；利具有簡(jiǎn)單實(shí)用、攜帶方便、通用性好、點(diǎn)讀精度高的優(yōu)點(diǎn)。
文檔編號(hào)G06K9/00GK101799996SQ20101012252
公開日2010年8月11日 申請(qǐng)日期2010年3月11日 優(yōu)先權(quán)日2010年3月11日
發(fā)明者張超, 熊邦書, 莫燕 申請(qǐng)人:南昌航空大學(xué)