專(zhuān)利名稱(chēng)：基于分割線(xiàn)的漫畫(huà)幀識(shí)別與自動(dòng)排序方法
技術(shù)領(lǐng)域：
本發(fā)明設(shè)計(jì)一種基于分割線(xiàn)的漫畫(huà)幀識(shí)別與自動(dòng)排序方法，屬于圖像數(shù)據(jù)處理領(lǐng)域。
背景技術(shù)：
像電子書(shū)一樣，電子漫畫(huà)不但具有方便經(jīng)濟(jì)、自動(dòng)排好序的優(yōu)點(diǎn)，而且具有動(dòng)躍感，現(xiàn)在逐漸發(fā)展并流行起來(lái)，尤其在青少年消費(fèi)市場(chǎng)中非常受歡迎。而在手機(jī)或PDA上閱讀電子漫畫(huà)隨著上下鍵的翻動(dòng)產(chǎn)生動(dòng)漫畫(huà)的效果，備受讀者親睞。但是漫畫(huà)的閱讀不同于電子書(shū)，因?yàn)槭謾C(jī)與PDA屏幕大小的限制，以及為了在手機(jī)上閱讀時(shí)使故事情節(jié)具有先后順序，需要把每張漫畫(huà)分割成更小的圖片，而又不影響閱讀。目前已經(jīng)出現(xiàn)了很多電子漫畫(huà)服務(wù)，但這些工作大部分都是通過(guò)人工來(lái)識(shí)別分割漫畫(huà)頁(yè)中的漫畫(huà)巾貞?，F(xiàn)階段，國(guó)內(nèi)外對(duì)電子漫畫(huà)的研究還比較少。Masashi YAMADA等人提出了 一種按角度對(duì)漫畫(huà)幀以及漫畫(huà)幀中對(duì)話(huà)框內(nèi)容進(jìn)行排序的方法，主要著重于排序結(jié)果的正確性，沒(méi)有提到如何有效的處理分割線(xiàn)不完整的漫畫(huà)幀。Takamasa Tanaka、Kenji Shoji and Fubito Toyama提出了一種用樹(shù)結(jié)構(gòu) 來(lái)表示漫畫(huà)巾貞,通過(guò)用梯度密度函數(shù)識(shí)別直線(xiàn)對(duì)漫畫(huà)幀進(jìn)行布局分析。這個(gè)方法可以解決分割線(xiàn)不完整，即有對(duì)話(huà)框截?cái)喾指罹€(xiàn)的情況， 但不能實(shí)時(shí)應(yīng)用。還有些其它方面的漫畫(huà)圖片處理工作得到了研究，如Syeda-Mahmood等人提出了一種在漫畫(huà)圖片中文本識(shí)別的方法，使得漫畫(huà)中對(duì)話(huà)框中的文字被單獨(dú)放出來(lái)閱讀，這對(duì)于電子漫畫(huà)也是非常重要的，但能真正得到實(shí)際的應(yīng)用還需進(jìn)一步的研究工作。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是針對(duì)一般漫畫(huà)分割線(xiàn)特點(diǎn)，通過(guò)判斷漫畫(huà)幀之間的分割線(xiàn)所具有的特點(diǎn)對(duì)漫畫(huà)幀進(jìn)行識(shí)別，并且根據(jù)漫畫(huà)幀的排布特點(diǎn)提出了利用二叉樹(shù)與漫畫(huà)幀結(jié)合的排序方法，簡(jiǎn)單易懂、執(zhí)行效率高。為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于分割線(xiàn)的漫畫(huà)幀識(shí)別與自動(dòng)排序方法，其特征在于，作如下定義a、漫畫(huà)幀每頁(yè)漫畫(huà)中不能再分割的最小圖片單元；b、漫畫(huà)段由至少兩個(gè)相連的漫畫(huà)幀組成的四邊形；該方法包括以下步驟A、對(duì)給定的漫畫(huà)頁(yè)作預(yù)處理，包括a、對(duì)所述漫畫(huà)頁(yè)二值化，得到二值化圖像；b、對(duì)所述二值化圖像作輪廓檢測(cè)，得到漫畫(huà)頁(yè)的前景圖像；B、對(duì)前景圖像作直線(xiàn)檢測(cè)，獲取前景圖像中包含的直線(xiàn)；C、定義直線(xiàn)檢測(cè)后獲取的四邊形結(jié)構(gòu)體為coma，coma為漫畫(huà)幀或漫畫(huà)段，漫畫(huà)分割從最大的coma開(kāi)始,若coma滿(mǎn)足下列條件之一,則判定coma不可分割并且coma對(duì)應(yīng)的圖片為漫畫(huà)幀，執(zhí)行步驟G，否則執(zhí)行步驟D ;
a、coma內(nèi)部沒(méi)有直線(xiàn)；b、coma內(nèi)部最大前景圖像面積與coma面積比值小于閾值m,其中O < m < O. 25 ;c.coma內(nèi)部最大前景圖像區(qū)域像素?cái)?shù)量與coma內(nèi)部所有像素?cái)?shù)量的比值小于閾值 n，其中 O < η < O. 2 ;d、coma內(nèi)部最大前景圖像區(qū)域與coma對(duì)應(yīng)的長(zhǎng)、寬比值小于閾值p，0. 08 < p
<0. 2 ；D、從直線(xiàn)檢測(cè)獲取的直線(xiàn)中選出分割線(xiàn)，所述分割線(xiàn)必須滿(mǎn)足以下條件a、所述分割線(xiàn)只與coma中相對(duì)的兩條邊相交，與其他邊沒(méi)有交點(diǎn)；
b、所述分割線(xiàn)與coma的交點(diǎn)在coma的邊緣線(xiàn)上；E、對(duì)所述分割線(xiàn)按其權(quán)重的降序一一篩選，選出與其他直線(xiàn)交點(diǎn)個(gè)數(shù)不超過(guò)3的分割線(xiàn)，定義為標(biāo)準(zhǔn)分割線(xiàn)；F、在所述標(biāo)準(zhǔn)分割線(xiàn)兩側(cè)各HW像素點(diǎn)的寬度范圍內(nèi)，選出與其它直線(xiàn)不相交、或最多只與兩條直線(xiàn)有交點(diǎn)的直線(xiàn)，從這些直線(xiàn)中再選出一條與前景圖像交點(diǎn)數(shù)最少的直線(xiàn)作為coma的最分割位置，定義為最佳分割線(xiàn)；如果選不出符合條件的最佳分割線(xiàn)，返回步驟E，按照所述分割線(xiàn)的權(quán)重選擇下一條符合要求的最佳分割線(xiàn)；G、采用二叉樹(shù)數(shù)據(jù)結(jié)構(gòu)按照漫畫(huà)的閱讀順序儲(chǔ)存經(jīng)過(guò)分處理的coma ；H、按照最佳分割線(xiàn)對(duì)漫畫(huà)頁(yè)作第一次分割后，用同樣的方法對(duì)分割而產(chǎn)生的漫畫(huà)段繼續(xù)分割并儲(chǔ)存新產(chǎn)生的coma，直到不存在可分割的coma為止，一頁(yè)漫畫(huà)的分割完成。采用無(wú)參數(shù)和非監(jiān)督的圖像分割閾值選擇方法對(duì)所述漫畫(huà)頁(yè)二值化，通過(guò)選擇一個(gè)閾值來(lái)把小于閾值的像素值設(shè)置為0，大于這個(gè)閾值的像素值設(shè)置為I。對(duì)輪廓檢測(cè)后得到的漫畫(huà)頁(yè)前景圖像，在直線(xiàn)檢測(cè)之前作細(xì)化處理，將前景圖像中線(xiàn)條寬度大于I個(gè)像素的線(xiàn)條細(xì)化成只有一個(gè)像素寬。判斷coma內(nèi)部是否有直線(xiàn)的方法是如果直線(xiàn)落入coma內(nèi)部的像素量小于直線(xiàn)像素總量的一半，則認(rèn)為這條直線(xiàn)不在coma內(nèi)部，否則認(rèn)為該直線(xiàn)在coma內(nèi)部。米用Kernel-based Hough transform方法作直線(xiàn)檢測(cè)，并確定分割線(xiàn)的權(quán)重。二叉樹(shù)儲(chǔ)存從右到左閱讀順序的漫畫(huà)coma方法如下定義一顆二叉樹(shù),二叉樹(shù)與漫畫(huà)coma的關(guān)系為一個(gè)coma為二叉樹(shù)的一個(gè)節(jié)點(diǎn),根節(jié)點(diǎn)為一頁(yè)漫畫(huà)，中間節(jié)點(diǎn)為漫畫(huà)段，葉子節(jié)點(diǎn)為漫畫(huà)幀；若最佳分割線(xiàn)把coma分為左右兩個(gè)部分，則將最佳分割線(xiàn)右面的coma作為左子樹(shù),最佳分割線(xiàn)左面的coma作為右子樹(shù)； 若最佳分割線(xiàn)把coma分為上下兩個(gè)部分，則把最佳分割線(xiàn)上面的coma作為左子樹(shù)，最佳分割線(xiàn)下面的coma作為右子樹(shù)；若某個(gè)coma無(wú)最佳分割線(xiàn),則該coma對(duì)應(yīng)的圖像為漫畫(huà)中貞， 沒(méi)有子節(jié)點(diǎn)，不再對(duì)其分割；按照上述方法將每個(gè)coma均儲(chǔ)存在二叉樹(shù)中，得到的二叉樹(shù)所有葉子即為所有的漫畫(huà)巾貞，漫畫(huà)幀的閱讀順序?yàn)閺淖蟮接覍?duì)應(yīng)葉子的排列順序。二叉樹(shù)儲(chǔ)存從左到右閱讀順序的漫畫(huà)coma方法如下定義一顆二叉樹(shù),二叉樹(shù)與漫畫(huà)coma的關(guān)系為一個(gè)coma為二叉樹(shù)的一個(gè)節(jié)點(diǎn),根節(jié)點(diǎn)為一頁(yè)漫畫(huà)，中間節(jié)點(diǎn)為漫畫(huà)段，葉子節(jié)點(diǎn)為漫畫(huà)幀；若最佳分割線(xiàn)把coma分為左右兩個(gè)部分，則將最佳分割線(xiàn)左面的coma作為左子樹(shù),最佳分割線(xiàn)右面的coma作為右子樹(shù)； 若最佳分割線(xiàn)把coma分為上下兩個(gè)部分，則把最佳分割線(xiàn)上面的coma作為左子樹(shù)，最佳分割線(xiàn)下面的coma作為右子樹(shù)；若某個(gè)coma無(wú)最佳分割線(xiàn),則該coma對(duì)應(yīng)的圖像為漫畫(huà)幀，沒(méi)有子節(jié)點(diǎn)，不再對(duì)其分割；按照上述方法將每個(gè)coma均儲(chǔ)存在二叉樹(shù)中，得到的二叉樹(shù)所有葉子即為所有的漫畫(huà)巾貞，漫畫(huà)幀的閱讀順序?yàn)閺淖蟮接覍?duì)應(yīng)葉子的排列順序。漫畫(huà)預(yù)處理中，二值化、輪廓檢測(cè)、圖像細(xì)化然后是直線(xiàn)檢測(cè)，使得直線(xiàn)檢測(cè)速度更快；在分割過(guò)程中通過(guò)權(quán)重選取分割線(xiàn)并選擇最佳分割線(xiàn)，提高了分割線(xiàn)選取的準(zhǔn)確率； 利用二叉樹(shù)數(shù)據(jù)結(jié)構(gòu)來(lái)對(duì)構(gòu)成一幅漫畫(huà)的每一幀儲(chǔ)存并排序，操作方便快捷，實(shí)用性強(qiáng)；整個(gè)方案快速、準(zhǔn)確、高效。


圖I為本發(fā)明的流程圖；圖2(a)為漫畫(huà)分割示意圖；圖2(b)為二叉樹(shù)儲(chǔ)存漫畫(huà)幀原理圖；圖3為最佳分割線(xiàn)選取示意圖； 圖4為試測(cè)試結(jié)果統(tǒng)計(jì)表。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說(shuō)明。如圖I所示為本發(fā)明的流程圖，包括以下步驟A、對(duì)給定的漫畫(huà)頁(yè)作預(yù)處理，包括a、對(duì)所述漫畫(huà)頁(yè)二值化，得到二值化圖像；b、對(duì)所述二值化圖像作輪廓檢測(cè)，得到漫畫(huà)頁(yè)的前景圖像；B、對(duì)前景圖像作直線(xiàn)檢測(cè)，獲取前景圖像中包含的直線(xiàn)；C、定義直線(xiàn)檢測(cè)后獲取的四邊形結(jié)構(gòu)體為coma, coma為漫畫(huà)巾貞或漫畫(huà)段,漫畫(huà)分割從最大的coma開(kāi)始,若coma滿(mǎn)足下列條件之一,則判定coma不可分割并且coma對(duì)應(yīng)的圖片為漫畫(huà)幀，執(zhí)行步驟G，否則執(zhí)行步驟D ;a、coma內(nèi)部沒(méi)有直線(xiàn)；b、coma內(nèi)部最大前景圖像面積與coma面積比值小于閾值m,其中O < m < 0. 25 ;c.coma內(nèi)部最大前景圖像區(qū)域像素?cái)?shù)量與coma內(nèi)部所有像素?cái)?shù)量的比值小于閾值 n，其中 O < η < 0. 2 ;d、coma內(nèi)部最大前景圖像區(qū)域與coma對(duì)應(yīng)的長(zhǎng)、寬比值小于閾值p，0. 08 < p
<0. 2 ；D、從直線(xiàn)檢測(cè)獲取的直線(xiàn)中選出分割線(xiàn)，所述分割線(xiàn)必須滿(mǎn)足以下條件a、所述分割線(xiàn)只與coma中相對(duì)的兩條邊相交,與其他邊沒(méi)有交點(diǎn)；b、所述分割線(xiàn)與coma的交點(diǎn)在coma的邊緣線(xiàn)上；E、對(duì)所述分割線(xiàn)按其權(quán)重的降序一一篩選，選出與其他直線(xiàn)交點(diǎn)個(gè)數(shù)不超過(guò)3的分割線(xiàn)，定義為標(biāo)準(zhǔn)分割線(xiàn)；F、在所述標(biāo)準(zhǔn)分割線(xiàn)兩側(cè)各HW像素點(diǎn)的寬度范圍內(nèi)，選出與其它直線(xiàn)不相交、或最多只與兩條直線(xiàn)有交點(diǎn)的直線(xiàn)，從這些直線(xiàn)中再選出一條與前景圖像交點(diǎn)數(shù)最少的直線(xiàn)作為coma的最佳分割位置，定義為最佳分割線(xiàn)；如果選不出符合條件的最佳分割線(xiàn)，返回步驟E，按照所述分割線(xiàn)的權(quán)重選擇下一條符合要求的最佳分割線(xiàn)；
G、采用二叉樹(shù)數(shù)據(jù)結(jié)構(gòu)按照漫畫(huà)的閱讀順序儲(chǔ)存經(jīng)過(guò)分割處理的coma，此處的 coma既包括進(jìn)行分割的coma,也包括分割后產(chǎn)生的coma,還包括不可分割的coma ；H、按照 最佳分割線(xiàn)對(duì)漫畫(huà)頁(yè)作第一次分割后，用同樣的方法對(duì)分割而產(chǎn)生的漫畫(huà)段繼續(xù)分割并儲(chǔ)存新產(chǎn)生的coma，直到不存在可分割的coma為止，一頁(yè)漫畫(huà)的分割完成。 其中，定義如下，漫畫(huà)幀每頁(yè)漫畫(huà)中不能再分割的最小圖片單元。漫畫(huà)段由至少兩個(gè)相連的漫畫(huà)幀組成的四邊形。利用二叉樹(shù)存儲(chǔ)漫畫(huà)幀結(jié)構(gòu)，與人在判斷漫畫(huà)排序具有相同的原理。一顆二叉樹(shù)對(duì)應(yīng)一頁(yè)漫畫(huà)。根節(jié)點(diǎn)用來(lái)存儲(chǔ)一整頁(yè)漫畫(huà)，首先把漫畫(huà)分為兩部分，放在根節(jié)點(diǎn)的左右子樹(shù)中。對(duì)每棵子樹(shù)的部分繼續(xù)分割，直到最后全部分割完成。最后的結(jié)果，即分割完成的漫畫(huà)幀保存在二叉樹(shù)的葉子節(jié)點(diǎn)中。如圖2(a)所示，直線(xiàn)a、b、c、d為四條最佳分割線(xiàn)把漫畫(huà)分為(I)、(2)、(3)、(4)、
(5)五個(gè)漫畫(huà)幀，圖2(b)所示的二叉樹(shù)按如下方法儲(chǔ)存上述五個(gè)漫畫(huà)幀首先把整一幅漫畫(huà)看成樹(shù)根，表示為A，A由兩部分組成，即最佳分割線(xiàn)a上面的部分以及下面的部分，分別用B、C表示。采用遞歸的方法，B被最佳分割線(xiàn)c分為左右的E、D兩部分，C被最佳分割線(xiàn) d分為上下的F、G兩部分，F(xiàn)、G不可再分是樹(shù)葉。最后最佳分割線(xiàn)c把E分成最后的上下 M、N兩片樹(shù)葉。我們可以用括號(hào)的形式來(lái)表示一顆二叉樹(shù)，即(A(B(D，E(M，N))，C(F，G)))我們采用二叉樹(shù)數(shù)據(jù)結(jié)構(gòu)來(lái)按照漫畫(huà)的排序存儲(chǔ)漫畫(huà)每一幀，可以對(duì)漫畫(huà)直接排序。此處我們用日本漫畫(huà)排布(閱讀順序?yàn)閺挠业阶?，從上到?規(guī)則舉例，我們用二叉樹(shù)按照如下規(guī)則存放每一幀(a)、如果最佳分割線(xiàn)為上下線(xiàn)需把最佳分割線(xiàn)上面的部分作為左子樹(shù)，例如圖 2(b)中的B、F、M部分都在左子樹(shù)部分；把最佳分割線(xiàn)下面的部分作為右子樹(shù)，例如圖2(b) 中的C、G、N部分都在右子樹(shù)部分。(b)、如果最佳分割線(xiàn)為左右線(xiàn)的話(huà)需把最佳分割線(xiàn)右面的部分作為左子樹(shù)，例如圖2(b)中的D部分；把最佳分割線(xiàn)下面的部分作為右子樹(shù)，例如圖2(b)中的E部分。按照上述規(guī)則存放的二叉樹(shù)的所有葉子為最終的分割結(jié)果，并且已經(jīng)從左到右排好順序。圖2(b)中二叉樹(shù)的所有葉子結(jié)點(diǎn)為最終的分割結(jié)果，閱讀順序?yàn)镈、M、N、F、G，按照幀的排序正好為⑴⑵⑶⑷(5)。如果漫畫(huà)的閱讀習(xí)慣為從右到左(改為從左到右)， 如國(guó)產(chǎn)漫畫(huà)，利用同樣的方法分割排序即可，只需對(duì)左右最佳分割線(xiàn)兩邊的漫畫(huà)幀儲(chǔ)存位置調(diào)換即可。如圖3所示，直線(xiàn)χ為我們找到的標(biāo)準(zhǔn)分割線(xiàn)，但是為了避免把漫畫(huà)的內(nèi)容損壞， 我們?cè)谄溆疫叺目瞻椎牡胤街本€(xiàn)I處將其分割開(kāi)來(lái)，y為最佳分割線(xiàn)。最佳分割線(xiàn)位置的選擇在當(dāng)前直線(xiàn)左右(或上下)HW的范圍內(nèi)，與當(dāng)前標(biāo)準(zhǔn)分割線(xiàn)平行的直線(xiàn)組中，把與其他直線(xiàn)交點(diǎn)數(shù)量超過(guò)2個(gè)的直線(xiàn)過(guò)濾掉，這樣剩下的直線(xiàn)都是與其他直線(xiàn)不相交、或只與一條或兩條直線(xiàn)有交點(diǎn)的線(xiàn)。在這些直線(xiàn)中，再選一條與前景像素相交點(diǎn)數(shù)最少的直線(xiàn)作為最佳分割線(xiàn)。對(duì)備選分割線(xiàn)分別規(guī)定三種情況下的分割比的閾值，其中分割比指的是分割線(xiàn)的實(shí)際長(zhǎng)度與分割線(xiàn)的理論長(zhǎng)度之比。如圖3中直線(xiàn)m、n由于中間沒(méi)被截?cái)?，其?shí)際長(zhǎng)度與理論長(zhǎng)度一致，分割比為I。若出現(xiàn)分割線(xiàn)中間被截?cái)嗟那闆r， 則分割比小于I。定義備選分割線(xiàn)的分割比，與其他直線(xiàn)沒(méi)有交點(diǎn)的分割線(xiàn)分割比定義為 RATIO,與其他直線(xiàn)只有一個(gè)交點(diǎn)的分割線(xiàn)分割比定義為RATI01，與其他直線(xiàn)有兩個(gè)交點(diǎn)的分割線(xiàn)分割比定義為RATI02。如果備選的分割線(xiàn)與其他直線(xiàn)沒(méi)有交點(diǎn)，那么我們選一條與前景相交最少的、分割比超過(guò)RATIO的分割線(xiàn)作為最佳分割線(xiàn)。如果備選的分割線(xiàn)與其他直線(xiàn)只有一個(gè)交點(diǎn)，那么我們選一條與前景相交最少的、分割比超過(guò)RATIOl的分割線(xiàn)作為最佳分割線(xiàn)。如果備選分割線(xiàn)與其他直線(xiàn)有兩個(gè)交點(diǎn)，那么我們選一條與前景相交最少的、 分割比超過(guò)RATI02的分割線(xiàn)作為最佳分割線(xiàn)。其中RATIO的范圍為O. 45-0. 55, RATIOl范圍為O. 7-0. 8,RATI02范圍為O. 5-0. 6。最佳分割線(xiàn)的具體位置確定后，我們可以按照這個(gè)位置分割。如果沒(méi)有一個(gè)符合以上要求的分割位置，那么返回繼續(xù)選擇標(biāo)準(zhǔn)分割線(xiàn)。選中的分割線(xiàn)以及被排除掉的分割線(xiàn)標(biāo)記為已使用，更新可使用的分割線(xiàn)列表。漫畫(huà)圖片預(yù)處理具體方法如下二值化本發(fā)明用到的所有圖片都是二值化后的圖片，圖像的二值化有利于圖像的進(jìn)一步處理，使圖像變得簡(jiǎn)單，而且數(shù)據(jù)量減小，能凸顯出感興趣的目標(biāo)的輪廓。要進(jìn)行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖 像。在本發(fā)明中用到的所有圖像都是二值化后的漫畫(huà)圖片。本發(fā)明運(yùn)用了按照一定規(guī)則從灰度直方圖提取最佳閾值的方法對(duì)圖像進(jìn)行二值化，方法如下本發(fā)明對(duì)圖像的二值化用了 NOBUYUKI OTSU提出的一個(gè)無(wú)參數(shù)和非監(jiān)督的圖像分割閾值選擇方法[9]。通過(guò)選擇一個(gè)閾值來(lái)把小于閾值的像素值設(shè)置為0，大于這個(gè)閾值的像素值設(shè)置為1，這樣就是一幅圖片的二值化。我們運(yùn)用的方法可以最大化灰度級(jí)分類(lèi)結(jié)果的分離性，通過(guò)這個(gè)評(píng)判標(biāo)準(zhǔn)可以獲得一個(gè)最佳的閾值。 過(guò)程非常簡(jiǎn)單，僅僅利用灰度直方圖的O階與I階累積矩，由于二值化采用的是現(xiàn)有技術(shù)， 具體方法不再贅述。輪廓檢測(cè)圖像預(yù)處理中，往往需要對(duì)目標(biāo)邊緣作跟蹤處理，也叫輪廓跟蹤。顧名思義，輪廓跟蹤就是通過(guò)順序找出邊緣點(diǎn)來(lái)跟蹤邊界的。在分割線(xiàn)的選取中，需要判斷分割線(xiàn)與前景圖像的交點(diǎn)數(shù)量，本發(fā)明對(duì)二值化后的漫畫(huà)圖像做輪廓檢測(cè)，檢測(cè)漫畫(huà)中的前景圖像，在判斷前景圖像與分割線(xiàn)交點(diǎn)的時(shí)候，為分割線(xiàn)的選取起到了重要作用。更重要的是輪廓檢測(cè)后從輪廓中進(jìn)行直線(xiàn)檢測(cè)，從而省去了所有點(diǎn)進(jìn)行檢測(cè)的步驟，只需對(duì)輪廓上的像素進(jìn)行計(jì)算，為直線(xiàn)檢測(cè)減少了大量的計(jì)算。由于采用的為現(xiàn)有技術(shù)，不再細(xì)述。圖像細(xì)化圖像細(xì)化一般作為一種圖像預(yù)處理技術(shù)出現(xiàn)，目的是提取源圖像的骨架，即是將原圖像中線(xiàn)條寬度大于I個(gè)像素的線(xiàn)條細(xì)化成只有一個(gè)像素寬，形成“骨架”，形成骨架后能比較容易的分析圖像，如提取圖像的特征。細(xì)化基本思想是“層層剝奪”，即從線(xiàn)條邊緣開(kāi)始一層一層向里剝奪，直到線(xiàn)條剩下一個(gè)像素的為止。圖像細(xì)化大大地壓縮了原始圖像地?cái)?shù)據(jù)量，并保持其形狀的基本拓?fù)浣Y(jié)構(gòu)不變，從而為圖像的特征抽取等應(yīng)用奠定了基礎(chǔ)。本發(fā)明在輪廓提取后對(duì)圖像進(jìn)行細(xì)化使得我們計(jì)算前景與分割線(xiàn)交點(diǎn)的數(shù)量大大減小，同時(shí)因?yàn)樗蟹指罹€(xiàn)與前景圖像的交點(diǎn)是成比例的減少，并不會(huì)影響到我們對(duì)分割線(xiàn)判斷的情況。直線(xiàn)檢測(cè)采用如下技術(shù)，因?yàn)槭乾F(xiàn)有技術(shù)，這里只作簡(jiǎn)要介紹漫畫(huà)中的分割線(xiàn)是決定漫畫(huà)分割情況關(guān)鍵所在。漫畫(huà)的分割需要首先檢測(cè)出直線(xiàn)，然后通過(guò)直線(xiàn)的特點(diǎn)來(lái)判斷是否為分割線(xiàn)，以及具體怎樣分割。如果檢測(cè)出來(lái)的直線(xiàn)過(guò)少，就會(huì)使漫畫(huà)被“漏分”， 檢測(cè)出來(lái)的直線(xiàn)過(guò)于多或是不準(zhǔn)確，會(huì)使分割過(guò)程做大量的判斷工作，容易導(dǎo)致“錯(cuò)分”。所以找出一種適合的直線(xiàn)檢測(cè)方法來(lái)正確的檢測(cè)出分割線(xiàn)會(huì)使得分割過(guò)程大大簡(jiǎn)化并且準(zhǔn)確。Hough變換是圖像處理中從圖像中識(shí)別幾何形狀的基本方法之一，即它可以檢測(cè)已知形狀的目標(biāo)，而且受噪聲和曲線(xiàn)間斷的影響小。Hough直線(xiàn)檢測(cè)技術(shù)因?yàn)樗槍?duì)噪聲和錯(cuò)誤數(shù)據(jù)的健壯性被廣泛使用，但是計(jì)算成本較高，所以對(duì)較大的圖片不能實(shí)時(shí)的執(zhí)行。本發(fā)明采用了一種改進(jìn)后的Hough直線(xiàn)檢測(cè)方法。由 Leandro A. F. Fernandes和Manuel M. Oliveira 提出的Kernel-based Hough transform(KHT)方法來(lái)檢測(cè)直線(xiàn)。本方法由于先把大約共線(xiàn)的像素組成簇集，然后在選取其中最吻合的直線(xiàn)，比Hough直線(xiàn)檢測(cè)法開(kāi)銷(xiāo)要小的多，但正確率卻更高。本發(fā)明的直線(xiàn)檢測(cè)是在圖像二值化后，對(duì)圖像進(jìn)行輪廓檢測(cè)，然后對(duì)輪廓做了細(xì)化處理的基礎(chǔ)上進(jìn)行的，所以本發(fā)明中的直線(xiàn)檢測(cè)速度將更快。對(duì)于有些不規(guī)則的圖片，本發(fā)明設(shè)計(jì)了人工輔助的方法來(lái)使得圖片分割更精確。 采用優(yōu)先檢測(cè)人工直線(xiàn)的方法對(duì)手動(dòng)添加的直線(xiàn)進(jìn)行判斷。測(cè)試結(jié)果其中實(shí)驗(yàn)結(jié)果見(jiàn)圖4，成功了 184張，失敗了 16張，過(guò)分2張，少分13 張，錯(cuò)分I張，達(dá)到了 92%的成功率。計(jì)算機(jī)用時(shí)926秒，即每張需要時(shí)間4. 633秒。效率為O. 215張/秒。
當(dāng)然，本發(fā)明還可有其他多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1.一種基于分割線(xiàn)的漫畫(huà)幀識(shí)別與自動(dòng)排序方法，其特征在于，該方法包括以下步驟 A、對(duì)給定的漫畫(huà)頁(yè)作預(yù)處理,包括 a、對(duì)所述漫畫(huà)頁(yè)二值化，得到二值化圖像； b、對(duì)所述二值化圖像作輪廓檢測(cè)，得到漫畫(huà)頁(yè)的前景圖像； B、對(duì)前景圖像作直線(xiàn)檢測(cè)，獲取前景圖像中包含的直線(xiàn)； C、定義直線(xiàn)檢測(cè)后獲取的四邊形結(jié)構(gòu)體為coma，coma為漫畫(huà)幀或漫畫(huà)段，其中漫畫(huà)幀指每頁(yè)漫畫(huà)中最小圖片單元，漫畫(huà)段指由至少兩個(gè)相連的漫畫(huà)幀組成的四邊形；漫畫(huà)分割從最大的coma開(kāi)始,若coma滿(mǎn)足下列條件之一，貝U判定coma不可分割并且coma對(duì)應(yīng)的圖片為漫畫(huà)幀，執(zhí)行步驟G，否則執(zhí)行步驟D，其中漫畫(huà)幀指每頁(yè)漫畫(huà)中最小圖片單元； a、coma內(nèi)部沒(méi)有直線(xiàn)； b> coma內(nèi)部最大前景圖像面積與coma面積比值小于閾值m; C、coma內(nèi)部最大前景圖像區(qū)域像素?cái)?shù)量與coma內(nèi)部所有像素?cái)?shù)量的比值小于閾值n ； d> coma內(nèi)部最大前景圖像區(qū)域與coma對(duì)應(yīng)的長(zhǎng)、寬比值小于閾值p ; D、從直線(xiàn)檢測(cè)獲取的直線(xiàn)中選出分割線(xiàn)，所述分割線(xiàn)必須滿(mǎn)足以下條件 a、所述分割線(xiàn)只與coma中相對(duì)的兩條邊相交，與其他邊沒(méi)有交點(diǎn)； b、所述分割線(xiàn)與coma的交點(diǎn)在coma的邊緣線(xiàn)上； E、對(duì)所述分割線(xiàn)按其權(quán)重的降序一一篩選，選出與其他直線(xiàn)交點(diǎn)個(gè)數(shù)小于等于3的分割線(xiàn)，定義為標(biāo)準(zhǔn)分割線(xiàn)； F、在所述標(biāo)準(zhǔn)分割線(xiàn)兩側(cè)各HW像素點(diǎn)的寬度范圍內(nèi)，選出與其它直線(xiàn)不相交、或最多只與兩條直線(xiàn)有交點(diǎn)的直線(xiàn)，從這些直線(xiàn)中再選出一條與前景圖像交點(diǎn)數(shù)最少的直線(xiàn)作為coma的最佳分割位置，定義為最佳分割線(xiàn)；如果選不出符合條件的最佳分割線(xiàn)，返回步驟E，按照所述分割線(xiàn)的權(quán)重選擇下一條符合要求的最佳分割線(xiàn)； G、采用二叉樹(shù)數(shù)據(jù)結(jié)構(gòu)按照漫畫(huà)的閱讀順序儲(chǔ)存coma，此處的coma既包括進(jìn)行分割的coma,也包括分割后產(chǎn)生的coma,還包括不可分割的coma ； H、按照最佳分割線(xiàn)對(duì)漫畫(huà)頁(yè)作第一次分割后，用同樣的方法對(duì)分割而產(chǎn)生的漫畫(huà)段繼續(xù)分割并儲(chǔ)存新產(chǎn)生的coma,直到不存在可分割的coma為止,一頁(yè)漫畫(huà)的分割完成。
2.根據(jù)權(quán)利要求I所述的基于分割線(xiàn)的漫畫(huà)幀識(shí)別與自動(dòng)排序方法，其特征在于采用無(wú)參數(shù)和非監(jiān)督的圖像分割閾值選擇方法對(duì)所述漫畫(huà)頁(yè)二值化，通過(guò)選擇一個(gè)閾值來(lái)把小于閾值的像素值設(shè)置為0，大于這個(gè)閾值的像素值設(shè)置為I。
3.根據(jù)權(quán)利要求I所述的基于分割線(xiàn)的漫畫(huà)幀識(shí)別與自動(dòng)排序方法，其特征在于對(duì)輪廓檢測(cè)后得到的漫畫(huà)頁(yè)前景圖像，在直線(xiàn)檢測(cè)之前作細(xì)化處理，將前景圖像中線(xiàn)條寬度大于I個(gè)像素的線(xiàn)條細(xì)化成只有一個(gè)像素寬。
4.根據(jù)權(quán)利要求I所述的基于分割線(xiàn)的漫畫(huà)幀識(shí)別與自動(dòng)排序方法，其特征在于所述閾值m的范圍為0 <m<0. 25。
5.根據(jù)權(quán)利要求I所述的基于分割線(xiàn)的漫畫(huà)幀識(shí)別與自動(dòng)排序方法，其特征在于所述閾值n的范圍為其中0 < n < 0. 2。
6.根據(jù)權(quán)利要求I所述的基于分割線(xiàn)的漫畫(huà)幀識(shí)別與自動(dòng)排序方法，其特征在于所述閾值P的范圍為0. 08 < P < 0. 2。
7.根據(jù)權(quán)利要求I所述的基于分割線(xiàn)的漫畫(huà)幀識(shí)別與自動(dòng)排序方法，其特征在于判斷coma內(nèi)部是否有直線(xiàn)的方法是如果直線(xiàn)落入coma內(nèi)部的像素量小于直線(xiàn)像素總量的一半，貝1J認(rèn)為這條直線(xiàn)不在coma內(nèi)部,否則認(rèn)為該直線(xiàn)在coma內(nèi)部。
8.根據(jù)權(quán)利要求I所述的基于分割線(xiàn)的漫畫(huà)幀識(shí)別與自動(dòng)排序方法，其特征在于采用Kernel-based Hough transform方法作直線(xiàn)檢測(cè)、并確定分割線(xiàn)的權(quán)重。
9.根據(jù)權(quán)利要求I所述的基于分割線(xiàn)的漫畫(huà)幀識(shí)別與自動(dòng)排序方法，其特征在于采用二叉樹(shù)數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)從右到左閱讀順序coma的方法為 定義一顆二叉樹(shù)，二叉樹(shù)與漫畫(huà)coma的關(guān)系為一個(gè)coma為二叉樹(shù)的一個(gè)節(jié)點(diǎn)，根節(jié)點(diǎn)為一頁(yè)漫畫(huà)，中間節(jié)點(diǎn)為漫畫(huà)段，葉子節(jié)點(diǎn)為漫畫(huà)幀；若最佳分割線(xiàn)把coma分為左右兩個(gè)部分，則將最佳分割線(xiàn)右面的coma作為左子樹(shù),最佳分割線(xiàn)左面的coma作為右子樹(shù)；若最佳分割線(xiàn)把coma分為上下兩個(gè)部分，則把最佳分割線(xiàn)上面的coma作為左子樹(shù)，最佳分割線(xiàn)下面的coma作為右子樹(shù)；若某個(gè)coma無(wú)最佳分割線(xiàn),則該coma對(duì)應(yīng)的圖像為漫畫(huà)巾貞,沒(méi)有子節(jié)點(diǎn)，不再對(duì)其分割；按照上述方法將每個(gè)coma均儲(chǔ)存在二叉樹(shù)中，得到的二叉樹(shù)所有葉子即為所有的漫畫(huà)幀，漫畫(huà)幀的閱讀順序?yàn)閺淖蟮接覍?duì)應(yīng)葉子的排列順序。
10.根據(jù)權(quán)利要求I所述的基于分割線(xiàn)的漫畫(huà)幀識(shí)別與自動(dòng)排序方法，其特征在于采用二叉樹(shù)數(shù)據(jù)結(jié)構(gòu)儲(chǔ)存從左到右閱讀順序的漫畫(huà)coma方法為 定義一顆二叉樹(shù)，二叉樹(shù)與漫畫(huà)coma的關(guān)系為一個(gè)coma為二叉樹(shù)的一個(gè)節(jié)點(diǎn)，根節(jié)點(diǎn)為一頁(yè)漫畫(huà)，中間節(jié)點(diǎn)為漫畫(huà)段，葉子節(jié)點(diǎn)為漫畫(huà)幀；若最佳分割線(xiàn)把coma分為左右兩個(gè)部分，則將最佳分割線(xiàn)左面的coma作為左子樹(shù),最佳分割線(xiàn)右面的coma作為右子樹(shù)；若最佳分割線(xiàn)把coma分為上下兩個(gè)部分，則把最佳分割線(xiàn)上面的coma作為左子樹(shù)，最佳分割線(xiàn)下面的coma作為右子樹(shù)；若某個(gè)coma無(wú)最佳分割線(xiàn),則該coma對(duì)應(yīng)的圖像為漫畫(huà)巾貞,沒(méi)有子節(jié)點(diǎn)，不再對(duì)其分割；按照上述方法將每個(gè)coma均儲(chǔ)存在二叉樹(shù)中，得到的二叉樹(shù)所有葉子即為所有的漫畫(huà)幀，漫畫(huà)幀的閱讀順序?yàn)閺淖蟮接覍?duì)應(yīng)葉子的排列順序。
全文摘要
本發(fā)明根據(jù)漫畫(huà)構(gòu)成文法提出了一種對(duì)漫畫(huà)方格進(jìn)行自動(dòng)識(shí)別、抽取與排序的方案，從而減少大量的手動(dòng)分割工作。同時(shí)分割后的漫畫(huà)方格可以放在屏幕較小的手機(jī)或PDA上閱讀，使漫畫(huà)閱讀方便、簡(jiǎn)單、生動(dòng)。本發(fā)明通過(guò)檢測(cè)漫畫(huà)圖片中的直線(xiàn)，針對(duì)漫畫(huà)幀、漫畫(huà)分割線(xiàn)以及漫畫(huà)幀排布的特點(diǎn)提出了一種迭代分割法對(duì)漫畫(huà)幀進(jìn)行識(shí)別并排序，然后利用二叉樹(shù)結(jié)構(gòu)儲(chǔ)存分割的漫畫(huà)幀。經(jīng)過(guò)實(shí)驗(yàn)證明該方法能把大多數(shù)漫畫(huà)的漫畫(huà)幀，即漫畫(huà)方格識(shí)別分割出來(lái)，并按故事情節(jié)的先后順序排列。
文檔編號(hào)G06F17/30GK102708371SQ20121012016
公開(kāi)日2012年10月3日 申請(qǐng)日期2012年4月23日 優(yōu)先權(quán)日2012年4月23日
發(fā)明者伍星, 何中市, 李佳, 焦麗敏, 田玉芳 申請(qǐng)人:重慶大學(xué)