本發(fā)明屬于風(fēng)力機(jī)運(yùn)行維護(hù)及圖像處理技術(shù)領(lǐng)域，更具體地，涉及一種復(fù)雜背景環(huán)境中的風(fēng)力機(jī)葉片表面圖像提取方法。

背景技術(shù)：

風(fēng)力發(fā)電機(jī)葉片表面的故障包括裂紋、砂眼、表面沾污、結(jié)冰等，如果任由其發(fā)展會(huì)導(dǎo)致嚴(yán)重的后果，諸如葉片斷裂、發(fā)電效率下降以及影響傳動(dòng)鏈的運(yùn)行安全等。通過攝像設(shè)備對(duì)葉片表面圖像進(jìn)行監(jiān)測(cè)，可以在故障初期對(duì)其發(fā)現(xiàn)并能夠合理安排檢修，避免進(jìn)一步損失。

專利CN201410172548.4、CN201410157662.X、CN201410171787.8設(shè)計(jì)了如何對(duì)風(fēng)力機(jī)葉片表面進(jìn)行區(qū)域劃分并提取葉片表面故障的種類及位置的方法，其均是在假設(shè)葉片表面圖像已經(jīng)獲得的基礎(chǔ)上進(jìn)行，不涉及到如何能夠有效的從野外背景圖像中提取葉片圖像的內(nèi)容。而葉片圖像的背景剔除效果對(duì)于下一步分析葉片表面故障種類具有重要的影響，由于野外環(huán)境的復(fù)雜性，以及不同風(fēng)力機(jī)葉片圖像同時(shí)出現(xiàn)在圖像視野內(nèi)所造成的干擾等原因?qū)е绿崛∪~片圖像十分困難。

目前對(duì)于物體識(shí)別一般利用大量的物體圖像來(lái)訓(xùn)練圖像分類器的方法進(jìn)行，該方法為了能夠獲取較高的精度需要大量的圖像數(shù)據(jù)和長(zhǎng)時(shí)間的訓(xùn)練。而對(duì)于風(fēng)力機(jī)葉片而言，首先獲得圖像數(shù)據(jù)比較困難，其次由于風(fēng)力機(jī)葉片長(zhǎng)度較大，識(shí)別過程中很難保證攝像視野內(nèi)能夠獲得完整的葉片圖像，進(jìn)而導(dǎo)致識(shí)別精度的下降。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種復(fù)雜背景環(huán)境中的風(fēng)力機(jī)葉片表面圖像提取方法，其針對(duì)葉片所處環(huán)境復(fù)雜的特點(diǎn)，通過葉片表面粘貼包含葉片信息的標(biāo)記圖對(duì)葉片位置進(jìn)行定位，初步確定關(guān)心區(qū)域的位置，實(shí)現(xiàn)對(duì)野外環(huán)境中運(yùn)行風(fēng)力機(jī)葉片圖像的提取，供相應(yīng)的計(jì)算機(jī)視覺算法來(lái)分析其表面故障種類和發(fā)生位置，簡(jiǎn)化了分析處理過程、加快了分析速度。

為實(shí)現(xiàn)上述目的，本發(fā)明提出了一種復(fù)雜背景環(huán)境中的風(fēng)力機(jī)葉片表面圖像提取方法，包括如下步驟：

(1)設(shè)置葉片表面標(biāo)記：在風(fēng)力機(jī)每個(gè)葉片的迎風(fēng)面處分別設(shè)置方形黑白格標(biāo)記圖，粘貼的位置為平面且與葉片迎風(fēng)面平行，進(jìn)而利用標(biāo)記圖的姿態(tài)代替葉片姿態(tài)；

(2)采集葉片圖像：利用攝像頭對(duì)風(fēng)力機(jī)運(yùn)行圖像進(jìn)行采集，并將采集到的圖像實(shí)時(shí)傳輸至工控機(jī)中；

(3)識(shí)別葉片信息：對(duì)攝像頭采集到的圖像信息進(jìn)行圖像處理以獲得葉片表面圖像，并根據(jù)葉片上的標(biāo)記圖獲得風(fēng)力機(jī)葉片信息。

作為進(jìn)一步優(yōu)選的，所述步驟(3)具體包括如下步驟：

(3.1)圖像灰度轉(zhuǎn)換：將攝像頭采集到的圖像進(jìn)行圖像灰度轉(zhuǎn)換，以將彩圖轉(zhuǎn)換成黑白；

(3.2)圖像二值化：將灰度轉(zhuǎn)換后的圖像中的每個(gè)像素變成黑色或白色，其中黑色的像素值為0，白色的像素值為255，即當(dāng)某一點(diǎn)像素小于等于設(shè)定閾值時(shí)，將該點(diǎn)像素設(shè)為0，反之則設(shè)為255；

(3.3)輪廓監(jiān)測(cè)：獲取步驟(3.2)中二值化后的圖像中黑色或白色像素聯(lián)通的區(qū)域，尋找聯(lián)通區(qū)域的輪廓，獲得多個(gè)輪廓；

(3.4)搜索候選標(biāo)記：對(duì)步驟(3.3)中獲得的多個(gè)輪廓進(jìn)行多邊形逼近，將頂點(diǎn)數(shù)為4的多邊形區(qū)域留下作為候選；

(3.5)篩選標(biāo)記：利用仿射變換將每個(gè)候選的多邊形區(qū)域轉(zhuǎn)換為正方形區(qū)域，然后對(duì)正方形區(qū)域進(jìn)行網(wǎng)格劃分，將其劃分為n×n的網(wǎng)格，若外圍的一圈網(wǎng)格均為黑色，則認(rèn)為該區(qū)域圖像為標(biāo)記圖；

(3.6)獲取葉片圖像及葉片信息：

根據(jù)標(biāo)記圖的尺寸、安裝位置及葉片尺寸，仿射變換初步截取葉片圖像所在的區(qū)域，然后利用閾值分割法提取葉片邊界獲得葉片圖像，根據(jù)葉片圖像上的標(biāo)記圖獲得該葉片的信息。

作為進(jìn)一步優(yōu)選的，若初步截取葉片圖像所在的區(qū)域超出攝像頭的視野范圍時(shí)，則對(duì)攝像頭進(jìn)行變焦，使視野范圍擴(kuò)大，具體采用如下控制邏輯進(jìn)行控制：

1)攝像頭采集圖像后，進(jìn)行圖像分析，如果圖像中包含標(biāo)記圖則進(jìn)行下一步，如果沒有則調(diào)整攝像角度和焦距開始采集信息，直至標(biāo)記圖出現(xiàn)在攝像頭所采集的圖像中；

2)對(duì)包含標(biāo)記圖的圖像進(jìn)行葉片范圍分析，若葉片圖像全部在采集的圖像范圍內(nèi)，則對(duì)葉片圖像進(jìn)行截取，若不在，則對(duì)攝像頭以標(biāo)記圖為中心進(jìn)行變焦，找到多個(gè)葉片各自的標(biāo)記圖，然后擺動(dòng)攝像頭使其視野中心為多個(gè)標(biāo)記所確定的中心，繼續(xù)變焦擴(kuò)大視野范圍使多個(gè)葉片全部囊括在圖像中。

作為進(jìn)一步優(yōu)選的，所述標(biāo)記圖由平行于邊的直線分割成等分的n×n個(gè)小正方型區(qū)域構(gòu)成，并且標(biāo)記圖外圍一圈均設(shè)計(jì)成黑色，通過設(shè)置除外圍一圈的內(nèi)部的(n-2)×(n-2)小正方形的顏色對(duì)標(biāo)記進(jìn)行編碼，該編碼與葉片信息相對(duì)應(yīng)，優(yōu)選的，5≤n≤10。

作為進(jìn)一步優(yōu)選的，所述組成標(biāo)記圖的黑色方塊或白色方塊邊長(zhǎng)設(shè)計(jì)為大于10像素。

總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，主要具備以下的技術(shù)優(yōu)點(diǎn)：

1.本發(fā)明與訓(xùn)練風(fēng)力機(jī)葉片分類器的方法相比能夠明顯降低工作量，由于分類器需要幾千張待識(shí)別物體圖像作為輸入圖像，所以樣本尋找困難，同時(shí)訓(xùn)練時(shí)間較長(zhǎng)且精度不高，而本發(fā)明利用標(biāo)記尺寸、粘貼位置等已知參數(shù)，同時(shí)在攝像頭采集的圖像中標(biāo)記邊長(zhǎng)所占圖像像素?cái)?shù)量，進(jìn)行仿射變換，即可求得葉片的大致位置，最終獲得葉片圖像，具有尋找方便、快速、準(zhǔn)確的優(yōu)點(diǎn)。

2.本發(fā)明由于采用顏色對(duì)比度強(qiáng)的黑白色塊，對(duì)光照敏感性降低，能夠大幅降低由于室外環(huán)境圖像光照復(fù)雜導(dǎo)致的葉片識(shí)別精度下降，且相對(duì)于采用彩色標(biāo)記物進(jìn)行標(biāo)記，本發(fā)明所采用標(biāo)記信息更加豐富制作標(biāo)記物簡(jiǎn)單，同時(shí)利用了標(biāo)記物的幾何形狀信息。

3.本發(fā)明采用的圖像處理算法復(fù)雜度低，優(yōu)化葉片提取流程，適合進(jìn)行實(shí)時(shí)監(jiān)控。

附圖說(shuō)明

圖1是本發(fā)明實(shí)施例的葉片圖像提取裝置的示意圖；

圖2是本發(fā)明實(shí)施例的葉片表面標(biāo)記圖；

圖3是本發(fā)明實(shí)施例的葉片圖像提取方法的流程圖；

圖4是本發(fā)明實(shí)施例的求出的葉片邊界；

圖5是本發(fā)明實(shí)施例的截取后的葉片圖像；

圖6是本發(fā)明實(shí)施例的攝像頭控制邏輯圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

本發(fā)明提供一種風(fēng)力機(jī)葉片表面圖像提取方法，其對(duì)風(fēng)力機(jī)葉片表面合適位置粘貼或噴涂標(biāo)記圖，然后利用攝像設(shè)備隨機(jī)拍攝可能包含葉片的環(huán)境圖像，監(jiān)測(cè)葉片表面的標(biāo)記是否在圖像中，確定葉片圖像的區(qū)域，扣取葉片圖像，根據(jù)粘貼在葉片表面的黑白標(biāo)記圖確定葉片圖像的位置，即通過標(biāo)記圖像的內(nèi)容判斷所監(jiān)測(cè)葉片的編號(hào)。整個(gè)過程涉及到葉片表面標(biāo)記的設(shè)置、葉片圖像的提取和葉片信息的確定。

該提取方法通過葉片圖像提取裝置實(shí)現(xiàn)，如圖1所示，葉片圖像提取裝置包括：風(fēng)機(jī)葉片表面標(biāo)記圖1，圖像采集單元，數(shù)據(jù)存儲(chǔ)分析單元何監(jiān)控顯示單元。

圖像采集單元，包含負(fù)責(zé)葉片圖像采集的攝像設(shè)備(如風(fēng)機(jī)監(jiān)控?cái)z像頭2)以及對(duì)攝像頭曝光、變焦和旋轉(zhuǎn)角度進(jìn)行控制的相應(yīng)機(jī)械控制設(shè)備，同時(shí)還應(yīng)包含與工控機(jī)進(jìn)行數(shù)據(jù)傳輸?shù)膱D像采集卡和數(shù)據(jù)傳輸線。

數(shù)據(jù)存儲(chǔ)分析單元(如工控機(jī)3)，包括對(duì)圖像數(shù)據(jù)進(jìn)行存儲(chǔ)的硬件設(shè)備以及對(duì)數(shù)據(jù)進(jìn)行分析處理的軟件系統(tǒng)，主要供能是對(duì)采集卡采集的監(jiān)控圖像進(jìn)行分析，找到相應(yīng)故障數(shù)據(jù)并傳輸?shù)斤@示設(shè)備。

監(jiān)控顯示單元(如人機(jī)交互設(shè)備4)，實(shí)現(xiàn)與操作人員的交互功能，顯示監(jiān)控畫面和處理結(jié)果。

其中，風(fēng)機(jī)監(jiān)控?cái)z像頭包含自動(dòng)控制上下左右轉(zhuǎn)動(dòng)功能和調(diào)焦功能，采集的圖像信息可通過有線或無(wú)線的方式把采集到的圖像傳到工控機(jī)進(jìn)行處理，工控機(jī)反饋控制信號(hào)控制攝像頭的轉(zhuǎn)動(dòng)和調(diào)焦。轉(zhuǎn)動(dòng)和對(duì)焦信號(hào)以標(biāo)記確定葉片位置和視野范圍進(jìn)行確定，如果確定的葉片位置超出攝像機(jī)視野范圍則需要進(jìn)行攝像頭轉(zhuǎn)動(dòng)或者焦距變化來(lái)把葉片包含到視野中。

具體的，本發(fā)明葉片圖像提取方法主要包括如下步驟：

步驟(1)：如圖2所示，在風(fēng)力機(jī)葉片迎風(fēng)面處粘貼或噴涂方形黑白格標(biāo)記圖，粘貼位置應(yīng)為平面且基本與葉片迎風(fēng)面平行，從而可以用標(biāo)記圖的姿態(tài)基本代替葉片姿態(tài)。一般標(biāo)記選取葉片長(zhǎng)度中心處，可以保證標(biāo)記于整個(gè)葉片同時(shí)出現(xiàn)在圖像視野中的概率較大。

其中，標(biāo)記圖由正方形區(qū)域構(gòu)成，為了能夠?qū)Σ煌瑯?biāo)記內(nèi)部信息進(jìn)行區(qū)分，每個(gè)標(biāo)記區(qū)域由平行于邊的直線分割成等分的n×n個(gè)小正方型區(qū)域，并且標(biāo)記圖外圍一圈均設(shè)計(jì)成黑色，通過設(shè)置除外圍一圈的內(nèi)部的(n-2)×(n-2)小正方形的顏色是黑或白對(duì)標(biāo)記進(jìn)行編碼，即內(nèi)部(n-2)×(n-2)的網(wǎng)格區(qū)域每一行由n-2位(bit)表示，則標(biāo)記至多可包含2^(n-2)×(n-2)個(gè)變化可能，每一種變化對(duì)應(yīng)的編碼對(duì)應(yīng)一個(gè)葉片ID信息，在數(shù)據(jù)庫(kù)中設(shè)立葉片信息表，按照ID查找更詳細(xì)的葉片信息(主要為葉片編號(hào))。

如圖2所示，風(fēng)力機(jī)葉片表面標(biāo)記圖為由黑白正方形組成的正方形標(biāo)記，通過改變標(biāo)記內(nèi)部黑白正方形的位置使得其包含標(biāo)記的ID信息和方向信息，為了滿足標(biāo)記具有足夠豐富的信息且標(biāo)記中黑白格面積不至于太小要求5≤n≤10，如圖2中的標(biāo)記，由5×5個(gè)黑白格組成，外圍一圈均為黑色，黑色代表0白色代表1，則圖2中標(biāo)記的信息可以得到：第一行(00000)、第二行(00110)、第三行(01010)、第四行(01000)、第五行(00000)，通過增加黑白正方形的數(shù)量還可包含更多信息。

標(biāo)記圖的大小與攝像頭的選取有關(guān)，滿足算法可對(duì)攝像頭采集的標(biāo)記圖圖像內(nèi)容進(jìn)行識(shí)別即可。本發(fā)明中將組成標(biāo)記圖基本單元的黑色方塊或白色方塊邊長(zhǎng)設(shè)計(jì)為大于10像素，在該條件下可滿足要求。

步驟(2)：利用攝像頭對(duì)風(fēng)力機(jī)運(yùn)行圖像進(jìn)行采集，攝像頭擺放位置需能采集到三個(gè)葉片的完整圖像，可根據(jù)葉片變槳情況改變攝像頭的位置，攝像頭采集的圖像實(shí)時(shí)傳輸?shù)焦た貦C(jī)中。

步驟(3)：對(duì)攝像頭采集的圖像信息進(jìn)行圖像處理以獲得葉片信息。由攝像頭采集的信息可能包含全部或部分葉片圖像和復(fù)雜的背景圖像，通過圖像處理方法可方便的求出標(biāo)記圖像的姿態(tài)和內(nèi)部信息，本發(fā)明利用標(biāo)記圖尺寸、粘貼位置、葉片尺寸等已知的先驗(yàn)知識(shí)，同時(shí)在攝像頭采集的圖像中標(biāo)記的標(biāo)記邊長(zhǎng)所占圖像像素?cái)?shù)量，進(jìn)行仿射變換，即可求得葉片的大致位置，截取該位置的圖像利用圖像處理方法求出邊界，邊界內(nèi)所包含部分即為葉片圖像，如圖4所示。

具體的，包括如下步驟：

步驟(3.1)：圖像灰度轉(zhuǎn)換

由于攝像頭拍攝的圖片包含葉片圖像、背景圖像等多種圖像，其為彩色圖像，因此首先需將攝像頭采集的圖像進(jìn)行圖像灰度轉(zhuǎn)換，以將彩圖轉(zhuǎn)換成黑白圖，且由于葉片上的標(biāo)記圖由黑白塊組成，圖像轉(zhuǎn)換成灰度圖后標(biāo)記圖中的黑白部分對(duì)比度不會(huì)減小。

步驟(3.2)：圖像二值化

將灰度轉(zhuǎn)換后的圖像中的每個(gè)像素變成黑色(像素值為0)或白色(像素值為255)，該步驟通過設(shè)置圖像閾值來(lái)實(shí)現(xiàn)，根據(jù)實(shí)際需求先設(shè)置閾值，例如175，然后當(dāng)某一點(diǎn)像素小于等于設(shè)定的閾值175時(shí)，則該點(diǎn)像素設(shè)為0(即黑色)，反之則設(shè)為255(白色)。

步驟(3.3)：輪廓監(jiān)測(cè)

通過二值圖像中黑色或白色像素聯(lián)通的區(qū)域，尋找聯(lián)通區(qū)域的輪廓，獲得多個(gè)輪廓。

步驟(3.4)：搜索候選標(biāo)記

對(duì)步驟(3.3)中獲得的多個(gè)輪廓進(jìn)行多邊形逼近，判斷輪廓的頂點(diǎn)數(shù)，由于原始標(biāo)記圖為正方形，其在圖像中應(yīng)為頂點(diǎn)數(shù)為4的多邊形，因此頂點(diǎn)數(shù)為4的多邊形區(qū)域均留下作為候選。

步驟(3.5)：篩選標(biāo)記

為了從候選的多邊形區(qū)域中篩選出最終的標(biāo)記圖，需對(duì)區(qū)域內(nèi)部進(jìn)行編碼識(shí)別，把每個(gè)候選的多邊形區(qū)域利用仿射變換(其為現(xiàn)有技術(shù)，在此不贅述)轉(zhuǎn)換為正方形區(qū)域(因?yàn)樵紭?biāo)記圖為正方形)，然后對(duì)區(qū)域進(jìn)行網(wǎng)格劃分，例如劃分為5×5的網(wǎng)格(即劃分成與標(biāo)記圖網(wǎng)格數(shù)一樣的網(wǎng)格圖)，網(wǎng)格內(nèi)部3×3的網(wǎng)格包含標(biāo)記物的信息，如果內(nèi)部3×3的網(wǎng)格被黑色邊界所包圍，則認(rèn)為該區(qū)域圖像為標(biāo)記圖。其中，內(nèi)部3×3的網(wǎng)格包含2⁹＝512種編碼方式，但是需要扣除純黑純白的2個(gè)，以及由于圖像旋轉(zhuǎn)導(dǎo)致的不同編碼圖像成為同一編碼510/4＝127，這樣就可以得到127個(gè)編碼信息。對(duì)于每種編碼對(duì)應(yīng)了葉片信息(葉片獨(dú)有的ID，代表了葉片的編號(hào))，通過該信息可以知道圖像中是否有葉片，有哪個(gè)葉片等信息。

步驟(3.6)：獲取葉片圖像及葉片信息

根據(jù)標(biāo)記圖尺寸、安裝位置及葉片的尺寸，仿射變換初步截取葉片圖像所在的區(qū)域，然后提取葉片邊界獲得葉片圖像，根據(jù)葉片圖像上的標(biāo)記圖獲得該葉片的信息。

由于標(biāo)記在葉片中的安裝位置、葉片的尺寸和標(biāo)記的尺寸都是已知的，可以利用以上信息在拍攝圖像中利用標(biāo)記圖像推導(dǎo)出葉片在圖像區(qū)域中的位置信息，具體如下：

假設(shè)標(biāo)記貼在葉片的中部位置，即葉片長(zhǎng)度一半處，標(biāo)記的尺寸為M×M米，葉片的尺寸為L(zhǎng)米×W米(長(zhǎng)×寬)，由于拍攝角度不會(huì)垂直于標(biāo)記，在拍攝得到的圖像中會(huì)得到標(biāo)記圖像為一個(gè)長(zhǎng)寬為m像素×n像素的平行四邊形A，以A形心為中心做一個(gè)長(zhǎng)寬邊與A兩邊平行的平行四邊形A’，其中，A’和m邊平行的邊的長(zhǎng)度為m×L/M像素，A’和n邊平行的邊長(zhǎng)度為n×W/M像素，此時(shí)獲得的A’所包含的區(qū)域絕大部分都是葉片圖像，背景圖像只引入了很少部分。

得到葉片所在區(qū)域的初步提取圖像(即A’)后，提取區(qū)域中絕大部分區(qū)域都是葉片的圖像，由于減小了外界環(huán)境景物和可能進(jìn)入拍攝圖像中的其他葉片干擾，然后可以利用cannyEdge邊緣檢測(cè)器等邊緣檢測(cè)算法提取葉片邊界，邊界內(nèi)部區(qū)域就是葉片圖像，而根據(jù)葉片圖像上的標(biāo)記圖即可獲得該葉片的信息。

如果截取范圍超出攝像頭視野范圍，則對(duì)攝像頭進(jìn)行變焦使視野范圍擴(kuò)大。為了能準(zhǔn)確快速的找到葉片完整圖像，本發(fā)明設(shè)計(jì)了攝像頭控制邏輯，如圖6所示，其控制邏輯為：

1)攝像頭采集圖像后，進(jìn)行圖像分析，如果圖像中包含標(biāo)記圖則進(jìn)行下一步，如果沒有則調(diào)整攝像角度和焦距開始采集信息，直至標(biāo)記圖出現(xiàn)在攝像頭所采集圖像I中。

2)對(duì)于包含標(biāo)記圖的圖像I進(jìn)行葉片范圍分析，分析后葉片范圍如果全部在圖像范圍內(nèi)則對(duì)葉片圖像進(jìn)行截取，如果不在，則對(duì)攝像頭以標(biāo)記圖為中心進(jìn)行變焦，找到多個(gè)(例如三個(gè))葉片各自的標(biāo)記圖，然后擺動(dòng)攝像頭使其視野中心為多個(gè)標(biāo)記圖所確定的中心(如三個(gè)標(biāo)記所確定三角形的形心)，繼續(xù)變焦擴(kuò)大視野范圍即可使多個(gè)(例如三個(gè))葉片全部囊括在圖像I中。

本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。