本發(fā)明涉及圖像探測與物體識別領域，尤其是一種基于多層次特征描述的跑道FOD圖像探測方法及裝置。

背景技術：

跑道入侵異物(下文簡稱FOD)對航班安全有重大威脅。對FOD進行探測，當前主流的應用系統(tǒng)使用的技術為雷達探測技術和圖像探測技術。圖像探測技術因其成本相對較低，夜視技術和圖像探測不斷發(fā)展，正得到越來越多的接受和認可。

圖像探測面臨的技術難點主要來自跑道外觀細節(jié)和FOD的多樣性。首先，跑道本身并不是簡單的灰色平面，而是有多種結構。跑道上有指引標識線、嵌入的跑道指示燈等結構，在跑道板塊之間存在縫隙，混凝土石塊材質的跑道在道面可見小石塊材質。其次，F(xiàn)OD的種類繁多，常見的就涉及扳手、鐵鏈、金屬板、輪胎橡膠等十余個種類，因遺落姿態(tài)不同帶來的外觀差異更無法統(tǒng)計，甚至機場出現(xiàn)的一些FOD是不可預知的。第三，跑道和FOD在工作的環(huán)境中外貌可能發(fā)生多種多變。戶外環(huán)境中，光照的變化、降雨、降雪、霜凍都會引起跑道和FOD外表的改變。使用的過程中，輪胎摩擦會在跑道上留下痕跡，風化作用也會導致跑道裂縫，甚至局部破損。

以上難點對現(xiàn)有的一些探測技術性能有較大限制?；诰植客饷驳淖兓M行探測的方法(如邊緣檢測、顏色差異等)，容易探測到跑道自身結構發(fā)出虛警。對跑道進行拍照作為原始圖像，每次探測中拍照與原始圖像進行比對，探測差異從而探測FOD的方法，難以適應工作環(huán)境的變化性。而對常見FOD種類分別訓練探測器，進行特定物體探測的方法，對非常見的FOD種類探測能力有限。如果對非常見FOD種類也訓練探測器，則探測過程中需要識別的種類繁多，探測速度慢。

技術實現(xiàn)要素：

本發(fā)明所要解決的技術問題是：針對跑道FOD探測的難點和現(xiàn)有圖像探測技術的缺陷，提供一種基于多層次特征描述的跑道FOD圖像探測方法及裝置。本發(fā)明通過將紅綠藍分量值轉換為色度分量和亮度分量；然后根據色度絕對值生產二進制黑白圖像后，進行若干連續(xù)域結合劃分；根據若干個連續(xù)域劃分得到對應的最小橢圓輪廓參數，根據該參數判斷某一跑道區(qū)域圖像是否存在FOD目標。進一步的，在此基礎上，對采集跑道區(qū)域彩色圖像存在色偏的相機，進行色偏矯正，提高跑道區(qū)域彩色圖像的真實值。為后續(xù)處理提供基礎。

本發(fā)明采用的技術方案如下：

一種基于多層次特征描述的跑道FOD圖像探測方法包括：

跑道圖像亮度色度值獲取步驟：采集跑道區(qū)域圖像，形成該跑道區(qū)域對應的跑道彩色圖像，通過轉換矩陣K將跑道彩色圖像的紅綠藍分量轉換為亮度-色度方式表示；其中紅綠藍分量分別對應是I_R、I_G、I_B；亮度-色度表示方式中，C_I表示亮度分量(本專利后續(xù)步驟未用到)，C_R、C_B表示兩個色度分量；則：

二進制黑白圖像獲取步驟：計算色度絕對值C_A，令C_A中絕對值大于T_C的像素值為1，其余像素值為0，生成二進制黑白圖像C_A'；其中“1”代表白色像素；“0”代表黑色像素；

連續(xù)域集合獲取步驟：將二進制黑白圖像C_A'中的白色像素按照8鄰域相連法則分成若干連續(xù)域集合；

最小橢圓輪廓獲取步驟：對于所述若干連續(xù)域集合中每個連續(xù)域集合進行計算，獲得若干連續(xù)域集合對應的最小橢圓輪廓；其中最小橢圓輪廓包括連續(xù)域集合中所有像素，最小橢圓輪廓的參數為{E_a,E_b,E_x,E_y}；其中E_a,E_b分別表示最小橢圓的長軸和短軸長度，E_x,E_y分別表示最小橢圓的中心點坐標；

FOD目標判斷步驟：對每個最小橢圓輪廓進行判斷，如果同時滿足條件：1)最小橢圓輪廓的短軸E_b長度大于T1；2)最小橢圓輪廓的長軸E_a與短軸E_b的乘積大于T2，則認定為該最小橢圓輪廓圈定了一個FOD目標；T1是第一判決門限，T2是第二判決門限。

進一步的，所述T_C的取值為0.05到0.2之間；其中T1的取值在5到20之間，T2的取值在200到1000之間；所述或

其中K_R、K_G、K_B表示轉換系數，K_B的取值在0.05到0.12之間，K_R的取值在0.2到0.3之間，K_G＝1-K_B-K_R。

進一步的，所述最小橢圓輪廓獲取步驟具體包括：

種子集合建立步驟：任意取二進制黑白圖像C_A'中的一個白色像素，建立包含該點的種子集合，建立包含該點的連續(xù)域集合，將該像素置為黑色。

連續(xù)域集合遍歷步驟：將種子集合中的第一個點刪除，將該點的上、下、左、右、左上、右上、左下、右下8個相鄰像素中的白色像素點加入種子集合，并同時加入連續(xù)域集合；同時，將這些白色像素置為黑色像素；

連續(xù)域集合形成步驟：重復連續(xù)域集合遍歷步驟，直到當前的種子集合為空,當前的連續(xù)域集合為分割出的一個連續(xù)域集合；

連續(xù)域集合完成步驟：如果圖像中仍有白色像素，在剩余白色像素中任意取一個點，重新建立包含該點的種子集合，同時重新建立包含該點的連續(xù)域集合，然后跳轉至連續(xù)域集合遍歷步驟；如果二進制黑白圖像C_A'中無白色像素，則操作完成，所得分出的若干連續(xù)域集合為計算結果。

進一步的，所述最小橢圓輪廓獲取步驟是對于每個連續(xù)域集合計算所有像素均能包括的最小橢圓輪廓，最小橢圓輪廓參數為{E_a,E_b,E_x,E_y}；具體包括：

連續(xù)域結合像素坐標設置步驟：令表示一個包含Nc個像素的連續(xù)域集合，連續(xù)域集合中像素坐標用(x,y)表示，坐標的角標表示像素的序號，計算橢圓中心點坐標

像素坐標平移步驟：移動該連續(xù)域集合中所有像素坐標，將橢圓中心平移到坐標原點，新坐標記為(x’,y’)，計算公式為x'＝x-E_x，y'＝y(tǒng)-E_y；所述坐標原點可以任意定義；

主要變化方向計算步驟：使用主要成分分析方法PCA計算平移后像素分布的主要變化方向(v_x,v_y)；令B為A的協(xié)方差矩陣，即A的轉置乘以A本身，B＝A^TA，則(v_x,v_y)為B特征分解后的最大特征值對應的特征向量；

長軸E_a計算步驟：計算長軸長度，即在主要變化方向上像素分布的最大值和最小值的差，

短軸E_b計算步驟：計算短軸長度，即在垂直于主要變化方向上像素分布的最大值和最小值的差，

進一步的，所述跑道圖像亮度色度值獲取步驟之前還包括對于存在色偏的相機，在執(zhí)行FOD圖像探測方法前要進行色偏校正的矯正步驟：矯正步驟具體包括：

樣本獲取步驟：拍攝跑道多張不同區(qū)域的跑道彩色圖像，提取來自跑道不同區(qū)域的像素作為樣本，樣本數量N_S不少于1萬個。

色偏判斷步驟：對所有樣本，分別計算紅色分量、綠色分量、藍色分量，然后計算紅色分量平均值、綠色分量平均值、藍色分量平均值；如果三個平均值中的最高平均值與最低平均值的比值大于色偏門限值，則認為存在色偏，執(zhí)行矯正系數計算步驟；否則認為不存在色偏，執(zhí)行跑道圖像亮度色度值獲取步驟；色偏門限值一般取值為1.05到1.2；

矯正系數計算步驟：如果存在色偏，計算紅色校正系數藍色校正系數或者紅色校正系數中任意兩個矯正系數，計算方法是以第三個顏色分量為基準，計算矯正系數公式為：

其中代表兩個矯正系數分量，Q是第三顏色分量標識；對應的顏色分量標識和Q表示的顏色分量標識是紅色分量、綠色分量和藍色分量中各不相同的分量；其中，i表示樣本的編號；I_P-i表示I_R-i、I_G-i、I_B-i中任意兩個顏色分量值，I_Q-i表示除過I_P-i之外的第三個顏色分量值；代表或中任意兩個矯正系數；

矯正步驟：根據計算出的兩個矯正系數，得到對對應顏色分量值I_P-i進行矯正；執(zhí)行跑道圖像亮度色度值獲取步驟。

一種基于多層次特征描述的跑道FOD圖像探測裝置包括：

跑道圖像亮度色度值獲取模塊：采集跑道區(qū)域圖像，形成該跑道區(qū)域對應的跑道彩色圖像，通過轉換矩陣K將跑道彩色圖像的紅綠藍分量轉換為亮度-色度方式表示；其中紅綠藍分量分別對應是I_R、I_G、I_B；亮度-色度表示方式中，C_I表示亮度分量，C_R、C_B表示兩個色度分量；則：

二進制黑白圖像獲取模塊：計算色度絕對值C_A，令C_A中絕對值大于T_C的像素值為1，其余像素值為0，生成二進制黑白圖像C_A'；其中“1”代表白色像素；“0”代表黑色像素；

連續(xù)域集合獲取模塊：將二進制黑白圖像C_A'中的白色像素按照8鄰域相連法則分成若干連續(xù)域集合；

最小橢圓輪廓獲取模塊：對于所述若干連續(xù)域集合中每個連續(xù)域集合進行計算，獲得若干連續(xù)域集合對應的最小橢圓輪廓；其中最小橢圓輪廓包括連續(xù)域集合中所有像素，最小橢圓輪廓的參數為{E_a,E_b,E_x,E_y}；其中E_a,E_b分別表示最小橢圓的長軸和短軸長度，E_x,E_y分別表示最小橢圓的中心點坐標；

FOD目標判斷模塊：對每個最小橢圓輪廓進行判斷，如果同時滿足條件：1)最小橢圓輪廓的短軸E_b長度大于T1；2)最小橢圓輪廓的長軸E_a與短軸E_b的乘積大于T2，則認定為該最小橢圓輪廓圈定了一個FOD目標T1是第一判決門限，T2是第二判決門限。

進一步的，所述T_C的取值為0.05到0.2之間；其中T1的取值在5到20之間，T2的取值在200到1000之間；所述或

其中K_R、K_G、K_B表示轉換系數，K_B的取值在0.05到0.12之間，K_R的取值在0.2到0.3之間，K_G＝1-K_B-K_R。

進一步的，所述最小橢圓輪廓獲取模塊具體包括：

種子集合建立模塊：任意取二進制黑白圖像C_A'中的一個白色像素，建立包含該點的種子集合，建立包含該點的連續(xù)域集合，將該像素置為黑色。

連續(xù)域集合遍歷模塊：將種子集合中的第一個點刪除，將該點的上、下、左、右、左上、右上、左下、右下8個相鄰像素中的白色像素點加入種子集合，并同時加入連續(xù)域集合；同時，將這些白色像素置為黑色像素；

連續(xù)域集合形成模塊：重復連續(xù)域集合遍歷模塊，直到當前的種子集合為空,當前的連續(xù)域集合為分割出的一個連續(xù)域集合；

連續(xù)域集合完成模塊：如果圖像中仍有白色像素，在剩余白色像素中任意取一個點，重新建立包含該點的種子集合，同時重新建立包含該點的連續(xù)域集合，然后跳轉至連續(xù)域集合遍歷模塊；如果二進制黑白圖像C_A'中無白色像素，則操作完成，所得分出的若干連續(xù)域集合為計算結果。

進一步的，所述最小橢圓輪廓獲取模塊是對于每個連續(xù)域集合計算所有像素均能包括的最小橢圓輪廓，最小橢圓輪廓參數為{E_a,E_b,E_x,E_y}；具體包括：

連續(xù)域結合像素坐標設置模塊：令表示一個包含Nc個像素的連續(xù)域集合，連續(xù)域集合中像素坐標用(x,y)表示，坐標的角標表示像素的序號，計算橢圓中心點坐標

像素坐標平移模塊：移動該連續(xù)域集合中所有像素坐標，將橢圓中心平移到坐標原點，新坐標記為(x’,y’)，計算公式為x'＝x-E_x，y'＝y(tǒng)-E_y；所述坐標原點可以任意定義；

主要變化方向計算模塊：使用主要成分分析方法PCA計算平移后像素分布的主要變化方向(v_x,v_y)；令B為A的協(xié)方差矩陣，即A的轉置乘以A本身，B＝A^TA，則(v_x,v_y)為B特征分解后的最大特征值對應的特征向量；

長軸E_a計算模塊：計算長軸長度，即在主要變化方向上像素分布的最大值和最小值的差，

短軸E_b計算模塊：計算短軸長度，即在垂直于主要變化方向上像素分布的最大值和最小值的差，

進一步的，所述跑道圖像亮度色度值獲取模塊之前還包括對于存在色偏的相機，在執(zhí)行FOD圖像探測方法前要進行色偏校正的矯正模塊：矯正模塊具體包括：

樣本獲取模塊：拍攝跑道多張不同區(qū)域的跑道彩色圖像，提取來自跑道不同區(qū)域的像素作為樣本，樣本數量N_S不少于1萬個。

色偏判斷模塊：對所有樣本，分別計算紅色分量、綠色分量、藍色分量，然后計算紅色分量平均值、綠色分量平均值、藍色分量平均值；如果三個平均值中的最高平均值與最低平均值的比值大于色偏門限值，則認為存在色偏，執(zhí)行矯正系數計算模塊；否則認為不存在色偏，執(zhí)行跑道圖像亮度色度值獲取模塊；色偏門限值一般取值為1.05到1.2；

矯正系數計算模塊：如果存在色偏，計算紅色校正系數藍色校正系數或者紅色校正系數中任意兩個矯正系數，計算方法是以第三個顏色分量為基準，計算矯正系數公式為：

其中代表兩個矯正系數分量，Q是第三顏色分量標識；對應的顏色分量標識和Q表示的顏色分量標識是紅色分量、綠色分量和藍色分量中各不相同的分量；其中，i表示樣本的編號；I_P-i表示I_R-i、I_G-i、I_B-i中任意兩個顏色分量值，I_Q-i表示除過I_P-i之外的第三個顏色分量值；代表或中任意兩個矯正系數；

矯正模塊：根據計算出的兩個矯正系數，得到對對應顏色分量值I_P-i進行矯正；執(zhí)行跑道圖像亮度色度值獲取模塊。

綜上所述，由于采用了上述技術方案，本發(fā)明的有益效果是：

本發(fā)明通過將紅綠藍分量值轉換為色度分量和亮度分量；然后根據色度絕對值生產二進制黑白圖像后，進行若干連續(xù)域結合劃分；根據若干個連續(xù)域劃分得到對應的最小橢圓輪廓參數，根據該參數判斷某一跑道區(qū)域圖像是否存在FOD目標。其中采用8鄰域相連法分成若干連續(xù)域集合，花粉速度較快。

當對某兩個三原色分量盡量矯正時，以第三種三原色分量為基礎，得到更加精準的矯正系數值，為后續(xù)顏色分量矯正提供基礎。

對采集跑道區(qū)域彩色圖像存在色偏的相機，進行色偏矯正，提高跑道區(qū)域彩色圖像的真實值。為后續(xù)處理提供基礎。

具體實施方式

本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。

本說明書中公開的任一特征，除非特別敘述，均可被其他等效或具有類似目的的替代特征加以替換。即，除非特別敘述，每個特征只是一系列等效或類似特征中的一個例子而已。

技術方案如下：

從跑道彩色圖像中進行FOD探測輸入為一幅彩色圖像，輸出為探測到FOD所在圖像區(qū)域，具體步驟如下，

步驟1：對于存在色偏的相機，在執(zhí)行FOD圖像探測方法前要進行色偏校正；對于不存在色偏的相機，跳過此步驟。

步驟2：將彩色圖像的紅綠藍表示方式轉化為亮度-色度表示方式，轉化后在亮度上有很大差異的黑白灰在色度上差異微??；紅綠藍表示方式中，分別用I_R、I_G、I_B分別表示圖像的紅綠藍分量值；亮度-色度表示方式中，分別用C_I表示亮度分量，C_R、C_B表示兩個色度分量；轉換公式為

步驟3：計算色度絕對值，令C_A中絕對值大于T_C的像素值為1，其余像素值為0，生成二進制黑白圖像C_A'；T_C的取值為0.05到0.2之間；其中，“1”代表白色像素，“0”代表黑色像素；

步驟4：將C_A'中的白色像素按照8鄰域相連法則分成若干連續(xù)域集合；

步驟5：對于每個集合，計算將其所有像素均能包括的最小橢圓輪廓，橢圓輪廓的參數為{E_a,E_b,E_x,E_y}；其中E_a,E_b分別表示橢圓的長軸和短軸長度，E_x,E_y分別表示橢圓的中心點的坐標；

步驟6：對每個橢圓輪廓如果同時滿足以下條件：短軸長度大于T1，長軸與短軸的乘積大于T2，則認定為該橢圓圈定了一個FOD目標；其中T1的取值在5到20之間，T2的取值在200到1000之間。

所述步驟1中，對于部分存在色偏的相機，在執(zhí)行FOD圖像探測方法前要進行色偏校正，其具體方法為：

步驟11：拍攝多張不同區(qū)域的跑道照片，提取來自跑道不同區(qū)域的像素作為樣本，樣本數量N_S不少于1萬個；

步驟12：對所有樣本，分別計算紅色、綠色、藍色的分量平均值；如果三個分量平均值中的最高平均值與最低平均值的比值大于色偏門限值則認為存在色偏，否則認為不存在色偏；色偏門限值一般取值為1.05到1.2之間；

步驟13：如果存在色偏，計算紅色校正系數和藍色校正系數

其中，i表示樣本的編號，I_R-i、I_G-i、I_B-i分別表示第i個樣本的紅色、綠色、藍色值；

步驟14：按照公式來替代I_R-i；按照公式代替I_B-i；

對紅色和藍色分量值進行校正，綠色分量值不變。

其中步驟13及步驟14可分別對應用步驟113以及步驟114代替：或者分別對應用步驟123級步驟124代替；

其中步驟113：如果存在色偏，計算綠色校正系數和藍色校正系數

其中，i表示樣本的編號，I_R-i、I_G-i、I_B-i分別表示第i個樣本的紅色、綠色、藍色值；表示紅色校正系數；

其中步驟114：按照公式來代替I_G-i；按照公式來代替I_B-i；

對綠色和藍色分量值進行校正，紅色分量值不變。

其中步驟123：如果存在色偏，計算紅色校正系數和紅色校正系數

其中，i表示樣本的編號，I_R-i、I_G-i、I_B-i分別表示第i個樣本的紅色、綠色、藍色分量值；

其中步驟124：按照公式來替代I_R-i；按照公式代替I_G-i；

對紅色和綠色分量值進行校正，藍色分量值不變。

所述步驟2中，轉換矩陣K為

其中K_R、K_G、K_B表示轉換系數，K_B的取值在0.05到0.12之間，K_R的取值在0.2到0.3之間，K_G＝1-K_B-K_R。

轉換矩陣K也可以為

所述步驟4的具體步驟包括

步驟41：任意取一個白色像素，建立包含該點的種子集合，建立包含該點的連續(xù)域集合，將該像素置為黑色。

步驟42：將種子集合中的第一個點刪除，將該點的上、下、左、右、左上、右上、左下、右下8個相鄰像素中的白色像素點加入種子集合，并同時加入連續(xù)域集合；同時，將這些白色像素置為黑色。

步驟43：重復步驟42，直到當前的種子集合為空,當前的連續(xù)域集合為分出的一個集合。

步驟44：如果圖像中仍有白色像素，在剩余白色像素中任意取一個點，重新建立包含該點的種子集合，同時重新建立包含該點的連續(xù)域集合，然后跳轉至步驟42。如果圖像中無白色像素，操作完成，所得分出的若干集合為計算結果。

所述步驟5中，對于每個集合，計算將其所有像素均能包括的最小橢圓輪廓，參數為{E_a,E_b,E_x,E_y}計算的具體方法為

步驟51：令表示一個包含Nc個像素的集合，像素的坐標用(x,y)表示，坐標的角標表示像素的序號，計算橢圓中心點坐標

步驟52：移動集合中所有像素坐標，將橢圓中心平移到坐標原點，新坐標記為(x’,y’)，計算公式為x'＝x-E_x，y'＝y(tǒng)-E_y。

步驟53：使用主要成分分析方法(PCA)計算平移后像素分布的主要變化方向(v_x,v_y)；令B為A的協(xié)方差矩陣，即A的轉置乘以A本身，B＝A^TA，則(v_x,v_y)為B特征分解后的最大特征值對應的特征向量。

步驟54：計算長軸長度，即在主要變化方向上像素分布的最大值和最小值的差，

步驟55：計算短軸長度，即在垂直于主要變化方向上像素分布的最大值和最小值的差，

本發(fā)明并不局限于前述的具體實施方式。本發(fā)明擴展到任何在本說明書中披露的新特征或任何新的組合，以及披露的任一新的方法或過程的步驟或任何新的組合。