用于在圖像信息中識(shí)別對(duì)象的方法和控制設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于在圖像信息中識(shí)別對(duì)象的方法、相應(yīng)的控制設(shè)備以及相應(yīng)的計(jì)算機(jī)程序產(chǎn)品。
【背景技術(shù)】
[0002]駕駛員輔助系統(tǒng)可以基于在車輛的環(huán)境中識(shí)別的對(duì)象實(shí)施在車輛上的干預(yù)以及對(duì)于車輛駕駛員的建議。對(duì)象可以通過(guò)攝像機(jī)檢測(cè)并且提供在攝像機(jī)的圖像信息中。
[0003]文獻(xiàn)DE 10 2006 044 595 84描述一種用于根據(jù)輪廓點(diǎn)實(shí)時(shí)分割的方法以及圖像處理裝置。數(shù)據(jù)減少能夠?qū)崿F(xiàn)快速處理。

【發(fā)明內(nèi)容】

[0004]在該背景下借助本發(fā)明提出根據(jù)主權(quán)利要求的用于在圖像信息中識(shí)別對(duì)象的方法、應(yīng)用所述方法的控制設(shè)備和相應(yīng)的計(jì)算機(jī)程序產(chǎn)品。有利的構(gòu)型由相應(yīng)的從屬權(quán)利要求以及下面的說(shuō)明書得出。
[0005]在發(fā)生變化的條件下，如例如發(fā)生變化的亮度、發(fā)生變化的視野或者發(fā)生變化的光入射角的情況下一個(gè)對(duì)象可以非常不同地由攝像機(jī)成像在圖像信息中。
[0006]為了在圖像信息中可靠地識(shí)別所述對(duì)象，可以根據(jù)恰恰存在的條件以匹配的標(biāo)準(zhǔn)搜索所述對(duì)象。不同的標(biāo)準(zhǔn)可以表示在不同的特征描述中?？梢愿鶕?jù)條件從多種特征描述選擇并且應(yīng)用特征描述。
[0007]在此提出的方案可以作為導(dǎo)柱(Leitpfosten)上的簡(jiǎn)單的例子闡明。導(dǎo)柱對(duì)于觀察者示出了具有黑色分段的帶的白色基本體并且示出反射體。在日光中，導(dǎo)柱可以在圖像信息中基于在其黑色帶與其白色基本顏色之間的對(duì)比被識(shí)別，而反射體提供很少的光學(xué)刺激。然而在黑暗中，可以在圖像信息中主要基于由反射體反射的光識(shí)別導(dǎo)柱，而黑白對(duì)比僅僅根據(jù)最小的距離實(shí)際上是顯眼的。因此可以在日光中基于黑白對(duì)比來(lái)在圖像信息中實(shí)施對(duì)導(dǎo)柱的搜索。在黑暗中，可以基于反射體特定的照明模式實(shí)施搜索。由此可以不僅在日光中而且在黑暗中可靠識(shí)別導(dǎo)柱。
[0008]類似地可以根據(jù)狀況匹配對(duì)于其他對(duì)象類別的識(shí)別的標(biāo)準(zhǔn)。
[0009]提出一種用于在圖像信息中識(shí)別對(duì)象的方法，其中，所述圖像信息代表在一種狀況期間在攝像機(jī)的檢測(cè)范圍中的場(chǎng)景，其中，所述方法具有以下步驟:讀取所述圖像信息以及至少一個(gè)代表所述狀況的參數(shù);在使用所述參數(shù)的情況下選擇所述對(duì)象的對(duì)象類別的在所述狀況中可預(yù)期地可識(shí)別的特征組合；以及在所述圖像信息中搜索所述特征組合，以便識(shí)別所述對(duì)象。
[0010]圖像信息可以理解為電子圖像數(shù)據(jù)。圖像信息可以由多個(gè)由網(wǎng)格形布置的圖像點(diǎn)的強(qiáng)度信息組成。圖像信息可以代表真實(shí)場(chǎng)景的成像。所述場(chǎng)景在此可以是真實(shí)環(huán)境的一個(gè)區(qū)段的透視圖。所述區(qū)段可以是攝像機(jī)的檢測(cè)區(qū)域的至少一個(gè)子區(qū)域。對(duì)象可以是至少部分可識(shí)別地表示在圖像信息中的物體。狀況可以表征框架條件，對(duì)于所述框架條件檢測(cè)圖像信息。對(duì)象類別可以是對(duì)于相似對(duì)象的全稱或總稱。對(duì)象類別的對(duì)象的重要特征可以在公差范圍內(nèi)一致。特征組合可以包括表征對(duì)象類別的多個(gè)特征。對(duì)于相應(yīng)的狀況可以提供匹配的特征組合。對(duì)于不同狀況的兩個(gè)特征組合可以至少在一個(gè)特征上相互不同。對(duì)象類別可以狀況相關(guān)地來(lái)選擇。在多次經(jīng)過(guò)中可以在圖像信息中搜索不同對(duì)象類別的對(duì)象。
[0011]在讀取的步驟中可以讀取積分圖作為圖像信息。積分圖可以代表場(chǎng)景的攝像機(jī)圖像的圖像點(diǎn)的亮度值的逐行的和/或逐列的積分。在積分圖中由圖像點(diǎn)到相鄰的圖像點(diǎn)沿一個(gè)方向產(chǎn)生僅僅上升的亮度值而沿相反方向產(chǎn)生僅僅下降的亮度值。由此可以在搜索的步驟中應(yīng)用簡(jiǎn)化的處理規(guī)則，由此可以節(jié)省用于搜索的時(shí)間。
[0012]在搜索的步驟中可以在第一搜索步驟中使用來(lái)自所述特征組合的第一特征來(lái)進(jìn)行檢查。隨后在至少一個(gè)另外的搜索步驟中使用來(lái)自所述特征組合的至少一個(gè)另外的特征來(lái)進(jìn)行檢查。單個(gè)特征的搜索可以通過(guò)簡(jiǎn)化的處理規(guī)則實(shí)施，由此可以節(jié)省用于搜索的時(shí)間。
[0013]在所述另外的搜索步驟中在使用先前的搜索步驟的結(jié)果的情況下從所述特征組合選擇用于所述檢查的另外的特征。特征可以基于彼此地選擇。例如一個(gè)確定的特征可以排除另一個(gè)特征，因此不再需要檢查另一個(gè)特征。由此可以節(jié)省用于搜索的時(shí)間。
[0014]可以提供所述對(duì)象的識(shí)別概率。在此，在圖像信息中可識(shí)別特征組合的越多的特征，則提供越大的識(shí)別概率。通過(guò)識(shí)別概率也可以對(duì)不完全可識(shí)別的對(duì)象作出反應(yīng)。例如因此可以識(shí)別部分地被遮蓋的對(duì)象，即使并非特征組合的所有特征可以被識(shí)別。那么，多個(gè)對(duì)象類別也可能適合于所述對(duì)象并且限制在可能的對(duì)象類別上的選擇。
[0015]如果在圖像點(diǎn)中識(shí)別到特征組合的最小數(shù)目的特征，則可以將圖像信息的圖像點(diǎn)標(biāo)記為所述對(duì)象。圖像點(diǎn)可以標(biāo)記為很可能識(shí)別的對(duì)象?？梢栽诤罄m(xù)圖像信息中重新搜索所述很可能識(shí)別的對(duì)象。由此可以將詳細(xì)搜索限于圖像信息的部分區(qū)域。
[0016]所述方法可以具有識(shí)別狀況的步驟，其中，在使用所述圖像信息中的場(chǎng)景和/或車輛數(shù)據(jù)和/或環(huán)境條件的情況下識(shí)別所述狀況。通過(guò)在圖像信息中所述狀況的識(shí)別，也可以在無(wú)自身傳感器用于所述狀況的情況下執(zhí)行所述方法。
[0017]此外，可以讀取待識(shí)別的對(duì)象類別的類別信息。在選擇的步驟中可以在使用所述類別信息的情況下從多個(gè)不同的特征組合中選擇代表所述對(duì)象類別的特征組合。對(duì)象搜索可以有針對(duì)性地限于至少一個(gè)對(duì)象類別，如果其他對(duì)象類別沒(méi)有利害關(guān)系。由此可以加速所述方法。
[0018]特征組合可以包括關(guān)于待識(shí)別對(duì)象的至少一個(gè)面積總和的信息。由此可以快速和可靠實(shí)現(xiàn)所述方法。
[0019]在此提出一種用于在圖像信息中識(shí)別對(duì)象的控制設(shè)備，其中，所述圖像信息代表在一種狀況期間在攝像機(jī)的檢測(cè)范圍中的場(chǎng)景，其中，所述控制設(shè)備具有以下特征:
[0020]用于讀取所述圖像信息以及至少一個(gè)代表所述狀況的參數(shù)的接口；
[0021]用于在使用所述參數(shù)的情況下選擇所述對(duì)象的對(duì)象類別的在所述狀況中可預(yù)期地可識(shí)別的特征組合的裝置;和
[0022]用于在所述圖像信息中搜索所述特征組合以便識(shí)別所述對(duì)象的裝置。
[0023]通過(guò)本發(fā)明的以控制設(shè)備形式的實(shí)施變型方案可以快速和高效地解決本發(fā)明所基于的任務(wù)。
[0024]控制設(shè)備在此可以理解為處理傳感器信號(hào)并且據(jù)此輸出控制信號(hào)和/或數(shù)據(jù)信號(hào)的電設(shè)備。所述控制設(shè)備可以具有按硬件方式和/或按軟件方式構(gòu)造的接口。在按硬件方式的構(gòu)造中，接口例如可以是所謂的系統(tǒng)ASIC的包括所述控制設(shè)備的最不同功能的一部分。然而，也可能的是，接口是單獨(dú)的集成電路或至少部分地由分立部件組成。在按軟件方式的構(gòu)造中，接口可以是軟件模塊，其例如與其他軟件模塊共存在微控制器上。
[0025]具有程序代碼的計(jì)算機(jī)程序產(chǎn)品也是有利的，所述程序代碼可以存儲(chǔ)在機(jī)器可讀的載體，如半導(dǎo)體存儲(chǔ)器、硬盤存儲(chǔ)器或光學(xué)存儲(chǔ)器上并且用于當(dāng)在計(jì)算機(jī)或者設(shè)備上執(zhí)行程序產(chǎn)品時(shí)實(shí)施根據(jù)先前描述的實(shí)施方式之一的方法的步驟。
【附圖說(shuō)明】
[0026]以下根據(jù)附圖示例性更詳細(xì)地闡述。附圖示出:
[0027]圖1:具有根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于在圖像信息中識(shí)別對(duì)象的控制設(shè)備的車輛示圖；
[0028]圖2:根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于在圖像信息中識(shí)別對(duì)象的方法流程的圖形示圖；
[0029]圖3:根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于在圖像信息中識(shí)別對(duì)象的控制設(shè)備的方框圖；以及
[0030]圖4:根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于在圖像信息中識(shí)別對(duì)象的方法的流程圖。
[0031]在本發(fā)明的優(yōu)選實(shí)施例的后續(xù)描述中，對(duì)于在不同附圖中示出并且起類似作用的元件使用相同的或類似的附圖標(biāo)記，其中，不重復(fù)描述這些元件。
【具體實(shí)施方式】
[0032]圖1示出具有根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于在圖像信息104中識(shí)別對(duì)象的控制設(shè)備102的車輛100的示圖。圖像信息104由攝像機(jī)106生成，攝像機(jī)在此安裝在車輛100中并且朝向在車輛100前方的檢測(cè)區(qū)域。攝像機(jī)106構(gòu)造用于在圖像信息104中成像檢測(cè)區(qū)域中的場(chǎng)景108?？刂圃O(shè)備102具有用于圖像信息104的接口和用于至少一個(gè)參數(shù)110的接口。參數(shù)110代表如下狀況:在所述狀況中攝像機(jī)106檢測(cè)場(chǎng)景108。
[0033]在一個(gè)實(shí)施例中，參數(shù)110是車輛速度。
[0034]在一個(gè)實(shí)施例中，參數(shù)110是照明強(qiáng)度。
[0035]在一個(gè)實(shí)施例中，參數(shù)110是天氣情況。
[0036]控制設(shè)備102構(gòu)造用于在使用參數(shù)110的情況下識(shí)別對(duì)象。為此，控制設(shè)備102從待識(shí)別的對(duì)象類別的一系列不同的特征組合中選擇一種特征組合，所述特征組合最匹配于參數(shù)110。由此例如可以在黑暗的情況下考慮與在日光下不同的特征用于對(duì)象識(shí)別。同樣，對(duì)象可以在下雨時(shí)具有與在陽(yáng)光照射時(shí)不同的外觀。通過(guò)專注于分別最適合的特征能夠?qū)崿F(xiàn)可靠的對(duì)象識(shí)別。所識(shí)別的對(duì)象在場(chǎng)景108中的位置轉(zhuǎn)發(fā)給其他車輛控制設(shè)備112用于進(jìn)一步應(yīng)用。
[0037]在一個(gè)實(shí)施例中，控制設(shè)備102在車輛100的車載計(jì)算機(jī)中實(shí)現(xiàn)。
[0038]在一個(gè)實(shí)施例中，控制設(shè)備102在車輛100的攝像機(jī)控制設(shè)備中實(shí)現(xiàn)。
[0039]在一個(gè)實(shí)施例中，控制設(shè)備102在車輛100的導(dǎo)航控制設(shè)備中實(shí)現(xiàn)。
[0040]具有在攝像機(jī)系統(tǒng)106前方的對(duì)象的場(chǎng)景108的圖像信息104通過(guò)數(shù)據(jù)接口讀取。通過(guò)所述接口，作為參數(shù)110也讀取車輛和系統(tǒng)數(shù)據(jù)，如車輛100的速度。
[0041]換言之，圖1根據(jù)一個(gè)實(shí)施例示出基于FPGA(現(xiàn)場(chǎng)可編程門陣列)的經(jīng)加權(quán)的面積總和用于視頻圖像中的對(duì)象識(shí)別。
[0042]在攝像機(jī)記錄中的對(duì)象可以由關(guān)于面積及其線性關(guān)聯(lián)(VerknUpfung)的總和的組合識(shí)別?？梢越柚趯W(xué)習(xí)方法訓(xùn)練對(duì)象識(shí)別者，以便實(shí)現(xiàn)在小的錯(cuò)誤報(bào)警率的情況下良好的識(shí)別率。在此提出的方案降低所述方法的計(jì)算復(fù)雜性，改善其對(duì)于在實(shí)時(shí)駕駛員輔助系統(tǒng)(FAS)中的應(yīng)用的適用性并且能夠?qū)崿F(xiàn)高的處理速度以及對(duì)來(lái)自真實(shí)世界的對(duì)象的及時(shí)反應(yīng)。
[0043]在此提出的方案提出用于FPGA102的方法，所述方法可以實(shí)時(shí)滿足對(duì)象識(shí)別任務(wù)并因此才能夠?qū)崿F(xiàn)其在自動(dòng)FAS環(huán)境中的應(yīng)用。
[0044]為此在此提出經(jīng)專業(yè)化的面積-總和-特性和基于FPGA的用于這些特性的處理單元102，所述處理單元能夠?qū)崿F(xiàn)實(shí)時(shí)對(duì)象識(shí)別。所提出的解決方案的大的優(yōu)點(diǎn)是其對(duì)于運(yùn)行時(shí)間的可再加載性，這允許對(duì)象的與狀況有關(guān)的識(shí)別，例如在天氣情況或照明情況變化時(shí)的轉(zhuǎn)換。
[0045]攝像機(jī)系統(tǒng)106安裝在車輛100中并且拍攝在車輛100前方的當(dāng)前場(chǎng)景108。在此，攝像機(jī)系統(tǒng)106可以具有一個(gè)或多個(gè)攝像機(jī)傳感器。通過(guò)可有線地或無(wú)線地實(shí)施的接口，所述系統(tǒng)將其圖像數(shù)據(jù)104傳輸給具有內(nèi)置FPGA的一個(gè)或多個(gè)計(jì)算單元102。例如FPGA也可以集成在車載計(jì)算機(jī)112、組合儀表112、攝像機(jī)控制設(shè)備112和/或?qū)Ш较到y(tǒng)112中。
[0046]圖2示出根據(jù)