車載相機(jī)的圖像處理方法和使用該方法的圖像處理設(shè)備的制作方法
【專利摘要】車載相機(jī)的圖像處理方法和使用該方法的圖像處理設(shè)備。本文公開了一種車載相機(jī)的圖像處理設(shè)備，該圖像處理設(shè)備包括：光源提取單元，其被配置為從在第一時間期間暴露于光源的第一幀中提取光源，以及從在比所述第一時間更長的第二時間期間暴露于所述光源的第二幀中提取產(chǎn)生運動模糊的光源；目標(biāo)光源分類單元，其被配置為將屬于所述第一幀的光源的并且不運動的第一目標(biāo)光源和屬于所述第二幀的光源的并且不運動的第二目標(biāo)光源分類；以及運動確定單元，其被配置為估計作為所述第一目標(biāo)光源的中心點的第一位置和作為包括所述第二目標(biāo)光源的中心點的中心線的第二位置，將所述第一位置與所述第二位置進(jìn)行比較，以及確定車輛的顛簸運動是否已經(jīng)發(fā)生。
【專利說明】車載相機(jī)的圖像處理方法和使用該方法的圖像處理設(shè)備

【技術(shù)領(lǐng)域】
[0001]本發(fā)明的示例性實施方式涉及一種車載相機(jī)的圖像處理方法以及使用該方法的圖像處理設(shè)備，更具體地說，涉及一種車載相機(jī)的圖像處理方法和使用該方法的圖像處理設(shè)備，其能夠通過有效地修正通過安裝在車輛上的相機(jī)拍攝的夜間圖像提高使用該夜間圖像的車輛駕駛輔助系統(tǒng)的穩(wěn)定性和可靠性。

【背景技術(shù)】
[0002]近來，積極地研發(fā)了利用諸如安裝在車輛上的相機(jī)的光學(xué)裝置檢測諸如通車車道、指示牌、車輛或其它地理特征的對象的檢測裝置。關(guān)于通過這種檢測裝置檢測到的對象的信息可用于車輛的安全駕駛。然而，在車輛行駛的同時，可根據(jù)道路的路面狀態(tài)產(chǎn)生顛簸(pitch)運動。顛簸運動是指可歸因于運動道路條件的車輛的上下運動。
[0003]車輛的這種顛簸運動可成為當(dāng)檢測裝置檢測對象時產(chǎn)生錯誤的原因。因此，需要一種在顛簾運動中能夠最小化錯誤的技術(shù)。
[0004]就諸如現(xiàn)有顛簸運動方案的圖像穩(wěn)定性方法而言，提取圖像中顯現(xiàn)的視野范圍附近的邊緣分量、測量前一幀圖像與當(dāng)前幀圖像之間的差異、以及基于所述差異的結(jié)果估計車輛的當(dāng)前顛簸運動。在韓國專利申請公開N0.2013-0015974 (2013年2月14日)中公開了關(guān)于這種顛簸運動估計的示例。
[0005]然而，因為夜間照明強(qiáng)度不足，所以存在不能利用相機(jī)監(jiān)視視野范圍的情況。在這種情況下，如果使用現(xiàn)有方法則性能可變差。
[0006]關(guān)于在夜間在圖像的上端出現(xiàn)的街燈，最重要的是，當(dāng)利用諸如圖像內(nèi)的運動、車速和偏航率的數(shù)據(jù)搜索街燈的運動特征時，分析街燈的圖像內(nèi)的運動。在這種情況下，利用跟蹤算法主要分析街燈的圖像內(nèi)的運動。
[0007]然而，如果在車輛前方存在各種形式的許多光源，則執(zhí)行跟蹤算法所需的計算負(fù)擔(dān)非常大。結(jié)果，存在性能變差的問題。
[0008]現(xiàn)有技術(shù)文獻(xiàn)
[0009]專利文獻(xiàn)
[0010](專利文獻(xiàn)001)韓國專利申請公開N0.2013-0015974(2013年2月14日)


【發(fā)明內(nèi)容】

[0011]因此，鑒于在現(xiàn)有技術(shù)中出現(xiàn)的以上問題提出本發(fā)明，并且本發(fā)明的一個目的是提供一種車載相機(jī)的圖像處理方法和使用該方法的圖像處理設(shè)備，當(dāng)安裝在車輛上的駕駛輔助系統(tǒng)基于通過安裝在車輛前部上的相機(jī)拍攝的夜間圖像估計與前車的距離時，所述圖像處理方法和使用該方法的圖像處理設(shè)備可防止可歸因于車輛的振動的通車車道的識別度或距離精度的可靠性的降低。
[0012]根據(jù)用于實現(xiàn)本發(fā)明的目的的本發(fā)明的第一方面，一種車載相機(jī)的圖像處理設(shè)備可包括:光源提取單元，其被配置為從在第一時間期間暴露于光源的第一幀中提取光源，以及從在比所述第一時間更長的第二時間期間暴露于所述光源的第二幀中提取產(chǎn)生運動模糊的光源；目標(biāo)光源分類單元，其被配置為將屬于所述第一幀的光源的并且不運動的第一目標(biāo)光源和屬于所述第二幀的光源的并且不運動的第二目標(biāo)光源分類；以及運動確定單元，其被配置為估計作為所述第一目標(biāo)光源的中心點的第一位置和作為包括所述第二目標(biāo)光源的中心點的中心線的第二位置，將所述第一位置與所述第二位置進(jìn)行比較，以及確定車輛的顛簸運動是否已經(jīng)發(fā)生。
[0013]另外，圖像處理設(shè)備還可包括:修正單元，其被配置為基于所述第一位置與所述第二位置之間的比較結(jié)果修正所述車載相機(jī)的圖像。
[0014]另外，不運動的光源可包括街燈和視覺指引反射器中的至少一個。
[0015]另外，所述運動確定單元還可被配置為將所述第一幀和所述第二幀重疊以及基于所述第一位置和所述第二位置重疊的位置確定所述車輛的所述顛簸運動的方向或程度。
[0016]另外，所述圖像處理設(shè)備的數(shù)字傳感器可以是滾動快門類型的CMOS傳感器。
[0017]根據(jù)用于實現(xiàn)本發(fā)明的目的的本發(fā)明的第二方面，一種車載相機(jī)的圖像處理方法可包括:從已由所述車載相機(jī)獲得的并且已在第一時間期間暴露于光源的第一幀中提取光源；將屬于提取的光源的并且不運動的第一目標(biāo)光源分類；計算作為所述第一目標(biāo)光源的中心點的第一位置；從已由所述車載相機(jī)獲得的并且已在比所述第一時間更長的第二時間期間暴露于光源的第二幀中提取產(chǎn)生運動模糊的光源；將屬于從所述第二幀中提取的光源的并且不運動的第二目標(biāo)光源分類；計算作為包括所述第二目標(biāo)光源的中心點的中心線的第二位置；將所述第一位置與所述第二位置進(jìn)行比較；以及基于所述第一位置與所述第二位置之間的比較結(jié)果確定車輛的顛簸運動是否已經(jīng)發(fā)生。
[0018]圖像處理方法還可包括基于所述第一位置與所述第二位置之間的比較結(jié)果修正所述車載相機(jī)的圖像。
[0019]另外，將所述第一目標(biāo)光源分類或?qū)⑺龅诙繕?biāo)光源分類的步驟可包括將在所述第一幀或所述第二幀的預(yù)定區(qū)中存在的光源分類為目標(biāo)光源。
[0020]另外，將所述第一目標(biāo)光源分類或?qū)⑺龅诙繕?biāo)光源分類的步驟可包括根據(jù)利用支持向量機(jī)的訓(xùn)練方法將沿著道路布置的多個街燈或視覺指引反射器分類為目標(biāo)光源。
[0021]另外，計算所述第一位置或計算所述第二位置的步驟可包括:對所述第一幀或所述第二幀的圖像執(zhí)行二值化，以及提取具有特定值的像素的重心的坐標(biāo)作為所述第一位置或所述第二位置。
[0022]另外，基于所述第一位置與所述第二位置之間的比較結(jié)果確定所述車輛的顛簸運動是否已經(jīng)發(fā)生的步驟可包括:將所述第一幀和所述第二幀重疊，以及基于所述第一位置和所述第二位置重疊的位置確定所述車輛的所述顛簸運動的方向或程度。
[0023]另外，所述第二幀可以是屬于包括在圖像中的多個幀并且正好位于所述第一幀之后的幀。
[0024]另外，修正所述車載相機(jī)的圖像的步驟可以包括:利用隨機(jī)樣本一致性RANSAC算法提取最佳修正方向和距離，以及修正所述圖像。

【專利附圖】

【附圖說明】
[0025]從以下結(jié)合附圖進(jìn)行的詳細(xì)描述中，將更加清楚地理解本發(fā)明的以上和其它目的、特征和優(yōu)點，其中:
[0026]圖1示出了根據(jù)本發(fā)明的實施方式的圖像處理設(shè)備的示意性框圖；
[0027]圖2是示出根據(jù)本發(fā)明的實施方式的前相機(jī)的圖像處理方法的流程圖；
[0028]圖3和圖4是示出根據(jù)本發(fā)明的實施方式的車載相機(jī)的圖像處理方法的概念圖；
[0029]圖5是示出根據(jù)本發(fā)明的實施方式的檢查車輛的運動的方法的概念圖；
[0030]圖6是示出根據(jù)本發(fā)明的另一實施方式的檢查車輛的運動的方法的概念圖；
[0031]圖7至圖10是示出圖2的車載相機(jī)的圖像處理方法的示例性示圖；以及
[0032]圖11是示出根據(jù)本發(fā)明的實施方式的第一幀和第二幀重疊的示圖。

【具體實施方式】
[0033]下文中詳細(xì)描述本發(fā)明的實施示例和實施方式，從而本申請所屬領(lǐng)域的技術(shù)人員可容易地實施本發(fā)明。
[0034]然而，可按照各種其它形式實施本申請，并且本申請不限于本文描述的實施示例和實施方式。
[0035]在整個說明書中，除非明確地描述不是這樣，否則詞語“包括”將理解為意指包括所列元件，但不排除任何其它元件。
[0036]在本申請的整個說明書中，當(dāng)描述一個步驟在另一步驟之前或之后時，應(yīng)該理解，除了一個步驟直接與另一步驟相連的情況之外，還包括第三步驟存在于這兩個步驟之間的情況。
[0037]在本申請的整個說明書中，當(dāng)在描述的含義中存在唯一制造和容許誤差時，將諸如“約”或“基本上”的程度術(shù)語用在對應(yīng)的數(shù)值中或作為與該數(shù)值接近的含義使用，并且用于防止利用包括示為精確或絕對的數(shù)值的公開的內(nèi)容進(jìn)行非法的不合理侵犯，以幫助理解本發(fā)明。
[0038]在本申請的整個說明書中，諸如“(執(zhí)行或進(jìn)行的)步驟?”或“步驟?”的術(shù)語不意指“用于?的步驟”。
[0039]在描述根據(jù)本發(fā)明的實施方式的圖像處理設(shè)備的元件之前，下面首先描述本說明書中描述的一些兀件。
[0040]術(shù)語“多次曝光”意指曝光一次的單個幀再次被多次曝光，從而多個圖像添加至所述單個中貞。
[0041]術(shù)語“運動模糊”是指在諸如圖像和動畫的連續(xù)圖畫或靜止圖像中反映并且快速運動的對象的清晰線條。如果曝光過久或運動很快或當(dāng)圖像在拍攝單個幀的同時改變時，出現(xiàn)這種現(xiàn)象。
[0042]下文中，參照附圖和實施方式詳細(xì)描述本發(fā)明，從而本申請所屬領(lǐng)域的技術(shù)人員可重復(fù)地再現(xiàn)本申請。
[0043]圖1示出了根據(jù)本發(fā)明的實施方式的圖像處理設(shè)備的示意性框圖。
[0044]參照圖1，根據(jù)當(dāng)前實施方式的圖像處理設(shè)備10包括光源提取單元11、目標(biāo)光源分類單元12、運動確定單元13和修正單元14，以分析車載相機(jī)的夜間圖像和分析車輛的顛簸運動。
[0045]車載相機(jī)包括安裝在車輛前部的前相機(jī)。
[0046]另選地，車載相機(jī)可包括被配置為在車輛的所有方向(包括車輛的前方)上拍攝圖像的相機(jī)。另外，車載相機(jī)可包括安裝在車輛上并被配置為除車輛前部以外還拍攝車輛前方的其它部分的相機(jī)。
[0047]夜間圖像是由車載相機(jī)拍攝的圖像，并指在夜間拍攝的圖像。夜間圖像通常包括在天黑以后行駛的車輛附近(具體地說，車輛的前方)的圖像。通常，可按照運動圖像形式拍攝夜間圖像，并且各個夜間圖像可包括約幾幀/秒至約幾十幀/秒的靜止圖像。
[0048]光源提取單元11從車載相機(jī)拍攝的第一幀圖像(夜間圖像等)中提取光源，并從在距離第一幀第一時間間隔獲得的第二幀圖像中提取光源。光源提取單元11可通過共同圖像處理(二值化等)基于每一個幀的像素值(I或O)提取光源。更具體地說，光源提取單元11從在第一時間期間暴露于光源的第一幀中提取光源，并從在第二時間期間暴露于光源的第二幀中提取光源。在這種情況下，第一時間和第二時間可彼此不同。通常，在快速運動并長時間暴露于光源的對象的圖像中產(chǎn)生運動模糊現(xiàn)象，而在快速運動并短時間暴露于光源的對象的圖像中不產(chǎn)生運動模糊現(xiàn)象。根據(jù)本發(fā)明的實施方式的光源提取單元11利用這種現(xiàn)象從包括其中已發(fā)生運動模糊現(xiàn)象的幀的所有幀中提取光源。
[0049]目標(biāo)光源分類單兀12將屬于第一巾貞的光源并且未運動的第一目標(biāo)光源分類。另夕卜，目標(biāo)光源分類單元12將屬于第二幀的光源并且未運動的第二目標(biāo)光源分類。在這種情況下，未運動的光源安裝在車輛行駛的道路附近，并可包括街燈或視覺指引反射器。
[0050]安裝街燈或視覺指引反射器以使得其在道路附近產(chǎn)生或反射光。街燈或視覺指引反射器位于車載相機(jī)拍攝的夜間圖像的幀的特定區(qū)中，并且被拍攝為相對于其它周圍對象具有高亮度。因此，目標(biāo)光源分類單元12可在將第一幀和第二幀二值化的處理中將位于預(yù)定區(qū)(例如，該幀的左上部和右上部)中并且具有特定像素值I的光源分為第一目標(biāo)光源和第二目標(biāo)光源。
[0051]運動確定單元13估計第一位置(也就是說，第一目標(biāo)光源的中心點)，估計發(fā)生運動模糊的第二位置(也就是說，第二目標(biāo)光源的中心點)，并基于第一位置和第二位置分析車輛的顛簸運動。運動確定單元13計算包括第一幀中的多個像素的第一目標(biāo)光源的重心作為第一位置，并計算包括第二幀中的多個像素的在第二目標(biāo)光源中發(fā)生運動模糊的位置作為第二位置。根據(jù)這種配置，運動確定單元13可關(guān)于每一個幀上的單個目標(biāo)光源指定單個像素作為第一位置，并指定一個或更多個像素作為第二位置。第二位置可包括一個或更多個像素是因為在第二位置中產(chǎn)生運動模糊。
[0052]另外，運動確定單元13將第一幀和第二幀重疊，并將第一位置與第二位置進(jìn)行比較。因為在不同的曝光時間期間拍攝相同對象，所以在第一幀和第二幀中出現(xiàn)的兩個對象重疊，但是由于運動模糊現(xiàn)象，導(dǎo)致兩個對象的中心不重疊。運動確定單元13基于兩個對象的中心未重疊的原理計算車輛的顛簸運動的方向和程度。
[0053]另外，運動確定單元13基于車輛的車速和偏航率計算在運動第一時間之后期望出現(xiàn)第一位置的估計位置。根據(jù)這種配置，運動確定單元13可計算和估計第一位置的估計位置，并且可提供第一時間之后的圖像幀(即，第二幀)中的第二位置的補(bǔ)償標(biāo)準(zhǔn)。
[0054]修正單元14基于第一位置與第二位置之間的比較結(jié)果修正車載相機(jī)的圖像。修正單元14可基于已由運動確定單元13確定的車輛的運動修正車載相機(jī)的圖像。
[0055]在另一實施方式中，可利用用于執(zhí)行光源提取單元11、目標(biāo)光源分類單元12、運動確定單元13和修正單元14的功能的裝置或者被配置為執(zhí)行對應(yīng)于該裝置的功能的元件來實現(xiàn)根據(jù)本實施方式的圖像處理設(shè)備10。例如，可利用使用觸發(fā)電路或微處理器的邏輯電路來實現(xiàn)圖像處理設(shè)備10。在這種情況下，可按照以下方式實現(xiàn)圖像處理設(shè)備10，所述方式即，其中限定了光源提取單元11、目標(biāo)光源分類單元12、運動確定單元13和修正單元14的功能的特定程序被存儲在該圖像處理設(shè)備10自己的存儲器中或單獨的存儲裝置中，并且邏輯電路或微處理器執(zhí)行存儲在存儲器或存儲裝置中的特定程序。
[0056]圖2是示出根據(jù)本發(fā)明的實施方式的前相機(jī)的圖像處理方法的流程圖。
[0057]參照圖2，在根據(jù)本實施方式的前相機(jī)的圖像處理方法中，首先，在步驟S21，當(dāng)從車載相機(jī)接收到圖像(例如，夜間圖像)時，在步驟S22，光源提取單元11在第一時間期間曝光圖像。在步驟S23，光源提取單元11從車載相機(jī)獲得的第一幀圖像中提取光源。
[0058]在步驟S24，目標(biāo)光源分類單元12將屬于從第一幀中提取的光源的并且未運動的第一目標(biāo)光源El分類。在將第一目標(biāo)光源El分類的步驟S24，目標(biāo)光源分類單元12可通過考慮諸如安裝在道路附近的街燈或視覺反射指引器的不運動的光源位于圖像的特定區(qū)中，將在第一幀的預(yù)定區(qū)中存在的光源分類為第一目標(biāo)光源。在本實施方式中，街燈可為用于確定車輛的顛簸運動的目標(biāo)光源。
[0059]在步驟S25，運動確定單元13計算第一位置Pl，也就是說，第一目標(biāo)光源El的中心點。在計算第一位置Pl的步驟S25，運動確定單元13可對第一幀圖像執(zhí)行二值化，并提取具有特定值的像素的重心的坐標(biāo)作為第一位置Pl。
[0060]然后，在步驟S26，光源提取單元11在距離第一幀第一時間間隔的第二時間期間將圖像曝光。另外，在步驟S27，光源提取單元11從獲得的第二幀中提取光源。第二幀可為包括在從車載相機(jī)接收的圖像中包括的多個幀中的并且正好位于第一幀之后的幀。假設(shè)從車載相機(jī)接收的圖像包括幾幀/秒至幾十幀/秒，可幾乎同時或并行地處理從第一幀提取光源和從第二巾貞提取光源。這意味著，根據(jù)本實施方式的修正車載相機(jī)的夜間圖像的方法可用于在道路上以約100 km /h( S卩，約28米/秒)的實時速度行駛的車輛。
[0061]在步驟S28，目標(biāo)光源分類單元12將屬于從第二幀中提取的光源的并且不運動的第二目標(biāo)光源E2分類。在將第二目標(biāo)光源E2分類的步驟S28，目標(biāo)光源分類單元12可通過考慮諸如安裝在道路附近的街燈或視覺反射指引器的不運動的光源位于圖像的特定區(qū)中，將在第二幀的預(yù)定區(qū)中存在的光源分類為第二目標(biāo)光源E2。
[0062]在將第一目標(biāo)光源El分類的步驟S24或?qū)⒌诙繕?biāo)光源E2分類的步驟S28，目標(biāo)光源分類單元12可通過利用支持向量機(jī)(SVM)的訓(xùn)練方法將沿著道路布置的多個街燈或視覺指引反射器分類為目標(biāo)光源。SVM用于通過以下步驟在統(tǒng)計上將預(yù)定數(shù)據(jù)二值化和分類，所述步驟即:在輸入空間中產(chǎn)生最大邊緣超平面，提供賦予值“是”或“否”的訓(xùn)練樣本，以及，將訓(xùn)練樣本劃分為“是”和“否”以使得從最近樣本至超平面的距離變?yōu)樽畲蟆Ｈ绻褂肧VM，則可有效地將屬于夜間圖像的光源的并且不運動的目標(biāo)光源分類。
[0063]在步驟S29，運動確定單元13計算第二位置P2，也就是說，第二目標(biāo)光源E2的中心點。在計算第二位置P2的步驟S29，運動確定單元13可對第二幀圖像執(zhí)行二值化，然后提取具有特定值(例如，I和O中的I)的像素的重心的坐標(biāo)作為第二位置P2。在這種情況下，第二目標(biāo)光源的中心點對應(yīng)于由于長時間的曝光而產(chǎn)生運動模糊的目標(biāo)光源，因此與第一位置Pl不同，第二位置P2可以單條線的形式而非單個像素的形式呈現(xiàn)。
[0064]在這種情況下，實際上，第二目標(biāo)光源E2與第一目標(biāo)光源El相同。然而，由于第二目標(biāo)光源導(dǎo)致的曝光時間與第一目標(biāo)光源導(dǎo)致的曝光時間不同，因此第一位置(也就是說，第一目標(biāo)光源的中心點)和第二位置(也就是說，第二目標(biāo)光源的中心點)只能交疊，但彼此不同。一張圖像通過自動曝光獲得，而另一張圖像相對于相同場景利用多次曝光相機(jī)通過短曝光獲得。在這種情況下，滾動快門類型的CMOS傳感器可用作用于獲得圖像的數(shù)字傳感器。滾動快門是一種用在通用CMOS類型的圖像傳感器中的電子快門。在這種滾動快門類型的傳感器中，由于滾動快門類型的傳感器的本質(zhì)，隨著拍攝快速運動的物體，產(chǎn)生更大的運動模糊。這種技術(shù)對于本領(lǐng)域技術(shù)人員是公知的，因此省略其詳細(xì)描述。
[0065]然后，在步驟S30，運動確定單元13將第一位置Pl (也就是說，第一目標(biāo)光源的中心點)與第二位置P2(也就是說，第二目標(biāo)光源的中心點)進(jìn)行比較。運動確定單元13基于比較結(jié)果確定在車輛中是否產(chǎn)生顛簸運動以及產(chǎn)生的顛簸運動的方向。
[0066]在步驟S31，修正單元14基于第一位置Pl和第二位置P2之間的比較結(jié)果修正車載相機(jī)的圖像。
[0067]在修正車載相機(jī)的夜間圖像的步驟S31中，修正單元14可利用隨機(jī)樣本一致性(RANSAC)算法提取最佳修正方向和距離，并且可利用提取的最佳修正方向和距離修正夜間圖像。RANSAC算法用于通過重復(fù)地執(zhí)行隨機(jī)選擇一些預(yù)定原始數(shù)據(jù)的處理來預(yù)測最佳參數(shù)。對于根據(jù)本實施方式的安裝在圖像處理設(shè)備上的圖像處理方法，可按照程序或步驟的形式實現(xiàn)RANSAC算法。
[0068]在一些實施方式中，為了修正車載相機(jī)的夜間圖像，修正單元14可輸出修正信號，以基于估計位置與第二位置之間的比較結(jié)果修正車載相機(jī)的傾斜裝置的當(dāng)前位置?？蓪⑿拚盘栔苯影l(fā)送至車載相機(jī)的傾斜裝置，或者將其發(fā)送至用于控制傾斜裝置的單獨的電子控制單元(ECU)。車載相機(jī)的傾斜裝置或ECU在本領(lǐng)域是公知的，因此將省略它們的詳細(xì)描述。
[0069]圖3和圖4是示出根據(jù)本發(fā)明的實施方式的車載相機(jī)的圖像處理方法的概念圖。
[0070]如圖3所示，街燈被確定在接收到的夜間圖像的上側(cè)，并且光源被提取。如果如圖3所示車輛在平坦路面上行駛，則車輛中不發(fā)生顛簸運動。因此，從在圖3的左側(cè)通過長曝光時間的自動曝光拍攝的圖像提取的光源和從在圖3的右側(cè)通過短曝光時間的短曝光拍攝的圖像提取的光源基本位于相同點或相同高度。
[0071]相比之下，如圖4所示，如果車輛在具有不平整部分的路面上行駛，則車輛中發(fā)生顛簸運動。因此，從在圖4的左側(cè)通過長曝光時間的自動曝光拍攝的圖像提取的光源和從在圖4的右側(cè)通過短曝光時間的短曝光拍攝的圖像提取的光源由于運動模糊而在重疊的位置上是不同的。
[0072]利用根據(jù)曝光時間的運動模糊來檢查車輛的運動，并且修正夜間圖像。
[0073]以下更加詳細(xì)地描述檢查車輛的運動和修正夜間圖像的方法。
[0074]圖5是示出根據(jù)本發(fā)明的實施方式的檢查車輛的運動的方法的概念圖。
[0075]圖5示出了在車輛遇到不平整部分之后產(chǎn)生上升運動特征的同時，車輛依次在第一時間和第二時間期間暴露于光源的情況。
[0076]首先，從在車輛經(jīng)過不平整部分的同時已經(jīng)在第一時間期間暴露于光源的第一幀提取光源。從在正好在第一時間之后的第二時間期間已經(jīng)暴露于光源的第二幀提取光源。在這種情況下，第一時間相對比第二時間更長。
[0077]因為第一時間比第二時間更長，所以在第一時間期間產(chǎn)生運動模糊。另外，因為第二時間比第一時間更短，所以在第二時間期間很少產(chǎn)生運動模糊。因此，可通過利用關(guān)于第一時間的信息和關(guān)于第二時間的信息分析第一幀和第二幀來確定車輛的顛簸運動的方向。更具體地說，如果第一幀和第二幀中的光源呈現(xiàn)為在下側(cè)重疊，則可確定在一幀中的例如街燈的光源受到上下顛簸運動，也就是說，車輛已經(jīng)受到上下顛簸運動。
[0078]圖6是示出根據(jù)本發(fā)明的另一實施方式的檢查車輛的運動的方法的概念圖。
[0079]圖6示出了在車輛遇到不平整部分之后產(chǎn)生上升運動特征的同時，車輛依次在第一時間和第二時間期間暴露于光源的情況。
[0080]如圖6中那樣，從在車輛經(jīng)過不平整部分的同時已經(jīng)在第一時間期間暴露于光源的第一幀提取光源。從在正好在第一時間之后的第二時間期間已經(jīng)暴露于光源的第二幀提取光源。在這種情況下，第二時間相對比第一時間更長。
[0081]因為第二時間比第一時間更長，所以在第二時間期間產(chǎn)生運動模糊。另外，因為第一時間比第二時間更短，所以在第一時間期間很少產(chǎn)生運動模糊。因此，可通過利用關(guān)于第一時間的信息和關(guān)于第二時間的信息分析第一幀和第二幀來確定車輛產(chǎn)生的顛簸運動的量和方向。更具體地說，如果第一幀和第二幀中的光源呈現(xiàn)為在上側(cè)重疊，則可確定在一幀中的例如街燈的光源受到上下顛簸運動，也就是說，車輛受到上下顛簸運動。另外，如果運動模糊顯現(xiàn)得長，則可確定劇烈地產(chǎn)生了車輛的顛簸運動。
[0082]如果其上安裝有車載相機(jī)的車輛本身運動，則僅基于光源的位置變化修正夜間圖像是有問題的。為了解決該問題，可通過利用可從通過車速傳感器和偏航率傳感器檢測到的信號獲得的車速和偏航率計算車輛的運動來追蹤夜間圖像中的光源的運動。也就是說，可對不運動的光源執(zhí)行補(bǔ)償，這是因為，如果知道車速和偏航率，則可以知道車輛的下一位置。利用車速和偏航率預(yù)測車輛的下一位置的技術(shù)是本領(lǐng)域公知的，因此將省略它的詳細(xì)描述。
[0083]下面更加詳細(xì)地描述利用光源的位置變化和車輛的運動修正夜間圖像的方法。
[0084]圖7至圖10是示出圖2的車載相機(jī)的圖像處理方法的示例性示圖。
[0085]如圖8所示，可基于從夜間圖像80中提取的光源的位置的變化而應(yīng)用使夜間圖像穩(wěn)定的圖像修正。也就是說，可基于光源的位置變化而補(bǔ)償與車輛的搖晃或車載相機(jī)的搖晃相應(yīng)的在夜間圖像中的誤差。
[0086]首先，如圖8所示，將在從車載相機(jī)接收到的夜間圖像中的運動的光源和不運動的光源分離。在圖8中，將在從車載相機(jī)接收到的第一幀夜間圖像80中的四個不運動的光源分類為第一目標(biāo)光源81。
[0087]不運動的光源可為街燈，鄰近車輛的光源可被分類為運動的光源。另外，反射器(例如，以特定間隔沿著隔離帶或?qū)к壊贾玫囊曈X指引反射器)可被分類為不運動的光源，因為它們不運動。
[0088]在識別光源的方法中，街燈的位置相對高，并且該街燈位于左側(cè)和右側(cè)。對應(yīng)區(qū)中的光源可被分類為街燈。像街燈一樣，可使用特定的識別方法將反射器分類。例如，可利用訓(xùn)練方法和SVM對光源分類。
[0089]在檢索到第一目標(biāo)光源81之后，搜索每一個第一目標(biāo)光源81的中心點?？蓪⒌谝晃恢?2(也就是說，每一個第一目標(biāo)光源81的中心點)指定為第一幀中的單個像素。為了方便起見，圖9示出了各自具有特定尺寸的第一位置82 (也就是說，第一目標(biāo)光源的中心點)。
[0090]在本實施方式中，作為利用目標(biāo)光源的中心點之間的比較的替代，因為目標(biāo)光源的尺寸根據(jù)位置有所不同，所以使用目標(biāo)光源的中心點的位置。通過圖像二值化，每一個目標(biāo)光源的中心點的計算可對應(yīng)于目標(biāo)光源的重心或?qū)?yīng)的區(qū)的中心的搜索。
[0091]然后，如圖10所示，圖像處理設(shè)備10顯示其中當(dāng)前幀(即，第一幀)的各個第一目標(biāo)光源81在第一時間期間暴露的區(qū)82。
[0092]然后，如圖10所示，圖像處理設(shè)備10從下一幀(B卩，第二幀)中提取光源，將屬于提取的光源的且不運動的第二目標(biāo)光源83分類，并顯示在比第一時間更短的第二時間期間暴露的第二區(qū)84。
[0093]然后，圖像處理設(shè)備10將其中光源在其中第一幀和第二幀重疊的夜間圖像或幀80中被暴露的第一位置82和對應(yīng)的第二位置84進(jìn)行比較，基于比較結(jié)果分析車輛的顛簸運動或車載相機(jī)的搖晃程度，以及基于分析結(jié)果對夜間圖像執(zhí)行穩(wěn)定化。圖像處理設(shè)備10可通過對第一位置82和第二位置84的豎直位置和其中第一目標(biāo)光源和第二目標(biāo)光源在幀80中重疊的部分執(zhí)行比較來計算上下振動的車輛的方向和程度。
[0094]當(dāng)利用車速和偏航率計算估計位置時，基于在通過以每單位時間(例如，I秒)除以幀數(shù)而獲得的時間期間車載相機(jī)的死點的時間點或與該時間點對應(yīng)的第一幀的大約死點，圖像處理設(shè)備10可基于車輛的偏航率不同地計算已從第一幀左側(cè)的第一位置運動的估計位置和已從第一幀右側(cè)的第一位置運動的估計位置，并且更具體地說，可計算車輛的顛簸運動的程度。
[0095]圖11是示出根據(jù)本發(fā)明的實施方式重疊的第一幀和第二幀的示圖。
[0096]從圖11中，可以看出，當(dāng)?shù)谝粠偷诙丿B時，在下側(cè)產(chǎn)生其中第一位置82和第二位置84重疊的部分?？赏ㄟ^確定是在上側(cè)還是下側(cè)上產(chǎn)生上述其中第一位置和第二位置重疊的部分來確定車輛的顛簸運動的方向。另外，可參照第一位置的長度確定顛簸運動的程度。
[0097]需要在考慮在第一時間期間可歸因于時間差的車輛的運動的情況下修正夜間圖像，這是因為，利用在第一時間過去之后產(chǎn)生的圖像幀分析車輛的運動。更具體地說，可計算當(dāng)前幀(即，第一幀)的第一目標(biāo)光源的第一位置在特定時間(例如，第一時間)之后將在下一幀(即，第二幀)中所處的估計位置?？衫密囕v的速度和偏航率計算估計位置。
[0098]根據(jù)本實施方式，可提供能夠有效地執(zhí)行通過車載相機(jī)獲得的夜間圖像的穩(wěn)定化的圖像處理方法和圖像處理設(shè)備。另外，利用上述圖像處理方法或圖像處理設(shè)備的車輛駕駛輔助系統(tǒng)的有益之處在于，其在測量與前車距離或者防止與前車的碰撞時可提高穩(wěn)定性和可靠性。
[0099]因此，根據(jù)本發(fā)明的實施方式的車載相機(jī)的圖像處理方法和使用該方法的圖像處理設(shè)備的有益之處在于，當(dāng)安裝在車輛上的駕駛輔助系統(tǒng)基于通過安裝在車輛前部的車載相機(jī)拍攝的夜間圖像估計與前車的距離時，所述圖像處理方法和使用該方法的圖像處理設(shè)備可防止可歸因于車輛的振動的通車車道的識別或距離精度的可靠性的降低。
[0100]如上所述，雖然已經(jīng)示出了本發(fā)明的特定實施方式，但是本發(fā)明不限于所述實施方式，在不脫離本發(fā)明的范圍和精神的情況下，本發(fā)明所屬領(lǐng)域的技術(shù)人員可按照各種方式改變、替代和修改本發(fā)明。應(yīng)該理解，這種改變、替代和修改屬于本發(fā)明的隨附權(quán)利要求的范圍。
【權(quán)利要求】
1.一種車載相機(jī)的圖像處理設(shè)備，該圖像處理設(shè)備包括: 光源提取單元，其被配置為從在第一時間期間暴露于光源的第一幀中提取光源，以及從在比所述第一時間更長的第二時間期間暴露于所述光源的第二幀中提取產(chǎn)生運動模糊的光源； 目標(biāo)光源分類單元，其被配置為將屬于所述第一幀的光源的并且不運動的第一目標(biāo)光源和屬于所述第二幀的光源的并且不運動的第二目標(biāo)光源分類；以及 運動確定單元，其被配置為估計作為所述第一目標(biāo)光源的中心點的第一位置和作為包括所述第二目標(biāo)光源的中心點的中心線的第二位置，將所述第一位置與所述第二位置進(jìn)行比較，以及確定車輛的顛簸運動是否已經(jīng)發(fā)生。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，所述圖像處理設(shè)備還包括:修正單元，其被配置為基于所述第一位置與所述第二位置之間的比較結(jié)果修正所述車載相機(jī)的圖像。
3.根據(jù)權(quán)利要求1或2所述的圖像處理設(shè)備，其中，不運動的光源包括街燈和視覺指弓I反射器中的至少一個。
4.根據(jù)權(quán)利要求1或2所述的圖像處理設(shè)備，其中，所述運動確定單元還被配置為將所述第一幀和所述第二幀重疊以及基于所述第一位置和所述第二位置重疊的位置確定所述車輛的所述顛簸運動的方向或程度。
5.根據(jù)權(quán)利要求1或2所述的圖像處理設(shè)備，其中，所述圖像處理設(shè)備的數(shù)字傳感器是滾動快門類型的CMOS傳感器。
6.一種車載相機(jī)的圖像處理方法，所述方法包括以下步驟: 從已由所述車載相機(jī)獲得的并且已在第一時間期間暴露于光源的第一幀中提取光源； 將屬于提取的光源的并且不運動的第一目標(biāo)光源分類； 計算作為所述第一目標(biāo)光源的中心點的第一位置； 從已由所述車載相機(jī)獲得的并且已在比所述第一時間更長的第二時間期間暴露于光源的第二幀中提取產(chǎn)生運動模糊的光源； 將屬于從所述第二幀中提取的光源的并且不運動的第二目標(biāo)光源分類； 計算作為包括所述第二目標(biāo)光源的中心點的中心線的第二位置； 將所述第一位置與所述第二位置進(jìn)行比較；以及 基于所述第一位置與所述第二位置之間的比較結(jié)果確定車輛的顛簸運動是否已經(jīng)發(fā)生。
7.根據(jù)權(quán)利要求6所述的圖像處理方法，所述方法還包括基于所述第一位置與所述第二位置之間的比較結(jié)果修正所述車載相機(jī)的圖像。
8.根據(jù)權(quán)利要求6或7所述的圖像處理方法，其中，將所述第一目標(biāo)光源分類或?qū)⑺龅诙繕?biāo)光源分類的步驟包括將在所述第一幀或所述第二幀的預(yù)定區(qū)中存在的光源分類為目標(biāo)光源。
9.根據(jù)權(quán)利要求6或7所述的圖像處理方法，其中，將所述第一目標(biāo)光源分類或?qū)⑺龅诙繕?biāo)光源分類的步驟包括根據(jù)利用支持向量機(jī)的訓(xùn)練方法將沿著道路布置的多個街燈或視覺指引反射器分類為目標(biāo)光源。
10.根據(jù)權(quán)利要求6或7所述的圖像處理方法，其中，計算所述第一位置或計算所述第二位置的步驟包括: 對所述第一幀或所述第二幀的圖像執(zhí)行二值化，以及 提取具有特定值的像素的重心的坐標(biāo)作為所述第一位置或所述第二位置。
11.根據(jù)權(quán)利要求6或7所述的圖像處理方法，其中，基于所述第一位置與所述第二位置之間的比較結(jié)果確定所述車輛的顛簸運動是否已經(jīng)發(fā)生的步驟包括: 將所述第一幀和所述第二幀重疊，以及 基于所述第一位置和所述第二位置重疊的位置確定所述車輛的所述顛簸運動的方向或程度。
12.根據(jù)權(quán)利要求6或7所述的圖像處理方法，其中，所述第二幀是屬于包括在圖像中的多個幀并且正好位于所述第一幀之后的幀。
13.根據(jù)權(quán)利要求7所述的圖像處理方法，其中，修正所述車載相機(jī)的圖像的步驟包括: 利用隨機(jī)樣本一致性RANSAC算法提取最佳修正方向和距離，以及 修正所述圖像。
【文檔編號】H04N5/235GK104427255SQ201410414783
【公開日】2015年3月18日 申請日期:2014年8月21日 優(yōu)先權(quán)日:2013年8月22日
【發(fā)明者】林濬澤 申請人:株式會社萬都