本公開一般地涉及成像系統(tǒng)，并且尤其涉及具有車道檢測能力的成像系統(tǒng)。

背景技術(shù)：

圖像傳感器通常在諸如蜂窩式電話、相機和計算機這樣的電子設(shè)備中使用以捕獲圖像。在典型的配置中，電子設(shè)備提供有以像素行和像素列排列的圖像像素陣列。圖像像素包含用于響應(yīng)圖像光生成電荷的光電二極管。電路系統(tǒng)通常耦合到每個像素列，用于讀出來自圖像像素的圖像信號。

圖像傳感器通常在車輛應(yīng)用(例如，汽車、飛機、船舶和其他應(yīng)用)中使用。在汽車應(yīng)用中，成像系統(tǒng)可以用來檢測公路上的車道標(biāo)志。例如，汽車成像系統(tǒng)中的圖像傳感器可以捕獲轎車正在行進(jìn)的公路的圖像幀。這些圖像的每個可以存儲在汽車成像系統(tǒng)中的一個或多個全幀緩沖器中并且被處理以確定公路上車道標(biāo)志的存在。然而，這種全幀緩沖器可能需要大量的存儲器，并且處理全圖像以確定車道標(biāo)志的存在可以在也可能不得不同時執(zhí)行一個或多個其他圖像處理任務(wù)的圖像處理電路系統(tǒng)上施加大的處理和功率負(fù)擔(dān)。

因此，提供具有改進(jìn)的車道檢測能力的系統(tǒng)和方法將是期望的。

技術(shù)實現(xiàn)要素：

根據(jù)本公開的一個方面，提供一種在車輛中執(zhí)行車道檢測的成像系統(tǒng)，其特征在于所述成像系統(tǒng)包括：圖像傳感器，其捕獲多個圖像，每個圖像包括圖像數(shù)據(jù)的行；處理電路系統(tǒng)，其當(dāng)圖像數(shù)據(jù)的行生成時從圖像數(shù)據(jù)的行中提取特征點；以及存儲器，其存儲所提取特征點的圖像元數(shù)據(jù)而不存儲所述多個圖像的未提取部分，其中所述處理電路系統(tǒng)基于所提取特征點來確定車道標(biāo)志的存在。

根據(jù)上述成像系統(tǒng)的一個單獨實施例，其特征在于所述多個圖像中的每個包括感興趣區(qū)域，其中所述處理電路系統(tǒng)從感興趣區(qū)域內(nèi)的圖像的部分中提取特征點，而不從感興趣區(qū)域外部的圖像的部分中提取特征點，其中在圖像平面中捕獲多個圖像，并且其中處理電路系統(tǒng)將從圖像平面中的圖像數(shù)據(jù)的行中提取的特征點的至少一些映射到地平面中的相應(yīng)位置。

根據(jù)上述成像系統(tǒng)的一個單獨實施例，其特征在于圖像元數(shù)據(jù)包括關(guān)于所提取特征點在多個圖像中的位置的信息，以及關(guān)于所提取特征點的顏色信息，并且存儲器通過將圖像元數(shù)據(jù)作為矢量存儲在存儲器中來存儲圖像元數(shù)據(jù)。

根據(jù)上述成像系統(tǒng)的一個單獨實施例，其特征在于處理電路系統(tǒng)確定來自多個不同圖像的第一組所提取特征點形成在多個不同圖像的每個中存在的連續(xù)特征，其中處理電路系統(tǒng)確定來自多個圖像的給定一個的第二組所提取特征點連接以形成線段，并且將第二組所提取特征點組合成連接特征，以及其中處理電路系統(tǒng)基于連續(xù)特征和連接特征確定車道標(biāo)志的存在。

根據(jù)本公開的另一個方面，提供一種用于執(zhí)行車道檢測而不使用幀緩沖器的車輛成像系統(tǒng)，其特征在于車輛成像系統(tǒng)包括：圖像傳感器，捕獲圖像幀，其中圖像傳感器包括以行和列排列、生成原始像素值的像素陣列；特征提取電路系統(tǒng)，當(dāng)圖像傳感器捕獲圖像幀時從圖像幀的原始像素值中提取特征；存儲器，存儲特征而不存儲原始圖像像素值；以及處理電路系統(tǒng)，基于存儲在存儲器中的所提取特征確定車道的位置。

根據(jù)上述車輛成像系統(tǒng)的一個單獨實施例，其特征在于特征的每個包括圖像元數(shù)據(jù)，圖像元數(shù)據(jù)包括圖像幀中特征的顏色、特征的大小以及特征的位置，其中圖像元數(shù)據(jù)作為矢量存儲在存儲器中，其中特征提取電路系統(tǒng)僅提取所捕獲圖像幀中預(yù)定的感興趣區(qū)域中的特征，其中處理電路系統(tǒng)將車道標(biāo)志的位置傳輸給駕駛控制電路系統(tǒng)，以及其中駕駛控制電路系統(tǒng)基于車道標(biāo)志的位置修改包含車輛成像系統(tǒng)和駕駛控制電路系統(tǒng)的車輛的操作。

根據(jù)上述車輛成像系統(tǒng)的一個單獨實施例，其特征在于處理電路系統(tǒng)檢測到來自多個不同圖像幀的第一多個所提取特征形成在多個不同圖像幀的每個中存在的時間連續(xù)特征，其中處理電路系統(tǒng)檢測到來自給定一個圖像幀的第二多個所提取特征形成圖像幀中的空間連接區(qū)域，其中處理電路系統(tǒng)將第二多個所提取特征組合以形成連接特征，以及其中處理電路系統(tǒng)基于連續(xù)特征和連接特征確定車道標(biāo)志的位置。

根據(jù)本公開的再一個方面，提供一種捕獲多個圖像幀并且處理多個圖像幀而不將多個圖像幀存儲在緩沖器中的車輛成像系統(tǒng)，其特征在于車輛成像系統(tǒng)包括：處理電路系統(tǒng)，識別多個圖像幀中指示車道標(biāo)志的存在的感興趣點，確定多個圖像幀中的感興趣點形成在每個圖像幀中存在的連續(xù)特征，確定給定一個圖像幀中的多個感興趣點空間連接以形成連接特征，以及基于連續(xù)特征和連接特征檢測圖像幀中的車道標(biāo)志；以及存儲器，存儲識別到的感興趣點而不存儲沒有指示車道標(biāo)志存在的多個圖像幀的部分。

根據(jù)上述車輛成像系統(tǒng)的一個單獨實施例，其特征在于每個圖像幀包括像素值，其中處理電路系統(tǒng)通過在圖像幀正在被捕獲時，執(zhí)行給定圖像幀中像素值的逐行線掃描識別感興趣點，并且其中基于像素值對應(yīng)的圖像幀中的位置以及與像素值相關(guān)聯(lián)的顏色識別感興趣點。

根據(jù)上述車輛成像系統(tǒng)的一個單獨實施例，其特征在于處理電路系統(tǒng)將連續(xù)特征映射到地平面，并且當(dāng)連續(xù)特征映射到地平面時在連續(xù)特征上執(zhí)行模型擬合，其中處理電路系統(tǒng)將連接特征映射到地平面，并且當(dāng)連接特征映射到地平面時在連接特征上執(zhí)行模型擬合。

附圖說明

圖1是根據(jù)本發(fā)明的實施例，具有使用像素陣列捕獲圖像的圖像傳感器和處理電路系統(tǒng)的例示性電子設(shè)備的圖。

圖2是根據(jù)本發(fā)明的實施例，具有成像系統(tǒng)和車輛成像系統(tǒng)處理電路系統(tǒng)的例示性車輛的圖。

圖3a是根據(jù)本發(fā)明的實施例，由諸如圖1和2中所示的這樣的成像系統(tǒng)捕獲的例示性圖像幀的圖像平面視圖。

圖3b是根據(jù)本發(fā)明的實施例，諸如圖3中所示的這樣的例示性圖像幀的地平面視圖。

圖4是根據(jù)本發(fā)明的實施例，可以在基于所捕獲的圖像幀確定車道標(biāo)志的存在時執(zhí)行的例示性步驟的流程圖。

圖5a是根據(jù)本發(fā)明的實施例，可以在從所捕獲的圖像幀中提取特征時執(zhí)行的例示性步驟的流程圖。

圖5b是根據(jù)本發(fā)明的實施例，可以在進(jìn)行車道標(biāo)志存在的第一確定時執(zhí)行的例示性步驟的流程圖。

圖5c是根據(jù)本發(fā)明的實施例，可以在進(jìn)行車道標(biāo)志存在的第二確定時執(zhí)行的例示性步驟的流程圖。

具體實施方式

具有數(shù)字相機模塊的成像系統(tǒng)在諸如數(shù)字相機、計算機、蜂窩式電話這樣的電子設(shè)備以及其他電子設(shè)備中廣泛地使用。數(shù)字相機模塊可以包括收集進(jìn)入的光以捕獲圖像的一個或多個圖像傳感器。

在一些情況下，成像系統(tǒng)可以形成諸如監(jiān)控系統(tǒng)、車輛(例如，汽車、公共汽車、卡車、摩托車或者任何其他車輛)的安全系統(tǒng)和/或駕駛員幫助系統(tǒng)(有時在這里稱作高級駕駛員輔助系統(tǒng)或者adas)這樣的更大系統(tǒng)的一部分。在駕駛員輔助系統(tǒng)中，由成像系統(tǒng)捕獲的圖像可以用來確定車輛周圍的環(huán)境條件。作為示例，車輛安全系統(tǒng)可以包括諸如停車輔助系統(tǒng)、自動或者半自動巡航控制系統(tǒng)、自動制動系統(tǒng)、碰撞避免系統(tǒng)、車道檢測或者車道標(biāo)志檢測系統(tǒng)、車道保持系統(tǒng)(有時稱作車道漂移避免系統(tǒng))、行人檢測和/或避免系統(tǒng)、駕駛員行為分析系統(tǒng)等這樣的系統(tǒng)。在這些場景中，由成像系統(tǒng)捕獲的圖像數(shù)據(jù)可以由駕駛員輔助系統(tǒng)使用，用于執(zhí)行自動功能(例如，與汽車的機械操作相關(guān)聯(lián)的功能，該功能可以與確保汽車的安全和/或汽車附近的對象的安全相關(guān)聯(lián)或者不相關(guān)聯(lián))。在至少一些實例中，成像系統(tǒng)可以形成半自主或者自主自駕車輛的車輛安全系統(tǒng)和/或駕駛員幫助系統(tǒng)的部件。

車輛安全系統(tǒng)可以包括計算裝備(例如，在具有易失性和/或非易失性存儲器以及諸如中央處理系統(tǒng)或者其他處理裝備這樣的處理器的存儲和處理電路系統(tǒng)上實現(xiàn))以及將由計算裝備生成的指令翻譯成與駕駛車輛相關(guān)聯(lián)的機械操作的相應(yīng)駕駛控制裝備(有時在這里稱作駕駛控制電路系統(tǒng))。例如，駕駛控制裝備可以響應(yīng)由駕駛員幫助系統(tǒng)生成的控制信號驅(qū)動與車輛相關(guān)聯(lián)的機械系統(tǒng)。車輛安全系統(tǒng)可以處理圖像數(shù)據(jù)以生成控制信號，使得控制信號用來指示駕駛控制裝備執(zhí)行與駕駛車輛相關(guān)聯(lián)的期望的機械操作。例如，駕駛控制系統(tǒng)可以調(diào)整車輛的方向盤，使得車輛向期望的方向轉(zhuǎn)彎(例如，用于執(zhí)行車輛由車輛安全系統(tǒng)引導(dǎo)至停車點中的停車輔助功能，用于執(zhí)行自動地調(diào)整方向盤以維持車輛的航向在公路車道標(biāo)志之間的車道輔助功能)，可以控制車輛的發(fā)動機(馬達(dá))，使得車輛具有一定速度或者使得車輛以期望的發(fā)動機功率向前或者向后移動(例如，駕駛控制系統(tǒng)可以調(diào)整車輛的節(jié)流閥，使得車輛相對于車輛前方的另一個車輛維持期望的距離等)，可以調(diào)整與車輛相關(guān)聯(lián)的制動系統(tǒng)(例如，可以驅(qū)動停車制動、防抱死制動等)，或者可以執(zhí)行與車輛的移動相關(guān)聯(lián)的任何其他機械操作。車輛安全系統(tǒng)可以執(zhí)行檢測車輛側(cè)方、前方和/或后方的對象的危險檢測操作，其向駕駛員警告危險(例如，經(jīng)由警報或者顯示)和/或自動地調(diào)整車輛的移動(例如，通過控制駕駛系統(tǒng))來避免檢測到的危險或者對象。由車輛安全系統(tǒng)執(zhí)行用于(例如，通過控制駕駛控制系統(tǒng))維持車輛安全的功能有時在這里可以稱作車輛安全操作、車輛安全功能和/或駕駛員輔助功能。

駕駛員輔助系統(tǒng)可以包括一個或多個處理器，處理器主要或者完整地專用于連同駕駛員幫助系統(tǒng)執(zhí)行處理操作。例如，高級駕駛員輔助系統(tǒng)可以包括一個或多個專用高級駕駛員輔助系統(tǒng)處理器(adas處理器)，用于處理由車輛安全系統(tǒng)中的圖像傳感器捕獲的圖像和/或控制接收來自車輛安全系統(tǒng)的控制信號的駕駛控制裝備。

專用adas處理器可能需要在來自形成車輛的駕駛員幫助系統(tǒng)的多個不同相機的多個不同圖像(或者圖像流)上執(zhí)行許多不同的圖像處理操作。例如，adas處理器可能需要運行各種不同的計算機視覺算法，諸如對象檢測、行人檢測、碰撞避免、圖像拼接以及車道檢測和保持操作。這些操作的一些或者全部可能需要全幀緩沖和圖像處理，這可以需要大量的處理能力并且向?qū)Ｓ胊das處理器施加計算負(fù)擔(dān)。通常，同時運行多個全幀機器視覺算法可以是具有挑戰(zhàn)性的。

通過將低級至中級的計算機視覺任務(wù)(例如，可以以相對低的處理能力實現(xiàn)的圖像處理操作)重新分布到其他處理組件(例如，專用于給定圖像傳感器或者特定機器視覺操作或算法的傳感器上處理電路系統(tǒng)或者離散處理電路系統(tǒng))，可以減輕否則將施加于專用adas處理器上的處理負(fù)擔(dān)中的一些。例如，不需要全幀緩沖器和相應(yīng)車道檢測電路系統(tǒng)的改進(jìn)的車道檢測算法可以用來減少專用adas處理器上的總體處理負(fù)擔(dān)。

諸如在車輛安全系統(tǒng)的成像系統(tǒng)中實現(xiàn)的這樣的圖像傳感器可以包括一個或多個圖像像素陣列。陣列中的像素可以包括將進(jìn)入的光轉(zhuǎn)換成電荷的諸如光電二極管這樣的光敏元件。像素陣列可以具有任何數(shù)量的像素(例如，數(shù)百或者數(shù)千或者更多)。典型的圖像傳感器可以例如具有數(shù)百、數(shù)千或者數(shù)百萬的像素(例如，兆像素)。如果期望的話，每個像素可以具有在那個像素上形成的相關(guān)聯(lián)的微透鏡(以及濾色元件)。圖像傳感器可以包括控制電路系統(tǒng)，諸如用于操作圖像像素的電路系統(tǒng)以及用于讀出與由光敏元件生成的電荷相對應(yīng)的圖像信號的讀出電路系統(tǒng)。

圖1是諸如使用圖像傳感器捕獲圖像的電子設(shè)備這樣的例示性成像系統(tǒng)的圖。圖1的電子設(shè)備10可以是便攜式電子設(shè)備，諸如相機、蜂窩式電話、平板計算機、網(wǎng)絡(luò)攝像頭、攝像機、視頻監(jiān)控系統(tǒng)、汽車成像系統(tǒng)、具有成像能力的視頻游戲系統(tǒng)或者捕獲數(shù)字圖像數(shù)據(jù)的任何其他期望成像系統(tǒng)或者設(shè)備。相機模塊12可以用來將進(jìn)入的光轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)。相機12可以包括一個或多個透鏡14以及一個或多個相應(yīng)的圖像傳感器16。透鏡14可以包括固定和/或可調(diào)節(jié)透鏡，并且可以包括在圖像傳感器16的成像表面上形成的微透鏡。在圖像捕獲操作期間，來自場景的光可以由透鏡14聚焦到圖像傳感器16上。圖像傳感器16可以包括用于將模擬像素數(shù)據(jù)轉(zhuǎn)換成將要提供給存儲和處理電路系統(tǒng)18的相應(yīng)數(shù)字圖像數(shù)據(jù)的電路系統(tǒng)。如果期望的話，相機模塊12可以提供有透鏡14的陣列以及相應(yīng)圖像傳感器16的陣列。

如果期望的話，圖1中所示類型的成像系統(tǒng)10可以是專用車道檢測系統(tǒng)，它使用圖像傳感器16捕獲圖像并且使用存儲和處理電路系統(tǒng)18使用車道檢測算法(例如，無緩沖車道檢測算法)執(zhí)行車道檢測操作。如果期望的話，這種成像系統(tǒng)10可以將車道檢測信號傳輸?shù)街鱝das處理器(例如，用于進(jìn)一步的處理或者用于路由到駕駛控制電路系統(tǒng))。然而，這僅是例示性的。通常，成像系統(tǒng)10可以捕獲圖像并且連同任何適當(dāng)?shù)能囕v安全或者駕駛員幫助操作處理圖像。

諸如汽車這樣的車輛22的例示性示例在圖2中示出。如圖2的例示性示例中所示，汽車22可以包括一個或多個成像系統(tǒng)10。成像系統(tǒng)10可以是具有專用圖像捕獲和/或圖像處理功能的成像系統(tǒng)(例如，車道檢測成像系統(tǒng))。如果期望的話，成像系統(tǒng)10可以執(zhí)行與給定駕駛員幫助操作相關(guān)聯(lián)的圖像處理功能的一些或者全部。諸如處理器20這樣的專用駕駛員幫助處理器可以接收來自成像系統(tǒng)10的信號，信號需要很少或者不需要由駕駛員幫助處理器20進(jìn)行進(jìn)一步的處理并且可以由處理器20使用以執(zhí)行駕駛控制操作。這樣，專用成像系統(tǒng)10可以減少adas處理器20上的計算負(fù)擔(dān)。

在另一個適當(dāng)?shù)氖纠?，成像系統(tǒng)10可以執(zhí)行與給定駕駛員幫助功能相關(guān)聯(lián)的圖像處理操作的僅一些或者不執(zhí)行這種圖像處理操作。例如，成像系統(tǒng)10可以僅捕獲車輛22周圍的環(huán)境的圖像并且將圖像數(shù)據(jù)傳輸?shù)絘das處理器20用于進(jìn)一步處理。這種配置可以用于車輛安全系統(tǒng)功能，其需要大量的處理能力和存儲器(例如，所捕獲圖像的全幀緩沖和處理)。如果期望的話，由成像系統(tǒng)10捕獲的圖像的處理可以在處理電路系統(tǒng)18與adas處理器20之間分割。然而，前述示例僅是例示性的。通常，所捕獲圖像的處理可以針對任何期望的駕駛員幫助操作以任何期望的配置在成像系統(tǒng)10與專用駕駛員幫助處理器20之間分割。

在圖2的例示性示例中，第一成像系統(tǒng)10示出安裝在轎車22的前面，并且第二成像系統(tǒng)10示出安裝在轎車22的內(nèi)部。如果期望的話，成像系統(tǒng)10可以安裝在車輛22的后端(亦即，與第一成像系統(tǒng)10在圖2中安裝的位置相對的車輛的后面)。然而，這僅是例示性的。一個或多個成像系統(tǒng)10可以安裝在車輛22上或者車輛22內(nèi)部任何適當(dāng)?shù)奈恢谩?/p>

由成像系統(tǒng)10捕獲的例示性圖像幀30的圖像平面視圖在圖3a中示出。如圖3a中所示，在圖像平面中觀看的圖像幀30可以代表如從捕獲圖像的圖像傳感器16中的像素陣列的視角觀看的場景。因為圖像平面中的圖像幀從這個視角觀看，透視變形可能在圖像中存在。例如，車道標(biāo)志26和28在圖3a中好像匯聚，雖然實際上，車道標(biāo)志26和28在長達(dá)轎車22正在行進(jìn)的公路的長度上彼此平行前行。

圖像幀30可以包括感興趣區(qū)域24。在圖3a的例示性示例中，第一和第二(亦即，左側(cè)和右側(cè))各自的感興趣區(qū)域24-1和24-2由覆蓋到圖像幀30上的虛線示出。感興趣區(qū)域24-1可以代表當(dāng)車輛22沿著公路行進(jìn)時車輛22的左手側(cè)上的車道標(biāo)志26期望存在的車輛22前方的區(qū)域。感興趣區(qū)域24-2可以代表當(dāng)車輛22沿著公路行進(jìn)時車輛22的右手側(cè)上的車道標(biāo)志28期望存在的車輛22前方的區(qū)域。雖然如圖3a中所示圖像傳感器16可以捕獲完整的圖像幀，但是圖像幀的車道檢測處理可以僅對于位于第一感興趣區(qū)域24-1和第二感興趣區(qū)域24-2內(nèi)的圖像的部分而發(fā)生。僅在所捕獲圖像的一部分上執(zhí)行車道檢測處理操作可以比執(zhí)行全幀車道檢測處理操作需要少的處理能力并且可以減少算法復(fù)雜度。

由成像系統(tǒng)10捕獲的例示性圖像幀30的地平面視圖在圖3b中示出。如圖3b中所示，在地平面中觀看的圖像幀30可以形成場景的鳥瞰視角。例如，由圖像傳感器16捕獲的圖像幀(亦即，圖像平面中的圖像幀)可以被處理并且投影到地平面上以生成如圖3b中所示的地平面圖像。如果期望的話，僅從圖像平面中的圖像中提取的特征可以映射到地平面。通過提取圖像平面中的特征點并且僅將所提取的特征點投影到地平面中，可以減少執(zhí)行映射所必需的處理和計算功率(例如，與將整個圖像從圖像平面映射到地平面相比較)。因為地平面中的特征點從頂部向下觀看，所以可以完全或者基本上消除在圖像的圖像平面視圖中存在的透視變形。例如，圖3b示出車道標(biāo)志26和28基本上彼此平行延伸。

在一個適當(dāng)?shù)氖纠校梢曰趫D像幀30的地平面視圖確定感興趣區(qū)域24-1和24-2。因為地平面中的對象可以以絕對單位(例如，米、毫米、英尺、英寸等)測量，所以感興趣區(qū)域可以定義為汽車22前面(或者后面或者任一側(cè)上)地平面中的預(yù)定的大小和形狀。例如，如在地平面中測量的，感興趣區(qū)域24-1和24-2可以定義為轎車22前方大約10米長并且6米寬的區(qū)域。在地平面中定義感興趣區(qū)域24-1和24-2之后，感興趣區(qū)域可以投影回到圖像平面中，使得當(dāng)它們出現(xiàn)在圖像平面中時感興趣區(qū)域可以定義所捕獲圖像幀30的面積。在地平面中確定的感興趣區(qū)域可以基于允許處理電路系統(tǒng)確定與地平面中給定位置相對應(yīng)的圖像平面中的位置的已知的相機校準(zhǔn)值和設(shè)置投影回到圖像平面中。

使用全圖像幀執(zhí)行車道檢測操作可以是計算密集性的，并且向車輛22中的處理電路系統(tǒng)(例如，adas處理器20)施加增加的負(fù)擔(dān)，以及需要更多的傳感器上存儲器，這增加芯片成本。尤其，全幀車道檢測算法需要當(dāng)處理先前捕獲的圖像幀時，在圖像幀由圖像傳感器捕獲時存儲圖像幀的緩沖器。當(dāng)這些全幀車道檢測算法的緩沖和處理需求與其他駕駛員幫助系統(tǒng)算法(例如，行人檢測、碰撞避免等)的緩沖和處理需求組合在一起時，車輛系統(tǒng)上的處理和緩沖負(fù)擔(dān)能夠非常高。

為了減少執(zhí)行車道檢測的計算負(fù)擔(dān)，可以使用無緩沖車道檢測算法?！盁o緩沖車道檢測算法”可以不依賴于全幀數(shù)據(jù)(或者全圖像)進(jìn)行車道檢測。當(dāng)圖像被捕獲并且圖像數(shù)據(jù)由圖像傳感器生成時，通過使用流傳輸數(shù)據(jù)實現(xiàn)檢測(亦即，幀數(shù)據(jù)逐行地流傳輸)?？梢愿鶕?jù)無緩沖車道檢測算法執(zhí)行的例示性步驟的流程圖在圖4中示出。

在步驟402，可以使用作為車輛22中的車輛成像系統(tǒng)的部件的諸如圖像傳感器16這樣的圖像傳感器捕獲圍繞車輛22的環(huán)境的一個或多個圖像。如下面所描述的，特征提取可以在圖像捕獲期間(亦即，同時、與其同時)發(fā)生。當(dāng)捕獲圖像數(shù)據(jù)的行時，可以從圖像數(shù)據(jù)的個體行中提取特征。當(dāng)圖像捕獲完成時，特征點的提取也可以完成。所捕獲的圖像可以向下游發(fā)送，用于由車輛20中的其他系統(tǒng)進(jìn)一步處理，但是不本地地存儲在圖像傳感器芯片上。僅所提取的特征在本地存儲用于進(jìn)一步處理。如果期望的話，圖像傳感器16可以以規(guī)則的間隔捕獲圖像幀，諸如每秒1幀(fps)、2fps、5fps、10fps、20fps、40fps、60fps或者任何其他適當(dāng)?shù)膸俾省Ｔ诓襟E402處捕獲的每個幀可以是圖像平面中的圖像幀(例如，如連同圖3a所示并且所描述的)。然而，這僅是例示性的。如果期望的話，可以針對一個圖像幀確定感興趣區(qū)域24并且應(yīng)用于一個或多個隨后的圖像幀，而不將隨后的圖像幀映射到地平面和/或針對每個幀確定離散的感興趣區(qū)域。

在步驟404，可以提取在步驟402中由圖像傳感器16捕獲的圖像幀中的特征(有時在這里稱作特征點、感興趣點或者車道標(biāo)志指示)。特征提取可以包括處理一行像素(不是整個圖像)。如連同步驟402所描述的，圖像數(shù)據(jù)逐行捕獲，并且流傳輸?shù)教幚黼娐废到y(tǒng)18。例如，由圖像傳感器16捕獲的每個圖像幀30可以包括具有與在圖像傳感器12中像素陣列中以行和列排列的像素相對應(yīng)的像素值的圖像數(shù)據(jù)。成像系統(tǒng)10中的特征提取電路系統(tǒng)(例如，處理電路系統(tǒng)18)可以在特征提取操作期間一次處理進(jìn)入的一行像素數(shù)據(jù)(例如，串行地處理來自幀中每行的數(shù)據(jù))。在一個適當(dāng)?shù)氖纠?，可以在特征提取操作期間僅處理在感興趣區(qū)域24-1和24-2中的圖像30的部分的像素值(因為圖像的這些部分已經(jīng)預(yù)先選擇為最有可能包括車道標(biāo)志的區(qū)域)。每當(dāng)給定行的像素值可用時(亦即，在已經(jīng)生成給定行的像素數(shù)據(jù)之后)，圖像幀30的處理可以包括執(zhí)行感興趣區(qū)域24-1和24-2中幀30的部分的逐行分析(亦即，與在像素陣列的給定行中形成的像素相對應(yīng)的像素值的分析)。這樣，特征提取可以在已經(jīng)捕獲整個圖像之前開始。該處理可以搜索作為車道標(biāo)志特性的像素值。例如，特征提取可以基于圖像平面中特征的位置、像素中特征的寬度以及特征的顏色(例如，如基于像素值而確定)確定特征在幀中存在。

一旦已經(jīng)識別到圖像幀中的特征，處理電路系統(tǒng)可以不處理除了特征之外的、與幀相關(guān)聯(lián)的所有其他圖像數(shù)據(jù)(例如，可以忽略圖像的未提取部分)。然后可以將與特征相關(guān)聯(lián)的像素值轉(zhuǎn)換成圖像元數(shù)據(jù)(例如，與像素值相關(guān)聯(lián)的行、列和/或顏色等)。然后代表所提取特征的這些元數(shù)據(jù)可以存儲在矢量中。這樣，僅存儲并且處理與特征相關(guān)的信息(亦即，指示車道標(biāo)志存在的圖像數(shù)據(jù))，消除對于緩沖器的需求并且啟用無緩沖車道檢測算法。

在步驟406，可以進(jìn)行車道標(biāo)志位置(亦即，車道標(biāo)志存在)的初始(第一)估計。在該初始估計期間，可以分析來自多個圖像幀的特征點以確定相似的特征點在每個圖像幀中存在。例如，處理電路系統(tǒng)18可以比較來自兩個、三個、四個、五個、十個、多于十個或者任何其他適當(dāng)數(shù)量的幀的特征以檢測在不同時間捕獲的幀中特征之間的連續(xù)性。特征之間的時間連續(xù)性可以包括檢測在所比較的幀中存在的特征實際上形成一個連續(xù)特征(例如，在幾個幀的過程中捕獲)。當(dāng)檢測到不同幀的特征之間的時間連續(xù)性時，特征可以組合(有時在這里稱作時間融合)成時間連續(xù)特征。來自不同圖像幀的特征的該時間融合可以通過提供由圖像傳感器捕獲的車道標(biāo)志的短“歷史”而提高車道標(biāo)志可檢測性，同時仍然需要相對少的存儲器。

在步驟408，可以進(jìn)行車道標(biāo)志位置(亦即，車道標(biāo)志存在)的精細(xì)(第二)估計。在該精細(xì)估計期間，可以檢查來自單個給定圖像幀的多個特征點，以檢查空間連接性(亦即，可以執(zhí)行圖像平面中特征點的連接性檢查)。在連接性檢查期間，可以檢查來自給定圖像的多個特征點以確定特征點是否連接以形成與線段(例如，可以與車道標(biāo)志相對應(yīng)的線段)相似的對象。在一個適當(dāng)?shù)呐渲弥?，連接性檢查可以確定給定幀中的多個特征對應(yīng)于圖像幀的相鄰部分。在另一個適當(dāng)?shù)氖纠?，連接性檢查可以確定特征對應(yīng)于由在像素陣列的給定行或列中彼此直接相鄰的像素所生成的像素值。空間連接性檢查也可以校正在圖像平面中存在的透視變形。當(dāng)給定圖像中的多個特征點在空間上連接時，特征可以組合成連接特征。連接特征可以指示給定幀中的車道標(biāo)志。通常，時間融合提供相對強健的車道標(biāo)志檢測，但是沒有空間連接性檢查準(zhǔn)確。空間連接性檢查提供相對準(zhǔn)確的車道標(biāo)志檢測，但是沒有時間融合強健。

在步驟410，可以基于初始和精細(xì)估計確定車道標(biāo)志的存在。例如，處理電路系統(tǒng)18可以使用初始和精細(xì)估計來確定哪些特征點對應(yīng)于車道標(biāo)志并且哪些不對應(yīng)。關(guān)于檢測到的車道標(biāo)志的信息可以直接發(fā)送給駕駛控制電路系統(tǒng)，或者可以發(fā)送給adas處理器20用于進(jìn)一步處理或者路由至車輛22中的其他適當(dāng)?shù)碾娐废到y(tǒng)。

可以根據(jù)從所捕獲圖像幀中提取特征(例如，圖4的步驟404期間)執(zhí)行的例示性步驟的流程圖在圖5a中示出。

在步驟4042，可以確定所捕獲圖像幀中的感興趣區(qū)域。如上面連同圖3a和3b所描述的，可以預(yù)先定義地平面中的感興趣區(qū)域(roi)。roi從地平面到圖像平面的映射取決于已知的相機校準(zhǔn)值(亦即，相機取向和透鏡特性)。這樣，可以確定為了特征提取將要分析的所捕獲圖像中圖像數(shù)據(jù)的像素(以及相關(guān)聯(lián)的像素值)。

如果期望的話，可以對于給定的一個或多個圖像幀確定一個或多個感興趣區(qū)域。例如，第一感興趣區(qū)域24-1可以針對可能存在車道標(biāo)志的圖像幀的第一部分(例如，汽車的左前)而確定，并且第二感興趣區(qū)域24-2可以針對可能存在車道標(biāo)志的圖像幀的第二部分(例如，汽車的右前)而確定。然而，這僅是例示性的。通常，可以針對一個或多個圖像幀確定并且使用任何適當(dāng)數(shù)量的感興趣區(qū)域。

在步驟4044，可以掃描位于在步驟4042確定的感興趣區(qū)域內(nèi)的圖像幀的部分以提取特征，或者具有可以指示車道標(biāo)志的特性的圖像的部分。可以針對與感興趣區(qū)域中的圖像幀的部分相對應(yīng)的像素值以逐行為基礎(chǔ)執(zhí)行掃描處理。掃描處理可以類似于光柵(raster)掃描，并且可以僅需要一行像素值作為輸入。特征可以識別為與圖像傳感器中的單個像素相對應(yīng)的單個像素值，或者可以識別為與圖像傳感器中的兩個或多個像素相對應(yīng)的像素值的若干組。這些像素可以在圖像傳感器中為相鄰像素。特征可以基于三個分量而識別(提取)：圖像平面中特征的開始點、像素中特征的寬度以及特征的顏色。如果期望的話，顏色分量可以登記為四個值中僅一個：白色、黃色、灰色或者無效(亦即，所有其他顏色)。顏色分量可以使用兩位進(jìn)行編碼。

一旦已經(jīng)識別到特征，它可以作為矢量存儲(有時在這里稱作特征矢量)，而不是存儲實際的圖像數(shù)據(jù)和/或原始像素值。在一種適當(dāng)?shù)呐渲弥?，矢量可以包括與特征相關(guān)聯(lián)的(一或多個)行和(一或多個)列(亦即，像素坐標(biāo))的信息(數(shù)值表示)以及顏色。一旦特征已經(jīng)翻譯成矢量，所有其他圖像數(shù)據(jù)(例如，與特征相關(guān)聯(lián)的原始圖像數(shù)據(jù)和/或與不對應(yīng)特征的圖像的未提取部分相關(guān)聯(lián)的圖像數(shù)據(jù))可以從進(jìn)一步的處理中排除(亦即，忽略、忽視和/或不存儲在矢量或者其他存儲器中)。這樣，在車道標(biāo)志檢測操作期間不需要緩沖器存儲圖像數(shù)據(jù)，并且可以使用無緩沖算法來處理所提取的特征，并且具有比需要全幀緩沖的車道檢測算法少的處理能力和計算負(fù)擔(dān)。

通常，可以使用簡單的邏輯來確定圖像的一部分不對應(yīng)于特征(有時在這里稱作雜波抑制)。例如，太寬、太長、不是正確的顏色等的圖像的部分可以識別為不對應(yīng)于車道標(biāo)志并且被忽略。

在步驟4046，可以比較從多個不同幀中提取的特征以確定在不同時間捕獲的特征之間的連續(xù)性(亦即，從不同圖像中提取的特征之間的時間連續(xù)性)。如果期望的話，可以分析來自兩個、三個、四個、五個、十個或者多于十個或者任何其他適當(dāng)數(shù)量(相繼捕獲的)圖像幀的特征以確定從多個不同圖像幀中提取的特征是否構(gòu)成跨越多個不同圖像幀而存在(亦即，跨越多個不同圖像幀而延伸)的連續(xù)特征。這樣，可以生成車道標(biāo)志的短歷史，而不需要大量的存儲器和處理能力。多個不同圖像幀中的連續(xù)特征可以經(jīng)歷“時間融合”，它將特征組合成時間融合的特征。通過將時間連續(xù)特征組合成組合的時間特征，車道標(biāo)志可以在初始確定階段更可檢測。

可以在初始車道標(biāo)志位置估計操作期間(例如，圖4的步驟406期間)執(zhí)行的例示性步驟的流程圖在圖5b中示出。

在步驟4062，可以對連續(xù)時間特征(例如，來自圖5a的步驟4046)執(zhí)行模型擬合。在模型擬合期間，可以使用逆透視映射將連續(xù)時間特征投影到地平面，逆透視映射可以將連續(xù)特征從圖像平面映射到地平面。執(zhí)行逆透視映射可以去除當(dāng)在平面圖像中觀看時與連續(xù)特征相關(guān)聯(lián)的透視變形，并且簡化連續(xù)特征的模型擬合。

可以對連續(xù)特征使用模擬擬合以提供連續(xù)特征實際上是否形成直線和/或曲線(亦即，代表車道標(biāo)志)的初始確定。模型擬合可以基于hough變換的概念或者它的變體，但是可以實現(xiàn)高效的實現(xiàn)方式而不使用累加器陣列存儲參數(shù)空間中的表決得分并且不計算三角函數(shù)，(如由標(biāo)準(zhǔn)hough變換所必需的)。

在步驟4064，可以使用分類器(這可以是第一分類器；有時在這里稱作決策樹或者一組決策樹)進(jìn)行關(guān)于所提取的特征是否對應(yīng)于車道標(biāo)志的初始決策。例如，車道標(biāo)志檢測邏輯可以使用在步驟4062執(zhí)行的模型擬合的結(jié)果，進(jìn)行時間連續(xù)特征確實對應(yīng)于車道標(biāo)志的初始確定(例如，模型擬合可以指示連續(xù)特征對應(yīng)于具有車道標(biāo)志的質(zhì)量特性的直線)。作為替代，車道標(biāo)志檢測邏輯可以使用步驟4062的模型擬合的結(jié)果，進(jìn)行時間連續(xù)特征不對應(yīng)于車道標(biāo)志的初始確定(例如，模型擬合可以指示連續(xù)特征不對應(yīng)于具有車道標(biāo)志的質(zhì)量特性的形狀)。當(dāng)執(zhí)行進(jìn)一步的特征處理時，車道標(biāo)志存在的該初始確定可以存儲在成像系統(tǒng)10中的存儲器中。

可以在精細(xì)車道標(biāo)志位置估計操作期間(例如，圖4的步驟408期間)執(zhí)行的例示性步驟的流程圖在圖5c中示出。

在步驟4082，可以執(zhí)行給定幀的單和/或雙車道標(biāo)志的檢測。例如，可以分析在圖5a的步驟4044提取的特征以確定特征是否對應(yīng)于單車道標(biāo)記(亦即，一個分段或者連續(xù)的直線)還是雙車道標(biāo)記(亦即，兩個分段和/或連續(xù)的、基本上平行的直線)。在一個適當(dāng)?shù)氖纠校卣骺梢苑治鰹槭噶刻卣?如上面連同圖5a的步驟4044所描述的)以確定特征對應(yīng)于單車道標(biāo)志配置還是雙車道標(biāo)志配置。然而，這僅是例示性的。通常，可以以任何適當(dāng)?shù)姆绞椒治鎏卣饕源_定所提取的特征對應(yīng)于單車道標(biāo)志還是雙車道標(biāo)志。

在步驟4084，可以使用連接性檢查算法分析從圖像幀(例如，多個所捕獲的圖像幀中的單個圖像幀)中提取的多個特征，以確定特征之間的空間連接性。如果期望的話，可以在最近捕獲的圖像幀上實時地(亦即，當(dāng)圖像幀被捕獲時)執(zhí)行連接性檢查算法。連接性檢查算法確定幀中特征之間的線段連接性(亦即，分析特征以確定給定幀中的多個特征是否形成“線段”狀的對象)。確定特征的空間連接性可以包括考慮在圖像平面中存在的圖像幀的部分的透視變形。這樣，與僅考慮像素連接性(其中透視變形可以導(dǎo)致錯誤的車道標(biāo)志確定)相比較，連接性檢查算法的線段連接性的確定可以提供車道標(biāo)志存在的更準(zhǔn)確的確定。在一種適當(dāng)?shù)呐渲弥校B接性確定算法可以比較特征分量(例如，大小、顏色等)與作為車道標(biāo)志特性的預(yù)定的特征分量，并且確定連接分量是否對應(yīng)于車道標(biāo)志。在另一個適當(dāng)?shù)氖纠校B接性確定算法可以通過分析特征對應(yīng)的圖像幀中的位置并且確定特征代表圖像幀的直接相鄰或者連續(xù)連接的部分，來確定特征是被連接的。

在步驟4086，可以在如步驟4084中確定的示范連接性的特征或者特征的集群上執(zhí)行清理操作。可以在清理操作期間在示范連接性的特征上執(zhí)行許多形態(tài)學(xué)操作。例如，連接分量可以經(jīng)歷分支修剪操作和/或間隙鏈接操作。在清理操作之后，僅選擇屬于圖像幀中大的、連接分量的那些特征點。這些特征可以稱作連接特征。連接特征可以包括給定圖像幀內(nèi)的多個特征點，它們組合以形成連接特征。

在步驟4088，可以對連接特征(例如，來自圖5c的步驟4086)執(zhí)行模型擬合。通常，連接特征的模型擬合可以與連同如上面連同圖5b的步驟4062描述的時間連續(xù)特征而執(zhí)行的模型擬合相類似。然而，如果期望的話，可以使用與在對時間連接特征進(jìn)行模型擬合時使用的不同的算法執(zhí)行步驟4088的模型擬合，以考慮連接特征的空間連接性。在一種適當(dāng)?shù)呐渲弥?，連接特征的模型擬合在緊參數(shù)界限內(nèi)執(zhí)行(例如，與連續(xù)特征的模型擬合相比較)，以提高效率并且減少復(fù)雜度。

在步驟4090，可以使用分類器(這可以是第二分類器)進(jìn)行關(guān)于所提取的特征是否對應(yīng)于車道標(biāo)志的精細(xì)決策。例如，車道標(biāo)志檢測邏輯可以使用在步驟4088執(zhí)行的模型擬合的結(jié)果，進(jìn)行連接特征確實對應(yīng)于車道標(biāo)志的精細(xì)確定(例如，模型擬合可以指示連接特征對應(yīng)于具有車道標(biāo)志的質(zhì)量特性的直線)。作為替代，車道標(biāo)志檢測邏輯可以使用步驟4088的模型擬合的結(jié)果，進(jìn)行連接特征不對應(yīng)于車道標(biāo)志的精細(xì)確定(例如，模型擬合可以指示連接特征不對應(yīng)于具有車道標(biāo)志的質(zhì)量特性的形狀)。當(dāng)執(zhí)行進(jìn)一步的特征處理時，車道標(biāo)志存在的該精細(xì)確定可以存儲在成像系統(tǒng)10中的存儲器中。

在步驟4092，可以使用分類器(這可以是第三分類器)進(jìn)行最終車道標(biāo)志存在確定。例如，車道標(biāo)志檢測邏輯可以使用初始確定(上面連同步驟4064所描述的)和精細(xì)確定(上面連同步驟4090所描述的)來確定車道標(biāo)志是否存在于左邊的感興趣區(qū)域24-1和右邊的感興趣區(qū)域24-2中的一個、兩個中或者兩個中都不存在。如果期望的話，該車道標(biāo)志檢測步驟可以包括幾何驗證，相對于預(yù)定的車道標(biāo)志形狀驗證檢測到的車道標(biāo)志的形狀和相對位置。當(dāng)確定車道標(biāo)志存在時，成像系統(tǒng)10可以將該確定連同車道標(biāo)志在地平面上的位置的信息一起傳輸?shù)綄Ｓ胊das處理器22進(jìn)行進(jìn)一步的處理，或者可以將該確定直接傳輸?shù)今{駛控制電路系統(tǒng)。這樣，可以減少在專用駕駛員幫助處理器上的總體處理負(fù)擔(dān)。

雖然初始和精細(xì)車道標(biāo)志檢測確定在上面描述為相繼操作，但是這僅是例示性的。如果期望的話，可以在相同或者不同的圖像幀上同時執(zhí)行這些操作。

根據(jù)本發(fā)明的實施例，使用車輛中的無緩沖成像系統(tǒng)執(zhí)行車道檢測的方法可以包括使用成像系統(tǒng)中的圖像傳感器捕獲圖像，使用成像系統(tǒng)中的處理電路系統(tǒng)從流傳輸數(shù)據(jù)中提取特征點，將關(guān)于所提取的特征點的圖像元數(shù)據(jù)存儲在成像系統(tǒng)中的存儲器中(而不存儲圖像的未提取部分)，以及基于所提取的特征點確定車道標(biāo)志的存在。圖像可以包括感興趣區(qū)域，并且處理電路系統(tǒng)可以從感興趣區(qū)域中提取特征點而不從感興趣區(qū)域外部的圖像幀的部分中提取特征點。感興趣區(qū)域可以在地平面上由預(yù)定的形狀定義并且投影到圖像平面上。處理電路系統(tǒng)可以確定所提取特征點的第一子集對應(yīng)于在不同時間捕獲的多個不同圖像幀中存在的連續(xù)特征。處理電路系統(tǒng)可以確定所提取特征點的第二子集彼此直接相鄰(例如，對應(yīng)于圖像的直接相鄰的部分)，使得所提取特征點形成空間連接特征。處理電路系統(tǒng)可以基于時間連續(xù)特征和空間連接特征確定車道標(biāo)志的存在。

根據(jù)本發(fā)明的實施例，用于執(zhí)行車道檢測操作而不使用幀緩沖器的車輛成像系統(tǒng)可以包括捕獲具有感興趣區(qū)域的圖像幀的圖像傳感器，從進(jìn)入的感興趣區(qū)域內(nèi)的流傳輸數(shù)據(jù)中提取特征的特征提取電路系統(tǒng)，存儲所提取的特征而不存儲圖像幀的未提取部分的存儲器，以及基于存儲在存儲器中的所提取特征確定感興趣區(qū)域中車道標(biāo)志的位置的處理電路系統(tǒng)。特征的每個可以包括元數(shù)據(jù)，元數(shù)據(jù)包括與圖像幀內(nèi)的特征的顏色、大小和位置有關(guān)的信息。元數(shù)據(jù)可以作為矢量存儲在存儲器中。特征提取電路系統(tǒng)可以僅從感興趣區(qū)域內(nèi)的圖像幀的部分中提取特征。處理電路系統(tǒng)可以確定來自多個不同的所捕獲圖像幀的第一多個特征形成跨越多個不同的所捕獲圖像幀的時間連續(xù)特征。處理電路系統(tǒng)可以確定來自單個給定所捕獲圖像幀(其可以是最近捕獲的圖像幀)的第二多個特征形成圖像幀中的空間連續(xù)區(qū)域。空間連續(xù)區(qū)域可以完全并且排他地由所提取特征形成。構(gòu)成空間連續(xù)區(qū)域的所提取特征可以組合成單個連接特征?？梢曰谶B續(xù)特征和連接特征確定車道標(biāo)志的存在。車輛成像系統(tǒng)可以包括在車輛中，車輛也包括駕駛控制電路系統(tǒng)以及一個或多個駕駛員幫助系統(tǒng)處理器。處理電路系統(tǒng)可以將車道標(biāo)志的位置傳輸給駕駛控制電路系統(tǒng)和/或駕駛員幫助系統(tǒng)處理器。駕駛控制電路系統(tǒng)和/或駕駛員幫助系統(tǒng)處理器可以基于接收到的車道標(biāo)志位置控制車輛的駕駛操作。

處理由車輛成像系統(tǒng)捕獲的多個圖像幀而不將多個圖像幀存儲在緩沖器中的方法可以包括識別圖像幀中指示可能的車道標(biāo)志位置的感興趣點。可以在圖像捕獲處理期間提取那些感興趣點。識別到的點可以存儲在成像系統(tǒng)中的存儲器中，而圖像的所有其他部分可以不存儲在成像系統(tǒng)中的存儲器中。識別感興趣點的處理電路系統(tǒng)可以確定感興趣點形成遍及多個幀而存在的連續(xù)特征，并且可以確定給定一個圖像幀中的多個特征點連接以形成連續(xù)連接的“線段”狀的對象?？梢曰谶B續(xù)特征和連續(xù)連接特征點線段檢測車道標(biāo)志。圖像幀的每個可以包括由在成像系統(tǒng)中以行和列排列的個體圖像像素生成的像素值，使得識別特征點可以包括以逐行為基礎(chǔ)分析像素值。在逐行分析期間，可以基于與點相對應(yīng)的圖像幀中的位置(例如，像素坐標(biāo))以及如由像素值指示的點的顏色識別興趣點。處理電路系統(tǒng)可以將連續(xù)特征和特征點線段映射到地平面并且在映射到地平面時對特征執(zhí)行模型擬合。

根據(jù)實施例，提供使用車輛中的成像系統(tǒng)執(zhí)行車道檢測的方法，包括使用成像系統(tǒng)中的圖像傳感器，捕獲每個包括圖像數(shù)據(jù)的行的多個圖像，使用成像系統(tǒng)中的處理電路系統(tǒng)，在生成圖像數(shù)據(jù)的行時，從圖像數(shù)據(jù)的行中提取特征點，使用成像系統(tǒng)中的存儲器，存儲關(guān)于所提取特征點的圖像元數(shù)據(jù)而不存儲多個圖像的未提取部分，以及使用處理電路系統(tǒng)，基于所提取的特征點確定車道標(biāo)志的存在。

根據(jù)另一個實施例，多個圖像的每個包括感興趣區(qū)域，并且提取特征點包括從感興趣區(qū)域內(nèi)的圖像的部分中提取特征點，而不從感興趣區(qū)域外部的圖像的部分中提取特征點。

根據(jù)另一個實施例，在圖像平面中捕獲多個圖像，并且方法還包括，使用處理電路系統(tǒng)，將從圖像平面中的圖像數(shù)據(jù)的行中提取的特征點的至少一些映射到地平面中的相應(yīng)位置。

根據(jù)另一個實施例，圖像元數(shù)據(jù)包括關(guān)于所提取特征點在多個圖像中的位置的信息，以及關(guān)于所提取特征點的顏色信息，并且方法還包括存儲圖像元數(shù)據(jù)，包括將圖像元數(shù)據(jù)作為矢量存儲在存儲器中。

根據(jù)另一個實施例，方法包括，使用處理電路系統(tǒng)，確定來自多個不同圖像的第一組所提取特征點形成在多個不同圖像的每個中存在的連續(xù)特征。

根據(jù)另一個實施例，方法包括，使用處理電路系統(tǒng)，確定來自多個圖像的給定一個的第二組所提取特征點連接以形成線段，以及使用處理電路系統(tǒng)，將第二組所提取特征點組合成連接特征。

根據(jù)另一個實施例，車道標(biāo)志的存在基于連續(xù)特征和連接特征而確定。

根據(jù)實施例，提供用于執(zhí)行車道檢測而不使用幀緩沖器的車輛成像系統(tǒng)，包括捕獲圖像幀的圖像傳感器，并且包括以行和列排列、生成原始像素值的像素陣列，當(dāng)圖像傳感器捕獲圖像幀時從圖像幀的原始像素值中提取特征的特征提取電路系統(tǒng)，存儲特征而不存儲原始圖像像素值的存儲器，以及基于存儲在存儲器中的所提取特征確定車道的位置的處理電路系統(tǒng)。

根據(jù)另一個實施例，特征的每個包括圖像元數(shù)據(jù)，圖像元數(shù)據(jù)包括圖像幀中特征的顏色、特征的大小以及特征的位置，并且圖像元數(shù)據(jù)作為矢量存儲在存儲器中。

根據(jù)另一個實施例，特征提取電路系統(tǒng)僅提取所捕獲圖像幀中預(yù)定的感興趣區(qū)域中的特征。

根據(jù)另一個實施例，處理電路系統(tǒng)檢測到來自多個不同圖像幀的第一多個所提取特征形成在多個不同圖像幀的每個中存在的時間連續(xù)特征。

根據(jù)另一個實施例，處理電路系統(tǒng)檢測到來自給定一個圖像幀的第二多個所提取特征形成圖像幀中的空間連接區(qū)域，并且處理電路系統(tǒng)將第二多個所提取特征組合以形成連接特征。

根據(jù)另一個實施例，處理電路系統(tǒng)基于連續(xù)特征和連接特征確定車道標(biāo)志的位置。

根據(jù)另一個實施例，處理電路系統(tǒng)將車道標(biāo)志的位置傳輸給駕駛控制電路系統(tǒng)，并且駕駛控制電路系統(tǒng)基于車道標(biāo)志的位置修改包含車輛成像系統(tǒng)和駕駛控制電路系統(tǒng)的車輛的操作。

根據(jù)實施例，提供處理由車輛成像系統(tǒng)捕獲的多個圖像幀而不將多個圖像幀存儲在緩沖器中的方法，包括使用車輛成像系統(tǒng)中的處理電路系統(tǒng)，識別多個圖像幀中指示車道標(biāo)志存在的感興趣點，使用處理電路系統(tǒng)，確定多個圖像幀中的感興趣點形成在每個圖像幀中存在的連續(xù)特征，使用處理電路系統(tǒng)，確定給定一個圖像幀中的多個感興趣點被空間連接以形成連接特征，以及使用處理電路系統(tǒng)，基于連續(xù)特征和連接特征檢測圖像幀中的車道標(biāo)志。

根據(jù)另一個實施例，每個圖像幀包括像素值，并且識別感興趣點包括，使用處理電路系統(tǒng)，在圖像幀正在被捕獲時，執(zhí)行給定圖像幀中像素值的逐行線掃描。

根據(jù)另一個實施例，基于像素值對應(yīng)的圖像幀中的位置以及與像素值相關(guān)聯(lián)的顏色識別感興趣點。

根據(jù)另一個實施例，方法包括，使用處理電路系統(tǒng)，將連續(xù)特征映射到地平面，以及當(dāng)連續(xù)特征映射到地平面時，對連續(xù)特征執(zhí)行模型擬合。

根據(jù)另一個實施例，方法包括，使用處理電路系統(tǒng)，將連接特征映射到地平面，以及當(dāng)連接特征映射到地平面時，對連接特征執(zhí)行模型擬合。

根據(jù)另一個實施例，方法包括將識別到的感興趣點存儲在車輛成像系統(tǒng)中的存儲器中，而不存儲沒有指示車道標(biāo)志存在的多個圖像幀的部分。

根據(jù)實施例，提供在車輛中執(zhí)行車道檢測的成像系統(tǒng)，包括捕獲每個包括圖像數(shù)據(jù)的行的多個圖像的圖像傳感器，當(dāng)圖像數(shù)據(jù)的行生成時從圖像數(shù)據(jù)的行中提取特征點的處理電路系統(tǒng)，以及存儲所提取特征點的圖像元數(shù)據(jù)而不存儲多個圖像的未提取部分的存儲器，以及基于所提取特征點確定車道標(biāo)志的存在的處理電路系統(tǒng)。

根據(jù)另一個實施例，多個圖像的每個包括感興趣區(qū)域，處理電路系統(tǒng)從感興趣區(qū)域內(nèi)的圖像的部分中提取特征點，而不從感興趣區(qū)域外部的圖像的部分中提取特征點，在圖像平面中捕獲多個圖像，并且處理電路系統(tǒng)將從圖像平面中的圖像數(shù)據(jù)的行中提取的特征點的至少一些映射到地平面中的相應(yīng)位置。

根據(jù)另一個實施例，圖像元數(shù)據(jù)包括關(guān)于所提取特征點在多個圖像中的位置的信息，以及關(guān)于所提取特征點的顏色信息，并且存儲器通過將圖像元數(shù)據(jù)作為矢量存儲在存儲器中來存儲圖像元數(shù)據(jù)。

根據(jù)另一個實施例，處理電路系統(tǒng)確定來自多個不同圖像的第一組所提取特征點形成在多個不同圖像的每個中存在的連續(xù)特征，處理電路系統(tǒng)確定來自多個圖像的給定一個的第二組所提取特征點連接以形成線段，并且將第二組所提取特征點組合成連接特征，以及處理電路系統(tǒng)基于連續(xù)特征和連接特征確定車道標(biāo)志的存在。

根據(jù)實施例，提供捕獲多個圖像幀并且處理多個圖像幀而不將多個圖像幀存儲在緩沖器中的車輛成像系統(tǒng)，包括處理電路系統(tǒng)，處理電路系統(tǒng)識別多個圖像幀中指示車道標(biāo)志的存在的感興趣點，確定多個圖像幀中的感興趣點形成在每個圖像幀中存在的連續(xù)特征，確定給定一個圖像幀中的多個感興趣點被空間連接以形成連接特征，以及基于連續(xù)特征和連接特征檢測圖像幀中的車道標(biāo)志，以及存儲識別到的感興趣點而不存儲沒有指示車道標(biāo)志存在的多個圖像幀的部分的存儲器。

根據(jù)另一個實施例，每個圖像幀包括像素值，處理電路系統(tǒng)通過在圖像幀正在被捕獲時，執(zhí)行給定圖像幀中像素值的逐行線掃描識別感興趣點，并且基于像素值對應(yīng)的圖像幀中的位置以及與像素值相關(guān)聯(lián)的顏色識別感興趣點。

根據(jù)另一個實施例，處理電路系統(tǒng)將連續(xù)特征映射到地平面，并且當(dāng)連續(xù)特征映射到地平面時對連續(xù)特征執(zhí)行模型擬合，并且處理電路系統(tǒng)將連接特征映射到地平面，并且當(dāng)連接特征映射到地平面時對連接特征執(zhí)行模型擬合。

前述僅例示本發(fā)明的原理并且可以由本領(lǐng)域技術(shù)人員進(jìn)行各種修改而不背離本發(fā)明的范圍和精神。前述實施例可以單獨地或者以任何組合實現(xiàn)。