本發(fā)明涉及一種用于處理來(lái)自非線性相機(jī)的高動(dòng)態(tài)范圍(hdr)數(shù)據(jù)的方法。

背景技術(shù)：

在各種技術(shù)領(lǐng)域中都要求hdr相機(jī)的處理數(shù)據(jù)。特別是，在汽車(chē)應(yīng)用中，hdr相機(jī)被用于提供駕駛路徑的圖像，以便使得能夠進(jìn)行例如障礙檢測(cè)、交通標(biāo)志識(shí)別或車(chē)道識(shí)別。在汽車(chē)應(yīng)用中使用的相機(jī)例如覆蓋多達(dá)120db的寬動(dòng)態(tài)范圍。該動(dòng)態(tài)范圍可以通過(guò)使用多重曝光接著在成像器芯片上的融合來(lái)實(shí)現(xiàn)。

通常，相機(jī)生成的圖像數(shù)據(jù)對(duì)應(yīng)于可以由具有多個(gè)斜率和/或曲線拐點(diǎn)的分段線性過(guò)渡曲線描述的相機(jī)行為。

相機(jī)圖像可以在從相機(jī)輸出之前被壓縮擴(kuò)展。由此，由相機(jī)輸出/生成的圖像可以消耗每像素12-14位，其中，對(duì)應(yīng)初始線性hdr數(shù)據(jù)甚至將覆蓋多于每像素16位且多達(dá)每像素32位的數(shù)據(jù)范圍。

汽車(chē)應(yīng)用通常要求在不使用高端組件的情況下進(jìn)行快速圖像處理。然而，用具有每像素16位或32位的圖像作業(yè)可能耗時(shí)且要求大量存儲(chǔ)帶寬和處理能力。

技術(shù)實(shí)現(xiàn)要素：

因此，本發(fā)明的目的是提供用于處理來(lái)自非線性相機(jī)的高動(dòng)態(tài)范圍數(shù)據(jù)的方法和系統(tǒng)，該方法和系統(tǒng)降低所要求的處理能力和存儲(chǔ)帶寬，并且同時(shí)產(chǎn)生可以用于另外應(yīng)用的圖像數(shù)據(jù)。

該目的通過(guò)根據(jù)權(quán)利要求1所述的方法和根據(jù)權(quán)利要求14所述的相機(jī)系統(tǒng)來(lái)滿足。本發(fā)明還涉及根據(jù)權(quán)利要求15所述的車(chē)輛。

根據(jù)權(quán)利要求1，所述方法包括以下步驟：

利用相機(jī)生成輸入圖像，輸入圖像包括多個(gè)像素，每個(gè)像素具有初始像素值，其中，初始像素值使用相機(jī)過(guò)渡曲線來(lái)生成，

生成表示逆函數(shù)和再壓縮函數(shù)(re-compressionfunction)的組合的第一查找表，第一查找表具有輸入值和輸出值，其中，每個(gè)輸入值聯(lián)接到一個(gè)(優(yōu)選地，確切地為一個(gè))輸出值，逆函數(shù)是相機(jī)過(guò)渡曲線的逆，再壓縮函數(shù)優(yōu)選地是平滑連續(xù)函數(shù)，平滑連續(xù)函數(shù)優(yōu)選地在每個(gè)輸入值處具有大于(或等于)相機(jī)過(guò)渡曲線的對(duì)應(yīng)斜率的斜率，并且其中，第一查找表被生成為使得逆函數(shù)在再壓縮函數(shù)之前，以及

通過(guò)使用第一查找表轉(zhuǎn)換初始像素值來(lái)生成第一圖像。

根據(jù)本發(fā)明，生成第一查找表，其中，第一查找表可以是逆函數(shù)和再壓縮函數(shù)的表示，即，第一查找表的輸入值對(duì)應(yīng)于最初由逆函數(shù)處理且然后由再壓縮函數(shù)處理的輸入值，而第一查找表的輸出值對(duì)應(yīng)于逆函數(shù)接著再壓縮函數(shù)針對(duì)對(duì)應(yīng)輸入值生成的值。

相機(jī)可以是基于多重曝光產(chǎn)生輸入圖像的非線性相機(jī)。相機(jī)過(guò)渡曲線可以是不平滑和/或連續(xù)的函數(shù)。相機(jī)過(guò)渡曲線可以是具有多個(gè)斜率和/或曲線拐點(diǎn)的分段線性過(guò)渡曲線。

逆函數(shù)對(duì)應(yīng)于相機(jī)過(guò)渡曲線的逆。逆函數(shù)可以恢復(fù)(在由相機(jī)拍攝的場(chǎng)景中的)照度(luminance)與圖像亮度之間的線性關(guān)系。逆函數(shù)可以擴(kuò)展輸入圖像的像素深度。例如，逆函數(shù)可以從具有每像素12位的輸入圖像生成具有每像素20位的數(shù)據(jù)。在逆函數(shù)已經(jīng)將像素深度擴(kuò)展到20位之后，再壓縮函數(shù)可以將像素深度減小(即，再壓縮)至15位。由此，由第一查找表執(zhí)行的函數(shù)可以是線性化和再壓縮的組合。

換言之，第一查找表可以表示與已經(jīng)首先利用逆函數(shù)且其次利用再壓縮函數(shù)計(jì)算的輸入值對(duì)應(yīng)的輸出值。據(jù)此，逆函數(shù)的結(jié)果被饋送到再壓縮函數(shù)中。因?yàn)榈谝徊檎冶砜梢苑从尺@兩個(gè)函數(shù)，所以這兩個(gè)函數(shù)的計(jì)算可以用根據(jù)第一查找表的映射來(lái)代替。第一查找表的輸出值可以覆蓋15位(即，比輸入值更多的位)。

因?yàn)槟婧瘮?shù)和再壓縮函數(shù)由第一查找表來(lái)表示，所以從輸入圖像生成第一圖像可以僅使用第一查找表來(lái)執(zhí)行。因?yàn)檩斎雸D像的值僅必須根據(jù)第一查找表被映射到輸出值，所以第一查找表的使用比“正常”逆函數(shù)和“正?！痹賶嚎s函數(shù)要求顯著更少的處理能力和存儲(chǔ)帶寬。換言之，第一查找表將初始像素值映射到第一圖像的像素值。由此，本發(fā)明的方法可以更快地和/或在不太強(qiáng)大的裝置上執(zhí)行。

作為示例，輸入圖像可以具有130萬(wàn)個(gè)像素，每個(gè)像素具有12位像素值。因?yàn)榈谝徊檎冶韮H需要映射12位(即，4096個(gè)值)，所以一次僅必須計(jì)算這4096個(gè)值，并且該4096個(gè)值然后可以用于所有130萬(wàn)個(gè)像素(以及用于后面的圖像)。從而，可以實(shí)現(xiàn)必要計(jì)算的大幅減少，并且可以增加處理一個(gè)或多個(gè)輸入圖像的速度。

由于線性化和再壓縮，本發(fā)明的方法提供很少處理偽影的圖像數(shù)據(jù)。從而，去除如下缺點(diǎn)，即，如果在隨后處理步驟內(nèi)處理該數(shù)據(jù)，則來(lái)自多重曝光的相機(jī)過(guò)渡曲線可能具有可能導(dǎo)致偽影的強(qiáng)斜率不連續(xù)性。由此，圖像數(shù)據(jù)理想地適于另外應(yīng)用，例如，機(jī)器視覺(jué)應(yīng)用。同時(shí)，使用查找表允許使用最小計(jì)算要求來(lái)執(zhí)行所要求的變換。

再壓縮函數(shù)是平滑連續(xù)函數(shù)，因此不具有不連續(xù)性或曲線拐點(diǎn)(即，斜率中的“跳躍”)。再壓縮函數(shù)的斜率(d/dx)被選擇為使得它的斜率大于相機(jī)過(guò)渡曲線的對(duì)應(yīng)斜率，其中，對(duì)于每一個(gè)可能初始像素值優(yōu)選地滿足該條件。用于再壓縮函數(shù)的斜率的限制條件保證第一查找表的每個(gè)輸入值僅聯(lián)接到一個(gè)輸出值。因此，兩個(gè)不同輸入值不可能聯(lián)接到相同輸出值。從而，再壓縮函數(shù)實(shí)現(xiàn)由逆函數(shù)輸出的值的無(wú)損變換。此外，由于再壓縮函數(shù)的連續(xù)性質(zhì)，再壓縮函數(shù)避免了偽影。

第一圖像是可以被輸出和/或使得可用于另外處理(特別是用于汽車(chē)機(jī)器視覺(jué)應(yīng)用)的中間結(jié)果。

根據(jù)實(shí)施方式，再壓縮函數(shù)包括對(duì)數(shù)壓縮函數(shù)，優(yōu)選地如下函數(shù)：

y＝a*ld(x)+b(1)，

其中，a和b以如下方式被選擇：

其中，a和b是系數(shù)，x是初始像素值，并且y是輸出值。

a和b優(yōu)選地被選擇為使得再壓縮在每個(gè)輸入值處具有大于或等于相機(jī)過(guò)渡曲線的對(duì)應(yīng)斜率的斜率。

通常，x可以是輸入值，并且y可以是函數(shù)值或輸出值。這里，所有定義的變量(除了總是各自輸入值或輸出值的x和y)在所有公開(kāi)的函數(shù)/公式中是一致的。

使用對(duì)數(shù)函數(shù)具有如下優(yōu)點(diǎn)：例如對(duì)第一圖像的另外計(jì)算可以基于加法和減法而不基于乘法和除法。從而，可以進(jìn)一步降低對(duì)處理能力的要求。

根據(jù)另外實(shí)施方式，再壓縮函數(shù)執(zhí)行無(wú)損變換。優(yōu)選地，輸入圖像消耗比第一圖像更少的每像素位。然而，第一圖像可以比輸入圖像的未壓縮線性亮度表示具有更少的每像素位。作為示例，輸入圖像可以要求每像素12位，未壓縮線性值(輸入圖像可以基于該未壓縮線性值)或逆函數(shù)的結(jié)果可以使用每像素20位，而第一圖像可以具有每像素15位。

在另外實(shí)施方式中，第一查找表還表示限幅函數(shù)(clippingfunction)，該限幅函數(shù)將低于或等于1的所有輸入值或低于或等于預(yù)定義閾值的所有輸入值映射為值0。限幅函數(shù)可以在逆函數(shù)之前。由此，第一查找表可以包括或表示限幅函數(shù)、逆函數(shù)以及再壓縮函數(shù)。換言之，在執(zhí)行逆函數(shù)之前，例如低于或等于1的所有初始像素值被映射為值0。優(yōu)選地，不通過(guò)限幅函數(shù)改變大于1的初始像素值。限幅函數(shù)還可以用于消除由于相機(jī)傳感器的暗電流生成的值。由此，限幅函數(shù)可以實(shí)現(xiàn)暗電流或暗場(chǎng)幀減少(darkframesubtraction)。

因此，第一查找表可以表示與首先由限幅函數(shù)、其次由逆函數(shù)且第三由再壓縮函數(shù)處理的輸入值對(duì)應(yīng)的輸出值。從而，限幅函數(shù)的結(jié)果被饋送到逆函數(shù)，并且逆函數(shù)的結(jié)果被饋送到再壓縮函數(shù)。因?yàn)榈谝徊檎冶砜梢苑从乘腥齻€(gè)函數(shù)，所以所有三個(gè)函數(shù)的計(jì)算可以由根據(jù)第一查找表的映射來(lái)代替。

根據(jù)另外實(shí)施方式，計(jì)算輸入圖像的初始直方圖，并且使用第一查找表將初始直方圖變換成經(jīng)修改直方圖(modifiedhistogram)。初始直方圖可以是由相機(jī)提供和/或基于輸入圖像計(jì)算的直方圖。

當(dāng)初始直方圖的值使用第一查找表被映射到經(jīng)修改直方圖時(shí)，初始直方圖的直方條(bin)的值可以使用第一查找表來(lái)修改。優(yōu)選地，不改變用于具體直方條的對(duì)應(yīng)計(jì)數(shù)。然而，如果要求一個(gè)直方條覆蓋多個(gè)灰度值，則可以改變具體直方條的計(jì)數(shù)。

通常，直方圖是特定類(lèi)型數(shù)據(jù)的概率分布的估計(jì)。圖像直方圖(即，這里所述的所有直方圖)是提供數(shù)字圖像中的灰度值的色調(diào)分布的表示的一種類(lèi)型的直方圖。對(duì)于8位灰度級(jí)圖像，存在256個(gè)不同可能強(qiáng)度，因此直方圖可以具有示出那些灰度級(jí)值之間的分布的256個(gè)直方條。

根據(jù)另外實(shí)施方式，初始直方圖被計(jì)算為輸入圖像的多個(gè)區(qū)域的子直方圖的加權(quán)和，其中，優(yōu)選地，給予每個(gè)子直方圖相等權(quán)重。子直方圖可以被計(jì)算為輸入圖像的區(qū)域上的直方圖。優(yōu)選地，子直方圖覆蓋車(chē)輛在不同距離的期望駕駛路徑。子直方圖可以作為加權(quán)和被組合到初始直方圖中，其中，輸入圖像的全分辨率直方圖可以包括在加權(quán)和中。

在另外實(shí)施方式中，可以把這些直方圖中的至少一個(gè)(例如，子直方圖中的一個(gè))直接當(dāng)作是相機(jī)的附加輸出。

期望駕駛路徑的直方圖可以基于離車(chē)輛越遠(yuǎn)比與駕駛路徑的地區(qū)對(duì)應(yīng)的區(qū)域越小的區(qū)域。

在初始直方圖中，即使對(duì)輸入圖像的更小區(qū)域計(jì)算子直方圖，所有子直方圖也可以取得相等權(quán)重。

另選地，子直方圖用它們的輸入圖像的對(duì)應(yīng)區(qū)域的逆(inverse)被加權(quán)。由此，更小的區(qū)域可以具有更高的權(quán)重。

相等權(quán)重的使用避免了例如隧道入口被映射到太少灰度級(jí)。作為優(yōu)點(diǎn)，初始直方圖可以用于計(jì)算特別適于汽車(chē)應(yīng)用和/或高對(duì)比圖像的全局色調(diào)映射算子。

在另外實(shí)施方式中，經(jīng)修改直方圖被變換成包括比經(jīng)修改直方圖更少的直方條的簡(jiǎn)化直方圖(reducedhistogram)，并且有利地生成第二查找表，該第二查找表表示基于簡(jiǎn)化直方圖的經(jīng)修改直方圖均衡(equalization)。優(yōu)選地，簡(jiǎn)化直方圖包括64或256個(gè)直方條。因?yàn)楸仨氂?jì)算更少的值，所以縮減至64或256個(gè)直方條允許更快的計(jì)算。

通常，直方圖均衡是圖像修改技術(shù)。通過(guò)使用直方圖均衡，圖像的灰度級(jí)被再映射為使得實(shí)現(xiàn)灰度級(jí)到直方條的均勻分布。

直方圖均衡可以基于累積直方圖。在累積直方圖中，每個(gè)直方條包含它自己和所有之前直方條的總和。然而，標(biāo)準(zhǔn)直方圖均衡可能具有如下缺點(diǎn)：如果一個(gè)直方條包含高值計(jì)數(shù)，則這可能在再量化之后導(dǎo)致間隙，這意味著實(shí)際上不使用可以用于存儲(chǔ)信息的一些灰度值，并且輸出值上的直方圖將包含未使用的位。此外，如果存在用于多個(gè)隨后直方條的低計(jì)數(shù)，則直方圖均衡可能將太多輸入直方條組合成一個(gè)輸出直方條。由此，雖然期望使再量化的輸出的信息內(nèi)容最大化，但是信息丟失可能發(fā)生。

因此，這里可以使用經(jīng)修改直方圖均衡。對(duì)于經(jīng)修改直方圖均衡，經(jīng)修改直方圖的直方條計(jì)數(shù)可以被更改為使得所有直方條計(jì)數(shù)在預(yù)定義最大值和預(yù)定義最小值之間(或等于預(yù)定義最大值和預(yù)定義最小值)。最大值以上的經(jīng)修改直方圖的直方條計(jì)數(shù)可以被設(shè)置為最大值。對(duì)應(yīng)地，最小值以下的經(jīng)修改直方圖的直方條計(jì)數(shù)可以被設(shè)置為最小值。從而，可以防止輸出量化中的間隙或多個(gè)灰度值到一個(gè)輸出值的組合。

在更改經(jīng)修改直方圖的直方條計(jì)數(shù)之后，可以執(zhí)行用低通濾波器對(duì)經(jīng)修改直方圖進(jìn)行卷積，例如通過(guò)用高斯函數(shù)對(duì)經(jīng)修改直方圖進(jìn)行卷積。卷積可以創(chuàng)建更平滑的經(jīng)修改直方圖。直方條計(jì)數(shù)的卷積和/或更改可以被迭代預(yù)定義次數(shù)。

在卷積之后，從經(jīng)修改直方圖生成簡(jiǎn)化直方圖，作為累積直方圖，其中，簡(jiǎn)化直方圖包括比經(jīng)修改直方圖更少的直方條，并且其中，使用簡(jiǎn)化直方圖的(現(xiàn)在修改的)直方圖均衡被映射在第二查找表中。即，簡(jiǎn)化直方圖是累積直方圖。經(jīng)修改直方圖的多個(gè)直方條可以被映射到簡(jiǎn)化直方圖的一個(gè)直方條。由于用低通濾波器進(jìn)行的卷積，第二查找表表示平滑過(guò)渡曲線。

第二查找表的過(guò)渡曲線可以被構(gòu)建為在斜率上平滑和/或受限。平滑約束用于防止沿著拐角的偽影。對(duì)斜率的約束可以根據(jù)經(jīng)驗(yàn)來(lái)選擇以確定用于直方條的截止值(即，預(yù)定義最大值和預(yù)定義最小值)。以使得增益不超過(guò)經(jīng)修改直方圖均衡的輸入與輸出均衡的比率的這種方式來(lái)有利地選擇增益。例如，如果用第二查找表執(zhí)行12位到8位的壓縮，則增益不應(yīng)超過(guò)因子16，以避免輸出值中的間隙。此外，斜率約束可以避免超過(guò)信息增益的信號(hào)放大，并且還防止太多直方條到一個(gè)輸出直方條的映射、以及太多灰度級(jí)到太少值的映射。

由此，經(jīng)修改直方圖均衡被用于克服未修改/標(biāo)準(zhǔn)直方圖均衡的限制。經(jīng)修改直方圖均衡可以用于將第一圖像的亮度級(jí)從對(duì)數(shù)空間色調(diào)映射到例如8位值范圍。映射可以如上所述的通過(guò)使用第二查找表來(lái)實(shí)現(xiàn)。

類(lèi)似于第一查找表，第二查找表優(yōu)選地僅被創(chuàng)建一次，然后可以用于變換圖像的所有像素。從而，可以實(shí)現(xiàn)所要求處理能力的進(jìn)一步降低。

根據(jù)另外實(shí)施方式，相機(jī)是紅色/透明成像器(rccc成像器)，其中，輸入圖像和第一圖像包括紅色和灰度像素，其中

從第一圖像提取第二圖像，其中，第二圖像包括第一圖像的紅色像素，并且

從第一圖像生成第三圖像，其中，第一圖像的紅色像素通過(guò)對(duì)第一圖像的相鄰灰度像素的值進(jìn)行插值被替換。

相機(jī)可以生成輸入圖像的四分之一像素作為紅色像素。剩余像素可以為灰度像素(即，透明像素)。

換言之，第一圖像可以經(jīng)受紅色提取和/或去馬賽克和插值。紅色像素的插值可以使用2或4個(gè)相鄰灰度/透明像素(表達(dá)“灰度”和“透明(clear)”以及公式中的“g”和“c”彼此對(duì)應(yīng))。插值可以使用之間具有最低梯度的那兩個(gè)相鄰像素。第二圖像可以具有第一圖像的分辨率的四分之一。

在另外實(shí)施方式中，從第二圖像的紅色像素的對(duì)應(yīng)值減去第三圖像的插值后的值，從而生成第四圖像。因此，計(jì)算紅色與透明值的關(guān)系的對(duì)數(shù)(a*log(r/c))。因?yàn)閮?yōu)選地使用對(duì)數(shù)函數(shù)來(lái)變換第二圖像和第三圖像，所以第四圖像(即，log(r/c))可以被高效地計(jì)算為減法(log(r)-log(c))。

在另外實(shí)施方式中，使用線性映射將第四圖像映射為紅色與透明比率圖像，其中，紅色與透明比率圖像中的每個(gè)像素的值范圍比在第四圖像中更小。優(yōu)選地，紅色與透明比率圖像具有每像素8位。

根據(jù)另外實(shí)施方式，使用第二查找表將第三圖像映射為灰度圖像，其中，灰度圖像中的每個(gè)像素的值范圍比在第三圖像中更小。換言之，由第二查找表表示的經(jīng)修改直方圖均衡被用于將第三圖像變換為灰度圖像。

優(yōu)選地，灰度圖像由每像素8位組成。因?yàn)榈交叶葓D像的映射可以使用第二查找表來(lái)進(jìn)行，所以這可以以低計(jì)算要求被執(zhí)行?；叶葓D像、第一圖像、第二圖像和/或第三圖像可以是黑白或灰度級(jí)或紅色像素圖像。

優(yōu)選地使得灰度圖像和紅色與透明比率圖像可用于另外處理(特別是用于在汽車(chē)機(jī)器視覺(jué)應(yīng)用中使用)。具有色比和灰度值的8位表示在用于隨后計(jì)算步驟的存儲(chǔ)帶寬方面可以是有利的。

在下文中，描述可以被執(zhí)行以從灰度圖像和/或紅色與透明比率圖像提供彩色圖像(r圖像)的計(jì)算。

在實(shí)施方式中，基于以下函數(shù)計(jì)算白平衡因子

其中，wb是白平衡因子，f是1/3，p是第一圖像的像素計(jì)數(shù)，r是第一圖像的紅色像素的值，g是第一圖像的灰度(即，透明)像素的值。作為另選方案，當(dāng)為了便于白平衡因子的更容易計(jì)算而被計(jì)算時(shí)，來(lái)自第四圖像的a*log2(r/g)比率值可以被求和。

優(yōu)選地，紅色與透明比率圖像的分辨率被插值為等于灰度圖像的分辨率，其中，生成插值后的紅色與透明比率圖像。可以將值y＝a*ld(gnrw)+b(4)

相加到插值后的紅色與透明比率圖像的每個(gè)像素，由此創(chuàng)建第一修改插值紅色圖像。在有利實(shí)現(xiàn)中，通過(guò)使用第一查找表變換灰度圖像來(lái)生成該值。gnew是灰度圖像的灰度像素的值。

還優(yōu)選地，將白平衡因子的對(duì)數(shù)(即，y＝a*ld(wb)(5))

相加到第一修改插值紅色圖像的每個(gè)像素值，從而創(chuàng)建第二修改插值紅色圖像。

白平衡因子還可以被輸出以允許正確地解釋紅色與透明比率圖像。

根據(jù)實(shí)施方式，創(chuàng)建第三查找表，該第三查找表表示如下函數(shù)

其中，第三查找表被用于從第二修改紅色圖像創(chuàng)建紅色圖像。

由此，紅色圖像可以通過(guò)求逆之前對(duì)數(shù)函數(shù)來(lái)生成。

第二修改插值紅色圖像可以表示如下函數(shù)：

由此，之前對(duì)數(shù)函數(shù)的逆轉(zhuǎn)可以表示結(jié)合輸入圖像的灰度值的映射的紅色圖像。紅色圖像可以被表達(dá)為

其中，rold表示再線性化后的輸入圖像的紅色像素的值(即，在將逆函數(shù)應(yīng)用至輸入圖像之后)。cold表示再線性化后的輸入圖像的灰度值。cnew是灰度圖像的像素的值(即，對(duì)應(yīng)于gnew)。rnew是紅色圖像的像素的值。

上述步驟基于所提出的加法和減法被有利地執(zhí)行。

還優(yōu)選地，從灰度圖像的每個(gè)對(duì)應(yīng)像素值減去紅色圖像的每個(gè)像素值的三分之一，并且所得到的像素值可以乘以1.5且相等地分配給藍(lán)色通道和綠色通道。最后，組合紅色圖像、藍(lán)色通道以及綠色通道，以創(chuàng)建彩色圖像。

如上所述，輸入圖像可以包括比第一圖像更少的每像素位。例如，輸入圖像可以包括每像素12位，而第一圖像包括每像素15位。灰度圖像可以使用比輸入圖像更少的每像素位。特別地，灰度圖像和/或紅色與透明比率圖像可以使用每像素8位。

如果假定相機(jī)過(guò)渡曲線隨著時(shí)間是固定的，則第一查找表和第三查找表可以僅被生成一次，并且可以用于多個(gè)圖像。所有處理步驟還可以被組合為僅一個(gè)函數(shù)。

本發(fā)明還涉及一種包括相機(jī)和處理單元的相機(jī)系統(tǒng)。該相機(jī)系統(tǒng)適于：

利用相機(jī)生成輸入圖像，輸入圖像包括多個(gè)像素，每個(gè)像素具有初始像素值，其中，初始像素值使用相機(jī)過(guò)渡曲線來(lái)生成；

生成表示逆函數(shù)和再壓縮函數(shù)的組合的第一查找表，第一查找表具有輸入值和輸出值，其中，每個(gè)輸入值聯(lián)接到一個(gè)(優(yōu)選地，確切地為一個(gè))輸出值，逆函數(shù)是相機(jī)過(guò)渡曲線的求逆，再壓縮函數(shù)優(yōu)選地是平滑連續(xù)函數(shù)，該平滑連續(xù)函數(shù)優(yōu)選地在每個(gè)輸入值處具有大于(或等于)相機(jī)過(guò)渡曲線的對(duì)應(yīng)斜率的斜率，并且其中，第一查找表被生成為使得逆函數(shù)在再壓縮函數(shù)之前，并且

通過(guò)優(yōu)選地使用第一查找表轉(zhuǎn)換初始像素值來(lái)生成第一圖像。

第一查找表和第一圖像的生成可以由處理單元來(lái)實(shí)現(xiàn)。

最后，本發(fā)明還涉及一種具有相機(jī)系統(tǒng)的車(chē)輛，其中，相機(jī)系統(tǒng)的輸出數(shù)據(jù)(優(yōu)選地為灰度圖像、經(jīng)修改直方圖、紅色與透明比率圖像和/或彩色圖像)被用于機(jī)器視覺(jué)應(yīng)用。

關(guān)于本發(fā)明方法的描述加以必要的變更可應(yīng)用至本發(fā)明的相機(jī)系統(tǒng)和本發(fā)明的車(chē)輛。這鑒于優(yōu)點(diǎn)和所描述的實(shí)施方式尤其如此。

附圖說(shuō)明

下文中將參照優(yōu)選實(shí)施方式且參照附圖更詳細(xì)地示例性說(shuō)明本發(fā)明，附圖中示出了：

圖1是示出了根據(jù)本發(fā)明的方法的框圖；

圖2是示出了彩色圖像的重建的框圖；

圖3是示出了第一查找表的生成的框圖；以及

圖4是示出了沿著駕駛路徑定義圖像區(qū)域的相機(jī)圖像。

具體實(shí)施方式

圖1中示出的方法開(kāi)始于由相機(jī)(未示出)獲得輸入圖像10。相機(jī)被安裝在車(chē)輛上，其中，輸入圖像示出穿過(guò)車(chē)輛的擋風(fēng)玻璃的視圖。相機(jī)是rccc成像器，由此，輸入圖像包括紅色像素和灰度像素。根據(jù)輸入圖像10，在框14中計(jì)算初始直方圖12。

圖4中更詳細(xì)地示出了初始直方圖12的計(jì)算。圖4示出了在輸入圖像10中示出的道路15。根據(jù)輸入圖像10，三個(gè)不同區(qū)域16被用于計(jì)算各自子直方圖18。一個(gè)區(qū)域16包括整個(gè)輸入圖像10，而其它區(qū)域16僅包括輸入圖像10沿著道路15對(duì)齊的部分。對(duì)于整個(gè)輸入圖像10的直方圖，可以使用嵌入來(lái)自相機(jī)的成像器數(shù)據(jù)中的直方圖。

每個(gè)子直方圖分別用因子w1、w2、w3來(lái)加權(quán)，其中，初始直方圖12是子直方圖18的加權(quán)和。作為示例，所有權(quán)重w1、w2、w3都相等。

返回到圖1，在框22中生成第一查找表20，其中，如圖3中更詳細(xì)示出的，第一查找表20表示包括三個(gè)計(jì)算步驟的函數(shù)。

第一計(jì)算步驟是將低于或等于1的所有值映射為值0的限幅函數(shù)24(圖3)。所有其它值保持原樣。

第二計(jì)算步驟是表示相機(jī)過(guò)渡曲線28的求逆的逆函數(shù)26。相機(jī)過(guò)渡曲線28是所使用的相機(jī)的屬性。

第三計(jì)算步驟是對(duì)數(shù)再壓縮函數(shù)30。再壓縮函數(shù)是平滑連續(xù)函數(shù)且在每個(gè)輸入值處具有大于相機(jī)過(guò)渡曲線的對(duì)應(yīng)斜率的斜率。

第一查找表20被計(jì)算為使得它表示限幅函數(shù)24、逆函數(shù)26以及再壓縮函數(shù)30的隨后執(zhí)行。

輸入圖像10可以使用例如每像素12位，因此第一查找表20可以包括用于4096個(gè)輸入值的輸出值。由第一查找表20創(chuàng)建的映射將輸入圖像10的12位數(shù)據(jù)映射為使用每像素15位的數(shù)據(jù)。

現(xiàn)在再次參照?qǐng)D1，第一查找表20被用于將初始直方圖12映射為經(jīng)修改直方圖32(框34)。在框20中，使用第一查找表20將輸入圖像10轉(zhuǎn)換成第一圖像36。在框38中，從第一圖像36提取紅色像素，從而形成第二圖像40。

在框42中，第一圖像36的去馬賽克和插值發(fā)生，其中，通過(guò)使用之間具有最低梯度的那兩個(gè)相鄰像素對(duì)第一圖像36的兩個(gè)相鄰灰度像素的值進(jìn)行插值來(lái)替換第一圖像36的紅色像素。該插值產(chǎn)生第三圖像44。

在框46中，從第二圖像40的紅色像素的對(duì)應(yīng)值減去第三圖像44的插值后的值。從而，生成第四圖像48。在框50中，將第四圖像48線性地映射到8位中，得到紅色與透明比率圖像52。

在框56中，將經(jīng)修改直方圖32變換成僅包含64個(gè)直方條的簡(jiǎn)化直方圖54。經(jīng)修改直方圖32至簡(jiǎn)化直方圖54的變換包括經(jīng)修改直方圖32的直方條計(jì)數(shù)的更改、用低通濾波器對(duì)經(jīng)修改直方圖32的卷積、以及生成簡(jiǎn)化直方圖54作為經(jīng)修改直方圖32的累積直方圖(在更改和卷積之后)。基于簡(jiǎn)化直方圖54，生成第二查找表58。第二查找表58應(yīng)用經(jīng)修改直方圖均衡，從而執(zhí)行數(shù)據(jù)到每像素8位的映射。

在框60中，使用第二查找表58將第三圖像44映射到8位，從而創(chuàng)建灰度圖像62(即，ldr圖像-低動(dòng)態(tài)范圍圖像)。

由此，圖1中所示的方法產(chǎn)生灰度圖像62、紅色與透明比率圖像52以及經(jīng)修改直方圖32，灰度圖像62、紅色與透明比率圖像52以及經(jīng)修改直方圖32可以用于在例如機(jī)器視覺(jué)應(yīng)用中的另外處理。

圖2中示出了示例性另外處理，其中，計(jì)算彩色圖像。

根據(jù)包含在紅色與透明比率圖像52中的紅色與透明比率和/或根據(jù)第一圖像36，在框66中計(jì)算白平衡因子64(圖2)，其中，使用上面介紹的如下函數(shù)：

在框68中，紅色與透明比率圖像52的分辨率被插值為等于灰度圖像62的分辨率，其中，生成插值后的紅色與透明比率圖像70。

在框72中，使用以下函數(shù)將灰度圖像62映射到對(duì)數(shù)空間：

y＝a*ld(gnew)+b(4)。

將所得到的變換后灰度圖像73相加到插值后的紅色與透明比率圖像70，產(chǎn)生第一插值紅色圖像76。將白平衡因子64的對(duì)數(shù)值相加到第一插值紅色圖像76的每個(gè)像素值，產(chǎn)生第二插值紅色圖像78。在框74中，計(jì)算白平衡因子64的對(duì)數(shù)值。

在框80中，創(chuàng)建第三查找表，該第三查找表表示如下函數(shù)：

第三查找表被用于從第二修改插值紅色圖像78創(chuàng)建紅色圖像81。

從灰度圖像62的每個(gè)對(duì)應(yīng)像素值減去紅色圖像81的每個(gè)像素值的三分之一，并且所得到的像素值相等地被分配(即，乘以因子1.5)，并且被輸出為藍(lán)色通道82和綠色通道84。然后組合紅色圖像81、藍(lán)色通道82以及綠色通道84，以創(chuàng)建彩色圖像(未示出)。

因?yàn)槔绲谝徊檎冶?0和第三查找表可以被再用于利用特定相機(jī)獲取的所有圖像，所以查找表僅必須被創(chuàng)建一次。第二查找表58可以基于直方圖被創(chuàng)建，并且不要求之前修改圖像。這引起執(zhí)行所述方法所要求的計(jì)算能力的顯著降低。

此外，由于所使用的對(duì)數(shù)空間值，可以用更簡(jiǎn)單的加法或減法來(lái)替換許多復(fù)雜的乘法或除法運(yùn)算，由此創(chuàng)建用于處理來(lái)自非線性相機(jī)的高動(dòng)態(tài)范圍數(shù)據(jù)的高效方法。

附圖標(biāo)記列表

10：輸入圖像

12：初始直方圖

14：初始直方圖計(jì)算

15：道路

16：區(qū)域

18：子直方圖

20：第一查找表

22：創(chuàng)建到對(duì)數(shù)空間的映射

24：限幅函數(shù)

26：逆函數(shù)

28：相機(jī)過(guò)渡曲線

30：再壓縮函數(shù)

32：經(jīng)修改直方圖

34：將初始直方圖映射到對(duì)數(shù)空間

36：第一圖像

38：紅色提取

40：第二圖像

42：去馬賽克和插值

44：第三圖像

46：ld(r)-ld(c)

48：第四圖像

50：映射到8位

52：紅色與透明比率圖像

54：簡(jiǎn)化直方圖

56：透明像素的色調(diào)映射

58：第二查找表

60：色調(diào)映射到8位

62：灰度圖像

64：白平衡因子

66：計(jì)算白平衡因子

68：對(duì)紅色與透明比率圖像(ld(r/c))進(jìn)行插值

70：插值后的紅色與透明比率圖像

72：將灰度像素轉(zhuǎn)換到對(duì)數(shù)空間

73：變換后的灰度圖像

74：轉(zhuǎn)換到對(duì)數(shù)空間

76：第一修改插值紅色圖像

78：第二修改插值紅色圖像

80：應(yīng)用第三查找表

81：紅色圖像

82：藍(lán)色通道

84：綠色通道

w1、w2、w3：權(quán)重