圖像處理裝置及光源識別方法
【技術(shù)領(lǐng)域】
[0001] 本文所討論的實施方式涉及圖像處理裝置和光源識別方法。
【背景技術(shù)】
[0002] 當(dāng)所拍攝的圖像的顏色相對于原始顏色有所偏差時，執(zhí)行用于將圖像中的每個像 素的顏色轉(zhuǎn)換成原始顏色的處理。該處理被稱為顏色校正。實現(xiàn)顏色校正的方法包括以下 方法：例如同時對對象和包括已知顏色（在下文中被稱為基準(zhǔn)顏色）的樣本進行拍攝并且 根據(jù)基準(zhǔn)顏色的變化來將每個像素的顏色轉(zhuǎn)換成原始顏色。
[0003] 然而，圖像中的每個像素可以取的顏色數(shù)目巨大，并且難以將所有可能的顏色設(shè) 置成基準(zhǔn)顏色并且難以預(yù)先地將每個基準(zhǔn)顏色中的每個基準(zhǔn)顏色轉(zhuǎn)換成原始顏色。因此， 當(dāng)應(yīng)用上述方法時，通過從預(yù)先提供的基準(zhǔn)顏色中獲得每個像素的顏色（在下文中被稱為 輸入顏色）的插值處理來執(zhí)行從用于基準(zhǔn)顏色的轉(zhuǎn)換中獲得用于輸入顏色的轉(zhuǎn)換的處理， 并且根據(jù)所獲得的轉(zhuǎn)換來針對輸入顏色執(zhí)行顏色校正。
[0004] 例如，存在通過體積插值來轉(zhuǎn)換輸入顏色的方法。該方法在顏色空間中設(shè)置使基 準(zhǔn)顏色處于頂點的立體，并且利用以下基準(zhǔn)顏色的轉(zhuǎn)換來獲得輸入顏色的轉(zhuǎn)換，所述基準(zhǔn) 顏色是包括輸入顏色的立體的頂點。當(dāng)應(yīng)用該方法時，用于校正處理的基準(zhǔn)顏色與輸入顏 色之間的距離越小，顏色校正的準(zhǔn)確度變得越好。相應(yīng)地，作為提高顏色校正的準(zhǔn)確度的方 法，提出了以下方法：對大量的基準(zhǔn)顏色進行拍攝以使得能夠在顏色空間中設(shè)置許多立體。
[0005] 日本公開特許公報No. 2000-48179。
[0006] 通過體積插值的上述方法利用顏色空間中基準(zhǔn)顏色的坐標(biāo)與輸入顏色的坐標(biāo)之 間的關(guān)系通過線性插值來轉(zhuǎn)換輸入顏色。因此，根據(jù)該方法的插值處理不使用除了顏色空 間中的坐標(biāo)以外的信息。
[0007] 例如，基準(zhǔn)顏色與輸入顏色之間的關(guān)系取決于如用于圖像捕獲的光源的類型（例 如，陽光、熒光燈或白熾燈泡等）的環(huán)境。例如，當(dāng)光源的光譜分布特性（光譜）、對象的反 射特性或成像元件的光譜敏感度特性被改變并且成對的相同顏色被捕獲時，從所捕獲的圖 像獲得的顏色之間的關(guān)系發(fā)生改變。
[0008] 由于這樣的環(huán)境改變，當(dāng)應(yīng)用通過上述體積插值的方法時可能會在顏色校正中引 起誤差。然而，對象的反射特性的改變的影響或成像元件的光譜敏感度特性的改變的影響 與光源的光譜分布特性的改變的影響相比較小。因此，對圖像捕獲中的光源進行識別增加 了實現(xiàn)根據(jù)光源來執(zhí)行的高度準(zhǔn)確的顏色校正的可能性。

【發(fā)明內(nèi)容】

[0009] 根據(jù)一個方面，提供了一種圖像處理裝置以及一種能夠從捕獲的圖像中識別在圖 像捕獲中的光源的方法。
[0010] 根據(jù)一個方面，提供了一種圖像處理裝置。所述圖像處理裝置包括：存儲單元，所 述存儲單元用于關(guān)于設(shè)置在顏色空間中的并且彼此不同的多個基準(zhǔn)顏色針對多個不同光 源中的每個光源來存儲所述每個光源下所述多個基準(zhǔn)顏色之間的色坐標(biāo)關(guān)系；以及計算單 元，所述計算單元用于從要處理的對象圖像中檢測所述多個基準(zhǔn)顏色的色坐標(biāo)，并且根據(jù) 所檢測的色坐標(biāo)的關(guān)系與針對每個光源而存儲在存儲單元中的色坐標(biāo)關(guān)系之間的相似度 來識別用于捕獲對象圖像的光源。
【附圖說明】
[0011] 圖1示出了根據(jù)第一實施方式的圖像處理裝置的示例；
[0012] 圖2示出了能夠?qū)崿F(xiàn)根據(jù)第二實施方式的圖像處理裝置的功能的硬件的示例；
[0013] 圖3是示出根據(jù)第二實施方式的圖像處理裝置中所包括的功能的示例的框圖；
[0014] 圖4示出了根據(jù)第二實施方式的基準(zhǔn)顏色表的示例；
[0015] 圖5對基準(zhǔn)顏色進行了說明；
[0016] 圖6示出了根據(jù)第二實施方式的校正顏色表的示例；
[0017] 圖7對通過線性插值的校正量計算方法進行了說明；
[0018] 圖8對校正誤差進行了說明；
[0019] 圖9示出了根據(jù)第二實施方式的誤差表的示例；
[0020] 圖10對根據(jù)第二實施方式的光源識別方法進行了說明；
[0021] 圖11對根據(jù)第二實施方式的變型示例（變型示例#1)的光源識別方法進行了說 明；
[0022] 圖12對根據(jù)第二實施方式的變型示例（變型示例#2)的光源識別方法進行了說 明；
[0023] 圖13是示出根據(jù)第二實施方式的表生成的處理流程的流程圖；
[0024] 圖14是示出根據(jù)第二實施方式的圖像顏色校正的處理流程的流程圖；
[0025] 圖15是示出根據(jù)第二實施方式的光源識別的處理流程的流程圖；
[0026] 圖16是根據(jù)第二實施方式的輸入顏色校正的處理流程的流程圖；
[0027] 圖17是示出根據(jù)第二實施方式的變型示例（變型示例#1)的光源識別的處理流 程的流程圖；
[0028] 圖18是示出根據(jù)第二實施方式的變型示例（變型示例#2)的光源識別的處理流 程的流程圖；
[0029] 圖19是示出根據(jù)第二實施方式的變型示例（變型示例#2)的輸入顏色校正的處 理流程的流程圖；
[0030] 圖20示出了根據(jù)第三實施方式的基準(zhǔn)顏色特征表的示例；
[0031] 圖21是示出用于生成根據(jù)第三實施方式的基準(zhǔn)顏色特征表的處理流程的流程 圖；
[0032] 圖22是示出根據(jù)第三實施方式的對光源進行識別的處理流程的流程圖；以及
[0033] 圖23是示出根據(jù)第三實施方式的對混合光源的識別的處理流程的流程圖。
【具體實施方式】
[0034] 下面將參照附圖來描述幾種實施方式，其中貫穿全文相似的附圖標(biāo)記指代相似的 元件。
[0035] 〈1.第一實施方式〉
[0036] 將參照圖1對第一實施方式進行說明。圖1示出根據(jù)第一實施方式的圖像處理裝 置的示例。注意，圖1所示的圖像處理裝置10是根據(jù)第一實施方式的圖像處理裝置的示例。
[0037] 如圖1所示，圖像處理裝置10包括存儲單元11和計算單元12。
[0038] 此處，存儲單元11是如RAM(隨機存取存儲器）的易失性存儲裝置或如HDD (硬盤 驅(qū)動器）和閃存的非易失性存儲裝置。計算單元12是如CPU(中央處理單元）和DSP (數(shù) 字信號處理器）的處理器。注意，計算單元12可以是如ASIC(專用集成電路）和FPGA(現(xiàn) 場可編程門陣列）。例如，計算單元12執(zhí)行存儲在存儲單元11或另外的存儲器中的程序。
[0039] 關(guān)于設(shè)置在顏色空間中的并且彼此不同的基準(zhǔn)顏色BC1、BC2、BC3和BC4,存儲單 元11針對每個光源來存儲在不同光源LT1、LT2和LT3中的每個光源下基準(zhǔn)顏色BC1、BC2、 BC3和BC4之間的色坐標(biāo)關(guān)系VA和VB。此處，除了 RGB空間以外，還可以將HSV空間或YUV 空間等用于顏色空間。
[0040] 圖1中的表（A)例示從通過在不同光源LT1、LT2和LT3下對基準(zhǔn)顏色BC1、BC2、 BC3和BC4進行拍攝而捕獲的圖像獲得的色坐標(biāo)信息。例如，從通過在光源LTl下對基準(zhǔn) 顏色BCl進行拍攝而捕獲的圖像獲得的色坐標(biāo)為（Rl 1，Gl 1，BI 1)。Rll取值100, Gll取值 50，B11取值0等。此外，光源LT1、LT2和LT3例如分別是太陽光（D65光源），熒光燈（F光 源）和燈泡（A光源）。
[0041] 此外，圖1中的表（B)例示色坐標(biāo)關(guān)系VA和色坐標(biāo)關(guān)系VB。色坐標(biāo)關(guān)系VA表示 關(guān)于相同光源在顏色空間中從基準(zhǔn)顏色BCl的色坐標(biāo)延伸至基準(zhǔn)顏色BC2的色坐標(biāo)的向 量。此外，色坐標(biāo)關(guān)系VB表示關(guān)于相同光源在顏色空間中從基準(zhǔn)顏色BCl的色坐標(biāo)延伸至 基準(zhǔn)顏色BC3的色坐標(biāo)的向量。
[0042] 作為色坐標(biāo)關(guān)系VA的示例，表（B)示出了連接色坐標(biāo)（R11，G11，B11)和色坐標(biāo) (R12，G12，B12)的向量 VA1(VA1 = (dRAl，dGAl，dBAl)) JAl 對應(yīng)于光源 LT1。類似地，表（B) 示出了與光源LT2對應(yīng)的VA2 (VA2 = (dRA2, dGA2, dBA2))以及與光源LT3對應(yīng)的VA3 (VA3 =(dRA3，dGA3，dBA3))。
[0043] 此外，作為色坐標(biāo)關(guān)系VB的示例，表⑶示出了與光源LTl對應(yīng)的VBl (VB1 = (dRBl, dGBl, dBBl))。此外，表（B)示出了與光源 LT2 對應(yīng)的 VB2 (VB2 = (dRB2, dGB2, dBB2)) 以及與光源 LT3 對應(yīng)的 VB3 (VB3 = (dRB3, dGB3, dBB3))。例如，dRAl 取值 0, dGAl 取值 30， dBAl取值0等。
[0044] 此處，還可以制備除VA和VB以外的另外的色坐標(biāo)關(guān)系。此外，向量VAl等的長度 可以被歸一化成一定長度。此外，如果有除了連接兩個色坐標(biāo)的向量以外的信息表示基準(zhǔn) 顏色BC1、BC2、BC3和BC4的位置關(guān)系，則還可以采用該信息作為色坐標(biāo)關(guān)系。例如，可以采 用表示使基準(zhǔn)顏色BC1、BC2、BC3和BC4處于頂點的立體形狀的任何信息。
[0045] 計算單元12從要被處理的對象圖像PO檢測基準(zhǔn)顏色BC1、BC2、BC3和BC4的色坐 標(biāo)。此外，計算單元12計算所檢測的色坐標(biāo)的關(guān)系VA和VB與針對每個光源而存儲在存儲 單元11中的色坐標(biāo)關(guān)系VA和VB之間的相似度JAn和JBn (n = 1、2和3)。
[0046] 圖1的示例檢測到基準(zhǔn)顏色BCl的色坐標(biāo)（R01，G01，Β01)、基準(zhǔn)顏色BC2的色坐 標(biāo)〇?02,602,802)、基準(zhǔn)顏色隊3的色坐標(biāo)〇?03,603,803)以及基準(zhǔn)顏色隊4的色坐標(biāo) (R04, G04, Β04)。
[0047] 計算單元12使用基準(zhǔn)顏色BCl的色坐標(biāo)（R01，G01，B01)和基準(zhǔn)顏色BC2的色坐 標(biāo)（R02, G02, B02)來計算色坐標(biāo)關(guān)系VA0(VA0 = (dRAO, dGAO, dBAO))。此外，計算單元12 使用基準(zhǔn)顏色BCl的色坐標(biāo)（R01，G01，B01)和基準(zhǔn)顏色BC3的色坐標(biāo)（R03, G03, B03)來計 算色坐標(biāo)關(guān)系 VBO (VBO = (dRBO, dGBO, dBBO))。
[0048] 接下來，計算單元12計算色坐標(biāo)關(guān)系VAO與色坐標(biāo)關(guān)系VAl之間的相似度JAl、色 坐標(biāo)關(guān)系VAO與色坐標(biāo)關(guān)系VA2之間的相似度JA2以及色坐標(biāo)關(guān)系VAO與色坐標(biāo)關(guān)系VA3 之間的相似度JA3。此外，計算單元12計算色坐標(biāo)關(guān)系VBO與色坐標(biāo)關(guān)系VBl之間的相似 度JBl、色坐標(biāo)關(guān)系VBO與色坐標(biāo)關(guān)系VB2之間的相似度JB2以及色坐標(biāo)關(guān)系VBO與色坐標(biāo) 關(guān)系VB3之間的相似度JB3。
[0049] 圖1的示例將VAO和VAn的內(nèi)積表示為相似度JAn，以及將VBO和VBn的內(nèi)積表示 為相似度JBn。在該情況下，VAO和VAn彼此越相似，相似度JAn取值就越大；VBO和VBn彼 此越相似，相似度JBn取值就越大。
[0050] 在該示例的情況下，計算單元12針對η = 1，2, 3來比較（JAn+JBn)，并且檢測在 (JAn+JBn)變?yōu)樽畲髸rη的值。即，計算單元12通過該處理來識別當(dāng)捕獲對象圖像PO時 的光源。例如，當(dāng)（JAn+JBn)在η = 1處變?yōu)樽畲髸r，則光源LTl被識別為當(dāng)捕獲對象圖像 PO時的光源。
[0051] 注意，還可以采用基于向量彼此間的絕對值差的評估值作為相似度JAn或JBn。由 于相似度越高絕對值差就越小，所以例如可以采用絕對值差的倒數(shù)等作為評估值。此外，在 該情況下，與上述情況類似，計算單元12檢測在相似度（JAn+JBn)變?yōu)樽畲髸rη的值，并且 識別當(dāng)捕獲對象圖像PO時的光源。
[0052] 通過采用上述方法，使例如根據(jù)用于對象圖像PO的顏色校正的基準(zhǔn)顏色的檢測 結(jié)果來識別光源成為可能。此外，通過識別光源，使基于光源的類型來調(diào)整在顏色校正中施 加的校正量成為可能，并且當(dāng)針對每個光源制備了調(diào)整值時使提高顏色校正準(zhǔn)確度成為可 能。
[0053] 注意，盡管在圖1中以及在上述說明中將連接色坐標(biāo)的向量示為色坐標(biāo)關(guān)系，但 根據(jù)第一實施方式的技術(shù)應(yīng)用范圍不限于此。
[0054] 例如，關(guān)于與基準(zhǔn)顏色BC1、BC2、BC3和BC4不同的另一基準(zhǔn)顏色，存儲單元11可 以存儲根據(jù)在光源LTl下觀測的基準(zhǔn)顏色BCl、BC2、BC3和BC4的色坐標(biāo)通過線性插值而 獲得的另一基準(zhǔn)顏色的色坐標(biāo)作為色坐標(biāo)關(guān)系。類似地，存儲單元11可以存儲根據(jù)在光源 LT2和光源LT3中的每個光源下觀測的基準(zhǔn)顏色BC1、BC2、BC3和BC4的色坐標(biāo)通過線性插 值而獲得的另一基準(zhǔn)顏色的色坐標(biāo)作為色坐標(biāo)關(guān)系。
[0055] 在上述情況下，計算單元12根據(jù)從對象圖像PO獲得的基準(zhǔn)顏色BC1、BC2、BC3和 BC4通過線性插值來獲得另一基準(zhǔn)顏色的色坐標(biāo)，并且將所獲得的色坐標(biāo)與存儲在存儲單 元11中的另一基準(zhǔn)顏色的色坐標(biāo)進行比較。在該情況下，可以使用基于色坐標(biāo)之間的距離 等的評估值（例如，距離的倒數(shù)）作為相似度。通過這樣的機制，計算單元12能夠根據(jù)所 述相似度來識別光源。
[0056] 通過采用上述方法，例如使根據(jù)用于對象圖像PO的顏色校正的基準(zhǔn)顏色的檢測 結(jié)果來識別光源成為可能。此外，由于光源被識別，所以使基于光源的類型來調(diào)整在顏色校 正中施加的校正量成為可能，并