專利名稱：：生成法線信息的圖像處理裝置、方法、計算機程序及視點變換圖像生成裝置的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及通過拍攝被攝體而生成被攝體的表面的法線信息的技術(shù)，特別是涉及根據(jù)從多個視點拍攝的偏振圖像而生成法線信息的技術(shù)。而且，本發(fā)明還涉及利用生成的法線信息，來生成從與拍攝被攝體時的視點位置不同的視點位置看到的圖像的技術(shù)。
背景技術(shù)：
：帶有照相機的手機或數(shù)字照相機、數(shù)字?jǐn)z像機等，被認為將來會與HDTV—起實現(xiàn)高精細化，且謀求附加價值而正不斷地進行小型化。但是，若光學(xué)系統(tǒng)或攝像元件小型化，則會產(chǎn)生靈敏度或鏡頭衍射極限等基本圖像攝像的極限的問題，就將來而言，認為高精細化也會達到極限。這種情況下，除了不足的獲取到的被攝體的圖像信息，還通過賦予與在計算機圖形學(xué)中被利用于圖像生成的各種物理特性相關(guān)的信息量，來提高畫質(zhì)，這是有效的。因此，超出現(xiàn)有的二維圖像處理的范圍，必須獲取被攝體的三維形狀信息或?qū)Ρ粩z體進行照明的光源的信息等圖像生成過程中的物理信息。在形狀信息的輸入中，需要對激光或LED光源進行照明的測距儀(rangefinder)，或雙視野立體設(shè)備等的距離測量系統(tǒng)。但是，這樣的距離測量系統(tǒng)除了規(guī)模大，還存在以下制約，例如，照相機與被攝體的距離最多直到數(shù)m左右才能獲取數(shù)據(jù)的制約；或?qū)ο蟊粩z體被限定為固體且明亮的漫物體等的制約。于是，在孩子的運動會等遠距離的室外場景拍攝、或在頭發(fā)或衣服為重要的人物攝像中不能利用。此外，這些方法會獲取縱深信息作為三維形狀信息。但是，作為在圖像生成過程中的物理信息不是縱深信息，而是法線信息非常有效。當(dāng)然，雖然根據(jù)由這些方法求出的縱深信息來獲取法線信息被廣泛運用(例如，非專利文獻1)，但是，公知如此求出的法線信息的精度不夠(例如，非專利文獻2)?？傊瑸榱嗽谑彝鈭鼍盎蛞话惚粩z體中達到上述目的，需要完全被動地對法線信息進行直接感測(測量)的方法。作為對法線信息進行直接測量的方法，公知有!PhotometricMereo等的所謂ShapeFormShading法和利用偏振的方法。但是，前者是光源位置已知，或需要變動光源位置，所以為主動的感測方法，不能認為是被動的感測方法。作為利用偏振的方法，例如，在專利文獻1中，公開了以下方法通過不對被攝體照明進行特別的假定(隨機偏振非偏振照明)，一邊使安裝在照相機鏡頭前的偏振片旋轉(zhuǎn)，一邊觀測鏡面反射的方法來生成被攝體的局部的法線信息。雖然被攝體的表面法線具有兩種自由度，但它們是通過求出包括光的入射和反射的光線在內(nèi)的入射面與在入射面內(nèi)的入射角這兩個角度來決定法線的。鏡面反射分量的入射面的信息，是根據(jù)使偏振片旋轉(zhuǎn)而變化的亮度成為最小值的角度來求出的。此外，在非專利文獻3中，通過不對被攝體照明進行特別的假定(隨機偏振非偏振照明)，一邊旋轉(zhuǎn)安裝在照相機鏡頭前的偏振片，一邊觀測漫放射分量的方法，求出在被攝體的法線信息中包含光的入射和反射的光線在內(nèi)的出射面的角度1自由度。漫反射分量的出射面的信息，是根據(jù)使偏振片旋轉(zhuǎn)而形成的變化的亮度成為最大值的角度來求出的。此外，在非專利文獻4中，與非專利文獻3相同的方法求出角度1自由度，而且通過直接利用偏振度，求出法線方向向量。而且，在非專利文獻5中，通過組合偏振信息與SiapeFromShading法，針對沒有紋理(texture)的被攝體，進行了法線信息的測量。[專利文獻1]USP5，028,138號公報[非專利文獻1]H.Hopper,Τ.DeRose,Τ.Duchamp,J.McDonald,andW.Stuetzle,“Surfacereconstructionfromunorganizedpoints,"ComputerGraphics(SIGGRAPH'92Proceedings)，pp.71-78，1992.[非專利文獻2]肥后智昭，宮崎大輔，池內(nèi)克史，“來自陰影的形狀與反射參數(shù)的同時推定”，圖像的識別·理解專題研討會論文集(MIRU2007)，pp.1093-1098，2007[非專利文獻3]OndfejDrbohlavandSaraRadim,"Usingpolarizationtodetermineintrinsicsurfaceproperties",Proc.SPIEVol.3826,pp.253-263,1999[##^lJiK4]G.A.AtkinsonandE.R.Hancock,"ShapeEstimationUsingPolarizationandShadingfromTwoViews",IEEETransactionsonPatternAnalysisandMachineIntelligence,Vol.29，Iss.11，pp.2001—2017，2007然而，上述任一個文獻，都存在有問題。具體而言，如以下所述。在上述專利文獻1的技術(shù)中，由于僅將鏡面反射分量作為對象，所以只有利用特殊光源，才能夠獲取被攝體整體的法線信息。此外，在非專利文獻2的技術(shù)中，需要變動光源位置的非常多的圖像，所以不是被動的方法。此外，在非專利文獻3的技術(shù)中，僅將漫反射分量的法線1自由度作為對象，在與如鏡面反射分量的反射特性不同的區(qū)域中，存在不能正確地求出法線信息的問題。此外，在非專利文獻3的技術(shù)中，為了去除鏡面反射分量的影響，而在照相機附近設(shè)置了光源。因此，仍然需要特殊光源，難以認為是被動的方法。而且，在非專利文獻4中，根據(jù)偏振度來直接求出法線方向向量。但是，由于偏振度信息非常易于受到多重反射等的影響，所以能夠適用的被攝體的材質(zhì)或形狀還有拍攝環(huán)境會被大幅度限定。此外，在非專利文獻5中，由于在旋轉(zhuǎn)桌(table)上設(shè)置被攝體來進行拍攝，所以，難以認為是被動的方法。此外，在近年的照相機中，高動態(tài)量程化正在不斷發(fā)展。因此，由于要同時獲取基于鏡面反射分量的偏振和基于漫反射分量的偏振，所以需要針對兩者的區(qū)域來獲取法線信息的方法。
發(fā)明內(nèi)容本發(fā)明的一種圖像處理裝置，通過拍攝被攝體，被動地生成所述被攝體的表面的法線信息，該圖像處理裝置具有立體偏振圖像攝像部，其在各視點位置處接收偏振方向不同的多個偏振光，并獲取視點位置不同的多個偏振圖像；和法線信息生成部，其根據(jù)視點位置不同的所述多個偏振圖像，來推定被攝體的法線方向向量。所述圖像處理裝置還具有偏振信息獲取部，其生成與所述多個偏振光相關(guān)的偏振信息，且分別針對構(gòu)成所述多個偏振圖像的各個偏振圖像的單位圖像，根據(jù)所述多個偏振光的偏振角度及亮度的對應(yīng)關(guān)系，生成偏振信息；立體對應(yīng)獲取部，其推定視點位置不同的所述多個偏振圖像的每個像素的對應(yīng)關(guān)系；區(qū)域分割部，其根據(jù)針對所述偏振圖像的亮度信息及與所述多個偏振光相關(guān)的偏振信息的至少一方信息的類似性，按照光學(xué)上共同的每個區(qū)域，對偏振圖像進行分割；和法線1自由度推定部，其針對所述多個偏振圖像的各個偏振圖像，根據(jù)所述偏振信息，分別推定與由所述區(qū)域分割部所分割的各區(qū)域?qū)?yīng)的被攝體的表面的法線1自由度，所述法線信息生成部可以根據(jù)由所述法線1自由度推定部分別推定出的所述法線1自由度、及由所述立體對應(yīng)獲取部獲取到的所述多個偏振圖像的對應(yīng)關(guān)系，來推定法線方向向量。所述圖像處理裝置還具有偏振信息獲取部，其生成與所述多個偏振光相關(guān)的偏振信息，且分別針對構(gòu)成所述多個偏振圖像的各個偏振圖像的單位圖像，根據(jù)所述多個偏振圖像的偏振角度及亮度的對應(yīng)關(guān)系，生成偏振信息；立體對應(yīng)獲取部，其通過對視點位置不同的所述多個偏振圖像的任一個中所包含的特征點進行確定，并根據(jù)所述特征點搜索其它所述多個偏振圖像，從而確定在所述多個偏振圖像的每個偏振圖像之間已建立對應(yīng)的特征點，并根據(jù)各特征點，推定所述多個偏振圖像的每個像素的對應(yīng)關(guān)系；區(qū)域分割部，其根據(jù)針對所述偏振圖像的亮度信息及與所述多個偏振光相關(guān)的偏振信息的至少一方信息的類似性，按照光學(xué)上共同的每個區(qū)域，對偏振圖像進行分割；和法線1自由度推定部，其針對所述多個偏振圖像的各個偏振圖像，根據(jù)所述偏振信息，分別推定與由所述區(qū)域分割部所分割的各區(qū)域?qū)?yīng)的被攝體的表面的法線1自由度，所述法線信息生成部可以根據(jù)由所述法線1自由度推定部分別推定出的所述法線1自由度、及由所述立體對應(yīng)獲取部獲取到的所述多個偏振圖像的對應(yīng)關(guān)系，來推定法線方向向量。所述偏振信息獲取部可以生成偏振度、偏振相位、偏振推定誤差、偏振最大亮度值、偏振最小亮度值的至少一個作為偏振信息。所述區(qū)域分割部可以將所述被攝體的表面分割為漫反射區(qū)域及鏡面反射區(qū)域的任一個。所述區(qū)域分割部，將所述被攝體的表面分割為漫反射區(qū)域、鏡面反射區(qū)域及陰影區(qū)域的任一個。所述區(qū)域分割部可以將所述被攝體的表面分割為漫反射區(qū)域、鏡面反射區(qū)域、附屬陰影區(qū)域及投影陰影區(qū)域的任一個。所述區(qū)域分割部可以將所述被攝體的表面分割為漫反射區(qū)域、鏡面反射區(qū)域、立體未對應(yīng)區(qū)域及遮擋區(qū)域的任一個。所述法線1自由度推定部可以針對所述漫反射區(qū)域，生成所述對應(yīng)關(guān)系中亮度最大的偏振主軸角度作為與該區(qū)域?qū)?yīng)的所述被攝體的出射面的法線信息。所述法線1自由度推定部可以針對所述立體未對應(yīng)區(qū)域及遮擋區(qū)域，根據(jù)法線方向向量存在于與光軸正交的平面上，生成法線方向向量。所述法線1自由度推定部可以針對所述鏡面反射區(qū)域及附屬陰影區(qū)域，生成所述對應(yīng)關(guān)系中亮度最小的偏振主軸角度，以作為與該區(qū)域?qū)?yīng)的所述被攝體的入射面的法線信息。所述法線信息生成部可以在視點位置不同的多個偏振圖像中，通過求出所述法線1自由度推定部所推定的入射面或出射面的交線，生成法線方向向量。所述法線信息生成部可以通過對所生成的法線方向向量與視線方向的相對關(guān)系進行評價，去除所生成的法線方向向量的不確定性。所述立體對應(yīng)獲取部可以利用所述偏振信息獲取部獲取到的偏振最小亮度值來獲取立體圖像的對應(yīng)。所述法線信息生成部可以針對遮擋區(qū)域，利用法線方向向量與視線向量的正交，在所述法線1自由度推定部推定出的入射面或出射面上，生成與視線向量正交的向量，以作為法線方向向量。本發(fā)明的另一種圖像處理裝置，通過拍攝被攝體，生成所述被攝體的表面的法線信息，該圖像處理裝置具有立體偏振圖像攝像部，其在各視點位置處接收偏振方向不同的多個偏振光，并獲取視點位置不同的多個偏振圖像；偏振信息獲取部，其生成與所述多個偏振光相關(guān)的偏振信息，且分別針對構(gòu)成所述多個偏振圖像的各個偏振圖像的單位圖像，根據(jù)所述多個偏振圖像的偏振角度及亮度的對應(yīng)關(guān)系，生成偏振信息；立體對應(yīng)獲取部，其推定視點位置不同的所述多個偏振圖像的每個像素的對應(yīng)關(guān)系；法線1自由度推定部，其針對所述多個偏振圖像的各個偏振圖像，根據(jù)所述偏振信息，對假設(shè)了鏡面反射分量的處理和假設(shè)了漫反射分量的處理進行切換，從而推定對應(yīng)的被攝體的表面的多個法線1自由度候補；法線信息生成部，其根據(jù)由所述法線1自由度推定部分別推定出的所述法線1自由度、及由所述立體對應(yīng)獲取部獲取到的所述多個偏振圖像的對應(yīng)關(guān)系，生成多個法線方向向量候補；和最佳法線選擇部，其從由所述法線信息生成部生成的多個法線方向向量候補中，選擇一個候補作為最佳法線方向向量。所述法線信息生成部可以根據(jù)法線方向向量的連續(xù)性、鏡面反射分量與漫反射分量的空間連續(xù)性、偏振信息、遮擋邊緣附近區(qū)域的法線方向向量、法線信息及縱深信息的至少一個，選擇最佳法線方向向量。所述圖像處理裝置還可以具有可靠性推定部，該可靠性推定部用于推定所述法線信息生成部生成的所述法線方向向量的可靠性，并根據(jù)所述可靠性的低下程度，廢棄所述法線方向向量。所述法線信息生成部可以根據(jù)可靠性的低下程度，將所述法線方向向量置換為基于縱深信息求出的法線方向向量。所述法線信息生成部可以根據(jù)可靠性的低下程度，將所述法線方向向量置換為通過根據(jù)附近的法線方向向量進行內(nèi)插處理而求出的法線方向向量。所述可靠性推定部可以根據(jù)所述偏振信息獲取部獲取到的偏振信息、所述區(qū)域分割部的區(qū)域分割結(jié)果、所述法線1自由度推定部推定出的法線1自由度信息及所述法線信息生成部生成的法線方向向量的至少一個，來推定法線方向向量的可靠性。所述可靠性推定部可以在視點位置不同的多個偏振圖像中，根據(jù)所述法線1自由度推定部推定出的法線1自由度信息，即入射面或出射面形成的角度的大小，來改變推定的法線方向向量的可靠性的大小。所述區(qū)域分割部可以將所述被攝體的表面作為陰影區(qū)域來進行區(qū)域分割，所述可靠性推定部可以將在所述區(qū)域分割部區(qū)域分割為陰影區(qū)域的區(qū)域中的法線方向向量的可靠性推定得相對更低。所述區(qū)域分割部可以將所述被攝體的表面作為投影陰影區(qū)域來進行區(qū)域分割，所述可靠性推定部可以將在所述區(qū)域分割部區(qū)域分割為投影陰影區(qū)域的區(qū)域中的法線方向向量的可靠性推定得相對更低。所述可靠性推定部可以根據(jù)所述偏振信息獲取部獲取到的偏振信息、及所述區(qū)域分割部的區(qū)域分割結(jié)果來計算法線信息，并對計算出的法線信息和所述法線信息生成部生成的法線方向向量進行比較，且根據(jù)該差值，改變法線方向向量的可靠性。本發(fā)明的又一種圖像處理裝置，通過拍攝被攝體，生成所述被攝體的表面的法線信息，該圖像處理裝置具有立體偏振圖像攝像部，其在各視點位置處接收偏振方向不同的多個偏振光，并獲取被攝體的視點位置不同的三個以上的多個偏振圖像；偏振信息獲取部，其生成與所述多個偏振光相關(guān)的偏振信息，且分別針對構(gòu)成所述多個偏振圖像的各個偏振圖像的單位圖像，根據(jù)所述多個偏振圖像的偏振角度及亮度的對應(yīng)關(guān)系，生成偏振信息；立體對應(yīng)獲取部，其推定視點位置不同的所述多個偏振圖像的每個像素的對應(yīng)關(guān)系；區(qū)域分割部，其根據(jù)針對所述偏振圖像的亮度信息及與所述多個偏振光相關(guān)的偏振信息的至少一方信息的類似性，按照光學(xué)上共同的每個區(qū)域，對偏振圖像進行分割；法線1自由度推定部，其根據(jù)所述偏振信息，按照由所述區(qū)域分割部分割的每個區(qū)域來切換處理，從而推定對應(yīng)的被攝體的表面的法線1自由度；法線信息生成部，其根據(jù)所述法線1自由度推定部分別推定出的所述法線1自由度、及由所述立體對應(yīng)獲取部獲取到的所述多個偏振圖像的對應(yīng)關(guān)系，來推定多個法線方向向量；和最佳法線選擇部，其從由所述法線信息生成部生成的所述多個法線方向向量候補中，選擇一個候補作為最佳法線方向向量。所述法線信息生成部可以根據(jù)視點位置不同的所述三個以上的多個偏振圖像，按照每兩個偏振圖像生成多個法線方向向量候補。所述最佳法線選擇部可以根據(jù)所述立體偏振圖像攝像部拍攝到的偏振圖像、所述偏振信息獲取部獲取到的偏振信息、所述區(qū)域分割部的區(qū)域分割結(jié)果、所述法線1自由度推定部推定出的法線1自由度信息、及所述法線信息生成部生成的法線方向向量的至少一個，從所述多個法線方向向量候補中，選擇一個候補作為最佳法線方向向量。所述最佳法線選擇部可以在視點位置不同的所述三個以上的多個偏振圖像中，將所述法線1自由度推定部推定出的法線1自由度信息，即入射面或出射面形成的角度最大的法線方向向量候補，推定為最佳法線方向向量。所述最佳法線選擇部可以根據(jù)所述可靠性推定部推定出的偏振信息及所述區(qū)域分割部的區(qū)域分割結(jié)果來計算法線信息，并對計算出的法線信息和所述法線信息生成部生成的法線方向向量進行比較，將該差值最小的法線方向向量候補推定為最佳法線方向向量。本發(fā)明的又一種圖像處理裝置，通過拍攝被攝體，生成所述被攝體的表面的法線信息，該圖像處理裝置具有立體偏振圖像攝像部，其在各視點位置處接收偏振方向不同的多個偏振光，并獲取被攝體的視點位置不同的三個以上的多個偏振圖像；偏振信息獲取部，其生成與所述多個偏振光相關(guān)的偏振信息，且分別針對構(gòu)成所述多個偏振圖像的各個偏振圖像的單位圖像，根據(jù)所述多個偏振圖像的偏振角度及亮度的對應(yīng)關(guān)系，生成偏振信息；立體對應(yīng)獲取部，其推定視點位置不同的所述多個偏振圖像的每個像素的對應(yīng)關(guān)系；區(qū)域分割部，其根據(jù)針對所述偏振圖像的亮度信息及與所述多個偏振光相關(guān)的偏振信息的至少一方信息的類似性，按照光學(xué)上共同的每個區(qū)域，對偏振圖像進行分割；法線1自由度推定部，其根據(jù)所述偏振信息，按照由所述區(qū)域分割部分割的每個區(qū)域來切換處理，從而推定對應(yīng)的被攝體的表面的法線1自由度；法線信息生成部，其根據(jù)所述法線1自由度推定部分別推定出的所述法線1自由度、及由所述立體對應(yīng)獲取部獲取到的所述多個偏振圖像的對應(yīng)關(guān)系，來推定多個法線方向向量。所述法線信息生成部可以生成由所述法線1自由度推定部推定出的多個入射面或出射面形成的角度最大的方向向量作為法線信息向量。所述法線信息生成部可以通過利用法線方向向量的連續(xù)性、鏡面反射分量與漫反射分量的空間連續(xù)性、偏振信息、遮擋邊緣附近區(qū)域的法線方向向量、法線信息及縱深信息的至少一個信息作為約束條件，來選擇法線方向向量。所述立體偏振圖像攝像部可以接收來自透過偏振主軸角度不同的多個偏振片的所述被攝體的光，以作為在所述各視點位置處偏振方向不同的多個偏振光。所述立體偏振圖像攝像部可以通過使能利用旋轉(zhuǎn)來改變偏振主軸角度的偏振片旋轉(zhuǎn)，從而接收透過所述偏振片的來自所述被攝體的光，作為在所述各視點位置處偏振方向不同的多個偏振光。本發(fā)明的一種信息處理方法，是通過拍攝被攝體來生成所述被攝體的表面的法線信息的法線信息生成方法，該信息處理方法包括在各視點位置處接收偏振方向不同的多個偏振光，并獲取視點位置不同的多個偏振圖像的步驟；生成與所述多個偏振光相關(guān)的偏振信息，且分別針對構(gòu)成所述多個偏振圖像的各個偏振圖像的單位圖像，根據(jù)所述多個偏振圖像的偏振角度及亮度的對應(yīng)關(guān)系，生成偏振信息的步驟；對視點位置不同的所述多個偏振圖像的每個像素的對應(yīng)關(guān)系進行推定的步驟；針對所述多個偏振圖像的各個偏振圖像，根據(jù)所述偏振信息，通過對假設(shè)了鏡面反射分量的處理和假設(shè)了漫反射分量的處理進行切換，來推定對應(yīng)的被攝體的表面的多個法線1自由度候補的步驟；根據(jù)針對所述偏振圖像的亮度信息及與所述多個偏振光相關(guān)的偏振信息的至少一方信息的類似性，按照光學(xué)上共同的每個區(qū)域，對偏振圖像進行分割的步驟；根據(jù)所述偏振信息，按照由所述區(qū)域分割部分割的每個區(qū)域來切換處理，從而推定對應(yīng)的被攝體的表面的法線1自由度的步驟；根據(jù)推定出的所述法線1自由度及所述多個偏振圖像的每個像素的對應(yīng)關(guān)系，來推定多個法線方向向量的步驟；以及從生成的所述多個法線方向向量候補中，選擇一個候補作為最佳法線方向向量的步驟。本發(fā)明的一種計算機程序是用于圖像處理裝置的計算機程序，該圖像處理裝置通過拍攝被攝體而生成所述被攝體的表面的法線信息，該計算機程序使所述圖像處理裝置的計算機執(zhí)行所述方法中包括的各個步驟。本發(fā)明的一種視點變換圖像生成裝置，通過在多個不同的視點位置拍攝被攝體，來合成從與拍攝所述被攝體時不同的任意視點位置看到的圖像，該視點變換圖像生成裝置具有立體偏振圖像攝像部，其在多個不同的視點位置的每個視點位置處接收偏振方向不同的多個偏振光，并獲取視點位置不同的多個偏振圖像；法線信息生成部，其根據(jù)視點位置的不同的所述多個偏振圖像，將被攝體的法線方向向量推定為法線信息；形狀復(fù)原部，其根據(jù)所述法線信息，復(fù)原所述被攝體的三維形狀；和視點變換部，其根據(jù)所述三維形狀，變換所拍攝的所述被攝體的圖像的視點位置。所述視點變換圖像裝置還具有鏡面反射圖像生成部，其利用規(guī)定的反射模型，根據(jù)視點變換后的圖像，生成鏡面反射圖像；合成部，其合成多個圖像來生成一個圖像；和提示部，其對圖像進行提示，所述視點變換部可以對從所述被攝體的圖像中將漫反射分量和鏡面反射分量進行分離后得到的漫反射圖像、及從所述法線信息生成部得到的法線圖像兩者進行視點變換，所述鏡面反射圖像生成部可以根據(jù)視點變換后的所述法線圖像，生成鏡面反射圖像，所述合成部可以對視點變換后的所述漫反射圖像及生成的所述鏡面反射圖像進行合成，所述提示部可以對合成后的圖像進行提示。所述視點變換圖像裝置還具有立體對應(yīng)獲取部，該立體對應(yīng)獲取部用于推定視點位置不同的所述多個偏振圖像的每個像素的對應(yīng)關(guān)系，所述形狀復(fù)原部可以利用由所述法線信息生成部得到的法線圖像及與在由所述立體對應(yīng)獲取部得到的所述多個偏振圖像之間所對應(yīng)像素的特征點對應(yīng)的三維位置，對所述被攝體的三維形狀進行復(fù)原。所述視點變換圖像裝置還可以具有提示部，該提示部根據(jù)觀察者的視點位置，依次在二維畫面中顯示視點變換后的二維圖像。所述視點變換圖像裝置還可以具有提示部，該提示部通過生成觀察者的視點位置處的兩種視差圖像，從而以多視點進行立體顯示。本發(fā)明的一種圖像生成裝置，通過拍攝被攝體來復(fù)原所述被攝體的形狀，該圖像生成裝置具有立體偏振圖像攝像部，其在各視點位置處接收偏振方向不同的多個偏振光，并獲取視點位置不同的多個偏振圖像；法線信息生成部，其根據(jù)視點位置不同的所述多個偏振圖像，將被攝體的法線方向向量推定為法線信息；和形狀復(fù)原部，其根據(jù)所述法線信息，對所述被攝體的三維形狀進行復(fù)原。(發(fā)明效果)根據(jù)本發(fā)明，通過利用被攝體的偏振信息，來進行鏡面反射區(qū)域和漫反射區(qū)域的區(qū)域分割，并按每個區(qū)域生成法線信息。由此，能針對廣闊的區(qū)域被動地生成(或推定)高精度的法線信息。圖1是表示圖像處理裝置500的結(jié)構(gòu)的圖。圖2是對獲取三維形狀信息的方法進行比較的圖。圖3是表示圖像處理裝置500的處理的流程的流程圖。圖4是表示本發(fā)明的第一及第二實施方式的法線信息生成裝置的結(jié)構(gòu)的功能方框圖。圖5是表示搭載了本發(fā)明的第一及第二及第三及第四及第五實施方式的法線信息生成裝置的照相機的結(jié)構(gòu)例的圖。圖6是表示本發(fā)明的模式偏振片與攝像裝置中的攝像元件的關(guān)系的示意圖。圖7是表示本發(fā)明的第一實施方式的法線信息生成裝置的處理的流程的流程圖。圖8是用于說明本發(fā)明的模式偏振片的排列狀態(tài)的示意圖。圖9是用于說明本發(fā)明的正弦函數(shù)亮度變化與觀測亮度點的示意圖。圖10是表示由本申請發(fā)明人進行拍攝時的照相機200與被攝體的位置關(guān)系、及照相機200內(nèi)的模式偏振片201和201-2的位置關(guān)系的圖。圖11(a)(d)是拍攝球體即地球儀的被攝體而得到的圖像、與根據(jù)該圖像求出的偏振度P1和偏振相位ctmaxi、偏振推定誤差El的圖。圖12(a)(d)是拍攝球體即地球儀的被攝體而得到的圖像、與根據(jù)該圖像求出的偏振度P1和偏振相位ctmaxi、偏振推定誤差El的圖。圖13(a)(d)是表示圖11(a)(d)所示的圖像與圖12(a)(d)所示的各區(qū)域的對應(yīng)關(guān)系的圖。圖14是拍攝泡沫聚苯乙烯制的頭部模型的被攝體而得到的圖像與根據(jù)該圖像求出的偏振度P1和偏振相位φπχ、偏振推定誤差El的圖。圖15是表示本發(fā)明的第一實施方式的立體對應(yīng)獲取部的處理的流程的流程圖。圖16(a)及(b)是用于說明本發(fā)明的第一實施方式的立體對應(yīng)獲取部的對應(yīng)點間的插值處理的示意圖。圖17是表示被攝體的折射率η=1.1、1.3、1.5,2.0時相對于鏡面反射分量的入射角的偏振度的圖形。圖18是表示被攝體的折射率η=1.1、1.3、1.5、2.0時相對于漫反射分量的出射角的偏振度的圖形。圖19是用于說明法線方向向量、視線向量、光源方向向量的關(guān)系的示意圖。圖20是表示本發(fā)明的第一實施方式的區(qū)域分割部中的區(qū)域分割基準(zhǔn)的示意圖。圖21是表示本發(fā)明的第一實施方式的區(qū)域分割部中的另一區(qū)域分割基準(zhǔn)的示意圖。圖22是用于說明本發(fā)明的模型偏振片的其它排列狀態(tài)的示意圖。圖23是用于說明本發(fā)明的第一實施方式的法線信息生成部的法線方向向量推定處理的示意圖。圖(d)是用立體偏振圖像攝像部拍攝球體即地球儀的被攝體而得到的圖像、和根據(jù)該立體偏振圖像而求出的偏振相位Φπιμ的圖。圖25(a)(d)是用立體偏振圖像攝像部拍攝球體即地球儀的被攝體而得到的圖像、和根據(jù)該立體偏振圖像而求出的偏振相位Φπιμ的示意圖。圖沈⑷(d)是表示圖(d)所示的圖像與25(a)(d)所示的各區(qū)域的對應(yīng)關(guān)系的圖。圖27(a)(c)是將由本發(fā)明的第一實施方式的法線信息生成裝置所推定的法線方向向量、及由本發(fā)明的第六實施方式的法線信息生成裝置所推定的法線方向向量候補進行可視化而得到的法線圖像的圖。圖^(a)(c)是將由本發(fā)明的第一實施方式的法線信息生成裝置所推定的法線方向向量、及由本發(fā)明的第六實施方式的法線信息生成裝置所推定的法線方向向量候補進行可視化而得到的法線圖像的示意圖。圖^(a)(c)分別表示圖27(a)(c)所示圖像與圖觀(a)(c)所示各區(qū)域的對應(yīng)關(guān)系的圖。圖30是用于說明坐標(biāo)系的X、y、ζ方向的示意圖。圖31是表示本發(fā)明的第二實施方式的法線信息生成裝置的處理的流程的流程圖。圖32是表示本發(fā)明的第二實施方式的法線信息生成裝置的處理的流程的流程圖。圖33是表示本發(fā)明的第二實施方式的區(qū)域分割部的處理的流程的流程圖。圖34是用于說明遮擋區(qū)域即未對應(yīng)區(qū)域與法線方向的關(guān)系的示意圖。圖35是表示本發(fā)明的第三實施方式的法線信息生成裝置的結(jié)構(gòu)的功能方框圖。圖36是在本發(fā)明的第三實施方式的法線信息生成部中，用于將鏡面反射分量或漫分量的空間的連續(xù)性用作約束條件的狀態(tài)轉(zhuǎn)移圖。圖37是表示本發(fā)明的第三實施方式的法線信息生成裝置的處理的流程的流程圖。圖38是表示本發(fā)明的第四及第五實施方式的法線信息生成裝置的結(jié)構(gòu)的功能方框圖。圖39是用于說明法線方向向量推定的可靠性的示意圖。圖40是表示本發(fā)明的第四實施方式的法線信息生成裝置的處理的流程的流程圖。圖41是表示本發(fā)明的第四實施方式的法線信息生成裝置的處理的流程的流程圖。圖42是用于說明入射出射面角的計算方法的示意圖。圖43是表示本發(fā)明的第四實施方式的法線信息生成裝置的結(jié)構(gòu)的另一功能方框圖。圖44是表示本發(fā)明的第四實施方式的區(qū)域分割部的處理的流程的另一流程圖。圖45是表示本發(fā)明的第四實施方式的區(qū)域分割部的處理的流程的另一流程圖。圖46是表示本發(fā)明的第五實施方式的法線信息生成裝置的結(jié)構(gòu)的另一功能方框圖。圖47是表示本發(fā)明的第五實施方式的區(qū)域分割部中的區(qū)域分割基準(zhǔn)的示意圖。圖48是表示本發(fā)明的第五實施方式的法線信息生成裝置的處理的流程的另一流程圖。圖49是表示本發(fā)明的第五實施方式的法線信息生成裝置的處理的流程的另一流程圖。圖50是用于說明attachedshadow和castshadow這樣陰影的分類的示意圖。圖51是用于說明attachedshadow區(qū)域中的多重反射光的入射的示意圖。圖52是用于說明castshadow區(qū)域中的多重反射光的入射的示意圖。圖53是表示本發(fā)明的第五實施方式的區(qū)域分割部中針對陰影區(qū)域和被分割區(qū)域的區(qū)域分割基準(zhǔn)的示意圖。圖M是表示本發(fā)明的第五實施方式的區(qū)域分割部的處理的流程的流程圖。圖55是表示本發(fā)明的第五實施方式的區(qū)域分割部中針對陰影區(qū)域和被分割區(qū)域的另一區(qū)域分割基準(zhǔn)的示意圖。圖56是表示本發(fā)明的第五實施方式的區(qū)域分割部的處理的流程的另一流程圖。圖57是表示本發(fā)明的第五實施方式的法線信息生成裝置的處理的流程的另一流程圖。圖58是表示本發(fā)明的第六實施方式的法線信息生成裝置的結(jié)構(gòu)的功能方框圖。圖59是表示本發(fā)明的第六實施方式的法線信息生成裝置的處理的流程的流程圖。圖60是表示本發(fā)明的第六實施方式的法線信息生成裝置的處理的流程的流程圖。圖61是表示搭載有本發(fā)明的第六及第七實施方式的法線信息生成裝置的照相機的結(jié)構(gòu)例的圖。圖62是表示由本申請發(fā)明人進行拍攝時的照相機200與被攝體的位置關(guān)系、及照相機200內(nèi)的模式偏振片201、201-2和201-3的位置關(guān)系的圖。圖63(a)(d)是表示由立體偏振圖像攝像部拍攝球體即地球儀的被攝體而得到的圖像和根據(jù)該立體偏振圖像求出的偏振相位Φπιμ的圖。圖64(a)及(b)分別表示與圖63(c)及(d)所示的圖像對應(yīng)的區(qū)域的圖。圖65(a)(c)是將由本發(fā)明的第六實施方式的法線信息生成裝置所推定的法線方向向量候補進行可視化而得到的法線圖像的圖。圖66(a)(c)是將由本發(fā)明的第六實施方式的法線信息生成裝置所推定的法線方向向量候補進行可視化而得到的法線圖像的示意圖。圖67(a)(c)分別表示圖65(a)(c)所示的圖像與圖66(a)(c)所示的各區(qū)域的對應(yīng)關(guān)系的圖。圖68(a)(d)是將由本發(fā)明的第六實施方式的最佳法線選擇部所選擇的法線方向向量及最佳法線選擇結(jié)果進行可視化而得到的法線圖像的圖。圖69(a)(d)是將由本發(fā)明的第六實施方式的最佳法線選擇部所選擇的法線方向向量及最佳法線選擇結(jié)果進行可視化而得到的法線圖像的示意圖。圖70(a)(d)分別表示圖68(a)(d)所示的圖像與圖69(a)(d)所示的各區(qū)域的對應(yīng)關(guān)系的圖。圖71是表示本發(fā)明的第六實施方式的法線信息生成裝置的結(jié)構(gòu)的另一功能方框圖。圖72是表示本發(fā)明的第六實施方式的最佳法線選擇部及法線信息生成部的處理的流程的另一流程圖。圖73是表示本發(fā)明的第七實施方式的法線信息生成裝置的結(jié)構(gòu)的另一的功能方框圖。圖74是表示本發(fā)明的第七實施方式的法線信息生成裝置的處理的流程的流程圖。圖75是表示本發(fā)明的第八實施方式的視點變換圖像生成裝置的方框圖。圖76是表示形狀復(fù)原部的動作的流程圖。圖77是表示梯度與法線向量N的幾何學(xué)的關(guān)系的圖。圖78是說明梯度(p，q)的具體的積分方法的圖。圖79是表示根據(jù)法線圖像生成縱深圖像的過程的圖。圖80是通過根據(jù)立體視野的控制點來控制縱深圖像的復(fù)原的說明圖。圖81是表示形狀復(fù)原部的各步驟的處理結(jié)果的圖。圖82是表示DS分離部的處理的圖。圖83是表示3D形狀數(shù)據(jù)結(jié)構(gòu)的圖。圖84是說明視點變換處理的流程圖。圖85是說明視點變換處理的示意圖。圖86是說明鏡面反射模型的圖。圖87是表示所生成的視點變換圖像的結(jié)果例的圖。圖88是表示所合成的視點的幾何學(xué)的關(guān)系OD顯示器的情況)的圖。圖89是表示所合成的視點的幾何學(xué)的關(guān)系(3D顯示器的情況)的圖。圖中101-立體偏振圖像攝像部，102-偏振圖像攝像部，103-偏振信息獲取部，104-立體對應(yīng)獲取部，105-區(qū)域分割部，106-法線1自由度推定部，107-法線信息生成部，108-最佳法線選擇部，109-可靠性推定部。具體實施例方式參考附圖，對本發(fā)明的法線信息生成裝置及具有法線信息生成裝置的圖像處理裝置的實施方式進行說明。以下說明的各實施方式，主要涉及本發(fā)明的法線信息生成裝置。在各實施方式的說明之前，首先對具有法線信息生成裝置的圖像處理裝置的結(jié)構(gòu)及動作進行說明。圖1表示本發(fā)明的圖像處理裝置500的結(jié)構(gòu)。圖像處理裝置500具有法線信息生成裝置501；圖像攝像部502；DB503；圖像處理部504和提示部505。法線信息生成裝置501是后述的從第一至第七實施方式中的任一個涉及的法線信息生成裝置。法線信息生成裝置501，生成并輸出被攝體的表面的法線信息。該信息表示通過法線信息生成裝置501推定的圖像內(nèi)的法線方向向量。在本說明書中，有時將法線信息生成裝置501生成法線信息(法線方向向量)稱為“推定法線信息(法線方向向量)”。而且，法線信息生成裝置501可以收容在一個殼體中，此外，也可以與圖像攝像部502、DB503及圖像處理部504—起收容在一個殼體中。前者的情況，也可以與后述的圖像攝像部502(照相機)、提示部505(顯示器)等其它結(jié)構(gòu)要素一起，實現(xiàn)為一個圖像處理系統(tǒng)。圖像攝像部502例如是照相機且拍攝被攝體。后述的各實施方式的各法線信息生成裝置由于具有圖像攝像部，所以通過利用該圖像攝像部，除了設(shè)置法線信息生成裝置之外，不需要還另外設(shè)置圖像攝像部502，可以省略。DB503保持有被攝體信息等。提示部505例如是顯示器、且向用戶提示在圖像處理部504制成的圖像。圖像處理部504，利用由圖像攝像部502拍攝的圖像信息、由法線信息生成裝置501推定的法線方向向量信息、和在所述DB503中保持的被攝體信息，來進行圖像處理。例如，圖像處理部504，可以利用稱為基于模型的圖像合成的方法來進行圖像處理。該方法是如下方法獲取被攝體的法線信息或紋理信息，而且，通過利用光源信息、照相機信息等，合成自由的視點位置的圖像或任意的光源環(huán)境的圖像的方法。因此，在數(shù)字壓縮或擴展的現(xiàn)實領(lǐng)域中，被利用為交互式的圖像提示方法(例如，Y.Sato,Μ.D.Wheeler,andK.lkeuchi,"Objectshapeandreflectancemodelingfromobservation",SIGGRAPH97，pp.379-387，1997)。作為法線信息生成裝置501，通過利用本實施方式的法線信息生成裝置，使高精度的基于模型的圖像合成成為可能。此外，圖像處理部504，可以進行基于模型的圖像的高分辨率化處理。在利用學(xué)習(xí)的圖像處理中，學(xué)習(xí)時與圖像合成時的視點位置或光源環(huán)境的變化成為大問題。但是，通過導(dǎo)入基于模型的方法，從而解決該問題，并且使高精度的高分辨率化處理成為可能。這樣的圖像處理裝置500，例如，可以利用專利第4082714號公報等。此外，圖像處理部504，可以在FA(工廠自動化)中被廣泛利用，也可以進行在被攝體的表面檢查等中所利用的圖像處理。這是通過對理想的表面法線方向和實際的表面法線方向進行比較，檢測出被攝體表面的損傷等的技術(shù)。圖2是對圖像處理裝置500獲取三維形狀信息的方法進行比較的圖。法線信息生成裝置501，被動地生成構(gòu)成三維形狀信息的信息之中的法線信息。以往的偏振法等是主動地求出法線信息的方法，與被動地生成的本發(fā)明不同。對于構(gòu)成三維形狀信息的縱深信息，由于不是本發(fā)明的對象，故省略其說明。圖3是表示圖像處理裝置500的處理的流程的流程圖。對包圍各步驟S601S605的虛線而賦予的參考符號501505，與上述圖像處理裝置500的構(gòu)成要素的參考符號對應(yīng)，表示各構(gòu)成要素執(zhí)行的處理。首先，圖像攝像部502，進行被攝體表面的攝像(步驟S601)。法線信息生成裝置501，通過與各實施方式關(guān)聯(lián)地利用后述任一方法，推定被攝體表面的法線方向向量ne(步驟S602)。圖像處理部504，獲取在DB503中保持的被攝體表面的理想法線方向向量ni(步驟5603)。被攝體表面的理想法線方向向量ni，例如，可以作為根據(jù)被攝體的CAD信息制成的形狀信息來實現(xiàn)。其中，步驟S601、步驟S602、步驟S603的順序是任意的，可以依次執(zhí)行，當(dāng)然，也可以并行地執(zhí)行。圖像處理部504，通過比較由法線信息生成裝置501推定的被攝體表面的法線方向向量ne和在DB503中保持的被攝體表面的理想法線方向向量ni，檢測出異常法線(步驟5604)。若對該處理進行具體地說明，則首先，圖像處理部504利用由圖像攝像部502拍攝的圖像信息，來進行理想法線方向向量ni的形狀信息的位置對準(zhǔn)。之后，圖像處理部504對法線方向向量ne與理想法線方向向量ni的差分進行檢測，并檢測出差分值大的法線方向向量ne作為異常法線。利用圖像信息的形狀信息的位置對準(zhǔn)，可以采用公知的技術(shù)。提示部505，針對由圖像攝像部502拍攝的被攝體的圖像，強調(diào)與由圖像處理部504檢測出的異常法線對應(yīng)的像素，并向用戶提示(步驟S605)。這樣的像素的強調(diào)，例如，只要進行以紅色表示與異常法線對應(yīng)的像素等的處理即可。而且，利用法線信息來檢測異常法線的上述的處理是一個示例。通過將得到的法線信息與被攝體的圖像信息一起利用，能夠進行與圖像生成中利用的各種物理特性相關(guān)的信息量的賦予。由此，能夠提供比僅利用被攝體的圖像信息而顯示的計算機圖形更高品質(zhì)的計算機圖形。以下，對法線信息生成裝置的各實施方式進行說明。(第一實施方式)首先，對本發(fā)明的第一實施方式的法線信息生成裝置的概要進行說明。圖4是表示本實施方式的法線信息生成裝置100的結(jié)構(gòu)的功能方框圖。該法線信息生成裝置100，通過拍攝被攝體而生成被攝體的表面的法線信息。法線信息生成裝置100具有構(gòu)成立體偏振圖像攝像部101的偏振圖像攝像部102及102-2；偏振信息獲取部103及103-2；立體對應(yīng)獲取部104；區(qū)域分割部105及105-2；法線1自由度推定部106及106-2；法線信息生成部107；和輸出部120。其中，第二偏振圖像攝像部102-2、第二偏振信息獲取部103-2、第二區(qū)域分割部105-2、第二法線1自由度推定部106-2的處理，與第一偏振圖像攝像部102、第一偏振信息獲取部103、第一區(qū)域分割部105、第一法線1自由度推定部106的處理相同。因此，在以下的說明中，多數(shù)情況下，為了簡化而僅采用后者來進行說明。立體偏振圖像攝像部101由多個偏振圖像攝像部102構(gòu)成，且獲取視點不同的多個偏振圖像。偏振圖像攝像部102，通過透過偏振主軸角度不同的多個偏振片而感光透過來的光，從而獲取被攝體的偏振圖像。偏振信息獲取部103，根據(jù)由偏振圖像攝像部102獲取到的偏振圖像，針對構(gòu)成該偏振圖像的各個圖像區(qū)域，利用多個偏振片的偏振主軸角度與透過多個偏振片的光的亮度的對應(yīng)關(guān)系，來生成與感光到的偏振相關(guān)的信息即偏振信息。立體對應(yīng)獲取部104，在立體偏振圖像攝像部101獲取到的多個偏振圖像中，推定每個像素的對應(yīng)關(guān)系。區(qū)域分割部105，利用立體偏振圖像的亮度信息及由偏振信息獲取部103生成的立體偏振圖像中的偏振信息的至少一種信息中的類似性(共同性)，按照光學(xué)上共通的每個區(qū)域來分割偏振圖像。具體而言，區(qū)域分割部105，利用圖像的亮度或偏振信息，將該圖像區(qū)域作為鏡面反射區(qū)域或漫反射區(qū)域來進行區(qū)域分割。法線1自由度推定部106，通過利用在偏振信息獲取部103生成的偏振信息，按照由區(qū)域分割部105分割的每個區(qū)域進行不同的處理，從而推定對應(yīng)的被攝體表面的法線1自由度。法線信息生成部107，通過利用在立體對應(yīng)獲取部104獲取到的圖像的對應(yīng)關(guān)系，統(tǒng)一由法線1自由度推定部106、106-2所推定的多個法線1自由度，從而生成法線方向向量。輸出部120是輸出法線信息的輸出端子?；蛘?，輸出部120也可以是與后述的圖11等所示的圖像等一起輸出以法線信息為基礎(chǔ)的法線的圖像的顯示器。后者的情況下，輸出部120與提示部505(圖1)對應(yīng)。圖5是表示搭載有本實施方式的法線信息生成裝置100的照相機200的硬件結(jié)構(gòu)例。圖6是表示圖5所示的模式偏振片201與攝像元件202的關(guān)系的示意圖。該照相機200是具有生成法線信息功能的攝像裝置，且具有多個模式偏振片201及201-2；多個攝像元件202及202-2；存儲器203；和CPU204。模式偏振片201、201_2，如圖6所示，是將偏振主軸角度UU=0°、45°、90°、135°的四種偏振片作為一組而以二維形狀配置的偏振片的集合。在圖6中，雖然僅表示了模式偏振片201、攝像元件202，但這與模式偏振片201-2、攝像元件202-2的情況相同。因此，在以下的說明中為了簡化，僅針對模式偏振片201、攝像元件202進行詳述。攝像元件202，如圖6所示，是接收透過構(gòu)成模式偏振片201的各個偏振片的光的以二維形狀配置的像素(感光元件)的集合。模式偏振片201優(yōu)選與攝像元件202的攝像面平行設(shè)置。而且，由模式偏振片201中的四個(四種)偏振片和攝像元件202中對應(yīng)的四個像素，來構(gòu)成攝像單位205。通過該攝像單位205得到的圖像是偏振信息獲取部103、區(qū)域分割部105、法線1自由度推定部106、立體對應(yīng)獲取部104及法線信息生成部107中的各處理的單位(“單位圖像”)?？傊?，法線信息生成裝置100按照由攝像單位205得到的每個單位圖像(以下，稱為“像素”)，進行偏振信息的生成、區(qū)域分割及法線信息的生成。存儲器203包括作為CPU204的作業(yè)區(qū)域的RAM及存儲程序等的ROM。CPU204是執(zhí)行存儲在存儲器203中的程序，且對存儲器203進行存取，或?qū)z像元件202及202-2進行控制的處理器。而且，圖4所示的偏振圖像攝像部102通過圖5所示的模式偏振片201及攝像元件202來實現(xiàn)。同樣地，圖4所示的偏振圖像攝像部102-2通過圖5所示的模式偏振片201-2及攝像元件202-2來實現(xiàn)。圖4所示的偏振信息獲取部103及103-2、立體對應(yīng)獲取部104、區(qū)域分割部105及105-2、法線1自由度推定部106及106-2及法線信息生成部107，通過圖5所示的CPU204執(zhí)行存儲在存儲器203的程序來實現(xiàn)。例如，利用附圖中的流程圖來說明的控制處理，能通過在計算機中執(zhí)行的程序來實現(xiàn)。這樣的計算機程序，被記錄在CD-ROM等的記錄介質(zhì)中作為產(chǎn)品在市場上流通，或者，通過互聯(lián)網(wǎng)等電通信線來傳輸。法線信息生成裝置及構(gòu)成圖像處理裝置的全部或一部分的結(jié)構(gòu)要素，作為執(zhí)行計算機程序的通用處理器(半導(dǎo)體電路)來實現(xiàn)?；蛘撸鳛閷⑦@樣的計算機程序和處理器一體化的專用處理器來實現(xiàn)。此外，存儲器203也作為存儲由偏振圖像攝像部102及102_2獲取到的偏振圖像、在偏振信息獲取部103及103-2生成的偏振信息、在立體對應(yīng)獲取部104獲取到的立體圖像對應(yīng)信息、由區(qū)域分割部105及105-2分割的區(qū)域分割信息、由法線1自由度推定部106及106-2推定的法線1自由度信息、由法線信息生成部107生成的法線信息及暫時發(fā)生的各種參數(shù)等的作業(yè)區(qū)域來使用。圖7是表示本實施方式的法線信息生成裝置100的處理的流程的流程圖。首先，第一偏振圖像攝像部102，通過第一模式偏振片201，由攝像元件接收來自被攝體的光，從而拍攝被攝體，并獲取包括偏振信息的圖像即第一偏振圖像(步驟S101)。第一偏振信息獲取部103，利用第一偏振圖像攝像部102拍攝的第一偏振圖像亮度變化，來生成(獲取)第一偏振信息(步驟。接著，第二偏振圖像攝像部102-2，通過第二模式偏振片201-2用攝像元件接收來自被攝體的光，由此獲取包括偏振信息的圖像即第二偏振圖像(步驟S103)。第二偏振信息獲取部103-2，利用第二偏振圖像攝像部102-2拍攝的第二偏振圖像的亮度變化來生成(獲取)第二偏振信息(步驟S104)。其中，步驟SlOl步驟S102和步驟S103步驟S104的順序是任意的，可以并行執(zhí)行。當(dāng)然，也可以依次執(zhí)行。立體對應(yīng)獲取部104，在立體偏振圖像攝像部101所獲取的第一偏振圖像、第二偏振圖像中推定每個像素的對應(yīng)關(guān)系(步驟S105)。第一區(qū)域分割部105及第二區(qū)域分割部105-2，利用第一偏振信息獲取部103及第二偏振信息獲取部103-2生成的第一偏振信息及第二偏振信息、及/或第一偏振圖像攝像部102及第二偏振圖像攝像部102-2獲取的第一亮度信息及第二亮度信息，對第一偏振圖像及第二偏振圖像進行區(qū)域分割，且區(qū)域分割成漫反射分量區(qū)域及鏡面反射分量區(qū)域(步驟S106)。第一法線1自由度推定部106，通過利用在偏振信息獲取部103生成的偏振信息，按照由第一區(qū)域分割部105分割的每個區(qū)域進行不同的處理，來推定在對應(yīng)的被攝體的表面上的法線1自由度(步驟S107)。第二法線1自由度推定部106-2，通過利用在偏振信息獲取部103-2生成的偏振信息，按照由第二區(qū)域分割部105-2分割的每個區(qū)域進行不同的處理，來推定在對應(yīng)的被攝體的表面上的法線1自由度(步驟S108)。其中，步驟S107和步驟S108的順序是任意的，可以并行執(zhí)行，當(dāng)然，也可以依次執(zhí)行。法線信息生成部107，通過利用在立體對應(yīng)獲取部104獲取到的圖像的對應(yīng)關(guān)系來統(tǒng)一由法線1自由度推定部106、106-2推定的法線1自由度，由此推定法線方向向量(步驟S109)。接著，對本實施方式中的法線信息生成裝置100的各構(gòu)成要素的詳細功能進行說明。立體偏振圖像攝像部101由多個偏振圖像攝像部102構(gòu)成，獲取視點不同的多個偏振圖像。此外，第一攝像元件202與第二攝像元件202-2進行了校準(zhǔn)處理，其內(nèi)部參數(shù)或外部參數(shù)是已知的。這樣的校準(zhǔn)，例如，可以利用Tsai的方法(RogerY.Tsai,"AnEfficientandAccurateCameraCalibrationTechniquefor3DMachineVision，，，ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition,MiamiBeach,FL,1986，pp.364-374)等已知的方法。當(dāng)然，這樣的校準(zhǔn)是在包括模式偏振片或鏡頭等的狀態(tài)下進行的。接著，對偏振圖像攝像部102及102-2的詳細功能進行說明。偏振圖像攝像部102，將來自被攝體的光通過模式偏振片201而由攝像元件202感光，從而獲取包含偏振信息的偏振圖像。圖8是從入射光方向觀察圖6所示的攝像單位205的示意圖。在該圖中，各偏振片(各像素)內(nèi)的直線，表示設(shè)置在各像素上的微小偏振片的偏振主軸方向。即，該攝像單位205包括具有偏振軸的旋轉(zhuǎn)角(UU=0°、45°、90°、135°)這四種偏振方向的像素。模式偏振片，表示TM波透過、TE波反射(不透過)的偏振特性。因此，能夠獲取在攝像元件前方配置了偏振片并一邊旋轉(zhuǎn)該偏振片一邊拍攝到的與專利文獻1相同的圖像。這樣的特性，例如，能夠采用『川嶋、佐藤、川上、長嶋、太田、青木、“采用模式化偏振片的偏振圖像裝置和利用技術(shù)的開發(fā)”，電子信息通信學(xué)協(xié)會2006年綜合全國大會，N。．D一11—521P5212006』中記載的光子結(jié)晶來制成。在光子結(jié)晶的情況下，具有與在表面形成的槽平行的振動面的光成為TE波，具有與在表面形成的槽垂直振動面的光成為TM波。在拍攝該偏振圖像時，優(yōu)選亮度的動態(tài)范圍和比特數(shù)盡量大(例如16比特)。接著，對偏振信息獲取部103及103—2的詳細功能進行說明。偏振信息獲取部103，利用偏振圖像攝像部102獲取的偏振圖像來生成偏振信息。公知透過偏振片的光的亮度是根據(jù)偏振片的偏振主軸角而變化的。圖9表示透過不同的偏振主軸角度＼Vi—o’145’190’1135’的四種偏振片的光的亮度40l一404形成一條正弦函數(shù)曲線的情形。即，該正弦函數(shù)曲線表示圖8的點206處的偏振特性。而且，偏振主軸角度的o’與180’(3I)相同。此外，在求取該正弦函數(shù)曲線時，優(yōu)選使用攝影伽馬一l的照相機，或通過線性補正進行補正，以使攝影伽馬一l。該四個點，剛好被描畫在一條正弦函數(shù)曲線上，但實際上，優(yōu)選根據(jù)多個觀測點將180度周期的正弦函數(shù)作為最佳值而決定一條。該偏振信息獲取部103生成該曲線的振幅和相位信息作為偏振信息。具體而言，將與模式偏振片20l的主軸角中相對的反射光亮度工近似如下。[式1]權(quán)利要求1.一種圖像處理裝置，通過拍攝被攝體，被動地生成所述被攝體的表面的法線信息，該圖像處理裝置具有立體偏振圖像攝像部，其在各視點位置處接收偏振方向不同的多個偏振光，并獲取視點位置不同的多個偏振圖像；和法線信息生成部，其根據(jù)視點位置不同的所述多個偏振圖像，來推定被攝體的法線方向向量。2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，該圖像處理裝置還具有偏振信息獲取部，其生成與所述多個偏振光相關(guān)的偏振信息，且分別針對構(gòu)成所述多個偏振圖像的各個偏振圖像的單位圖像，根據(jù)所述多個偏振光的偏振角度及亮度的對應(yīng)關(guān)系，生成偏振信息；立體對應(yīng)獲取部，其推定視點位置不同的所述多個偏振圖像的每個像素的對應(yīng)關(guān)系；區(qū)域分割部，其根據(jù)針對所述偏振圖像的亮度信息及與所述多個偏振光相關(guān)的偏振信息的至少一方信息的類似性，按照光學(xué)上共同的每個區(qū)域，對偏振圖像進行分割；和法線1自由度推定部，其針對所述多個偏振圖像的各個偏振圖像，根據(jù)所述偏振信息，分別推定與由所述區(qū)域分割部所分割的各區(qū)域?qū)?yīng)的被攝體的表面的法線1自由度，所述法線信息生成部根據(jù)由所述法線1自由度推定部分別推定出的所述法線1自由度、及由所述立體對應(yīng)獲取部獲取到的所述多個偏振圖像的對應(yīng)關(guān)系，來推定法線方向向量。3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，該圖像處理裝置還具有偏振信息獲取部，其生成與所述多個偏振光相關(guān)的偏振信息，且分別針對構(gòu)成所述多個偏振圖像的各個偏振圖像的單位圖像，根據(jù)所述多個偏振圖像的偏振角度及亮度的對應(yīng)關(guān)系，生成偏振信息；立體對應(yīng)獲取部，其通過對視點位置不同的所述多個偏振圖像的任一個中所包含的特征點進行確定，并根據(jù)所述特征點搜索其它所述多個偏振圖像，從而確定在所述多個偏振圖像的每個偏振圖像之間已建立對應(yīng)的特征點，并根據(jù)各特征點，推定所述多個偏振圖像的每個像素的對應(yīng)關(guān)系；區(qū)域分割部，其根據(jù)針對所述偏振圖像的亮度信息及與所述多個偏振光相關(guān)的偏振信息的至少一方信息的類似性，按照光學(xué)上共同的每個區(qū)域，對偏振圖像進行分割；和法線1自由度推定部，其針對所述多個偏振圖像的各個偏振圖像，根據(jù)所述偏振信息，分別推定與由所述區(qū)域分割部所分割的各區(qū)域?qū)?yīng)的被攝體的表面的法線1自由度，所述法線信息生成部根據(jù)由所述法線1自由度推定部分別推定出的所述法線1自由度、及由所述立體對應(yīng)獲取部獲取到的所述多個偏振圖像的對應(yīng)關(guān)系，來推定法線方向向量。4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，所述偏振信息獲取部，生成偏振度、偏振相位、偏振推定誤差、偏振最大亮度值、偏振最小亮度值的至少一個作為偏振信息。5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述區(qū)域分割部，將所述被攝體的表面分割為漫反射區(qū)域及鏡面反射區(qū)域的任一個。6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述區(qū)域分割部，將所述被攝體的表面分割為漫反射區(qū)域、鏡面反射區(qū)域及陰影區(qū)域的任一個。7.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述區(qū)域分割部，將所述被攝體的表面分割為漫反射區(qū)域、鏡面反射區(qū)域、附屬陰影區(qū)域及投影陰影區(qū)域的任一個。8.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述區(qū)域分割部，將所述被攝體的表面分割為漫反射區(qū)域、鏡面反射區(qū)域、立體未對應(yīng)區(qū)域及遮擋區(qū)域的任一個。9.根據(jù)權(quán)利要求58的任一項所述的圖像處理裝置，其特征在于，所述法線1自由度推定部，針對所述漫反射區(qū)域，生成所述對應(yīng)關(guān)系中亮度最大的偏振主軸角度，以作為與該區(qū)域?qū)?yīng)的所述被攝體的出射面的法線信息。10.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，所述法線1自由度推定部，針對所述立體未對應(yīng)區(qū)域及遮擋區(qū)域，根據(jù)法線方向向量存在于與光軸正交的平面上的現(xiàn)象，生成法線方向向量。11.根據(jù)權(quán)利要求58的任一項所述的圖像處理裝置，其特征在于，所述法線1自由度推定部，針對所述鏡面反射區(qū)域及附屬陰影區(qū)域，生成所述對應(yīng)關(guān)系中亮度最小的偏振主軸角度，以作為與該區(qū)域?qū)?yīng)的所述被攝體的入射面的法線信息。12.根據(jù)權(quán)利要求9或11所述的圖像處理裝置，其特征在于，所述法線信息生成部，在視點位置不同的多個偏振圖像中，通過求出所述法線1自由度推定部所推定的入射面或出射面的交線，而生成法線方向向量。13.根據(jù)權(quán)利要求12所述的圖像處理裝置，其特征在于，所述法線信息生成部，通過對所生成的法線方向向量與視線方向的相對關(guān)系進行評價，而去除所生成的法線方向向量的不確定性。14.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述立體對應(yīng)獲取部，利用所述偏振信息獲取部獲取到的偏振最小亮度值來獲取立體圖像的對應(yīng)。15.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，所述法線信息生成部，針對遮擋區(qū)域，利用法線方向向量與視線向量的正交的現(xiàn)象，在所述法線1自由度推定部推定出的入射面或出射面上，生成與視線向量正交的向量，以作為法線方向向量。16.一種圖像處理裝置，通過拍攝被攝體，生成所述被攝體的表面的法線信息，該圖像處理裝置具有立體偏振圖像攝像部，其在各視點位置處接收偏振方向不同的多個偏振光，并獲取視點位置不同的多個偏振圖像；偏振信息獲取部，其生成與所述多個偏振光相關(guān)的偏振信息，且分別針對構(gòu)成所述多個偏振圖像的各個偏振圖像的單位圖像，根據(jù)所述多個偏振圖像的偏振角度及亮度的對應(yīng)關(guān)系，生成偏振信息；立體對應(yīng)獲取部，其推定視點位置不同的所述多個偏振圖像的每個像素的對應(yīng)關(guān)系；法線1自由度推定部，其針對所述多個偏振圖像的各個偏振圖像，根據(jù)所述偏振信息，對假設(shè)了鏡面反射分量的處理和假設(shè)了漫反射分量的處理進行切換，從而推定對應(yīng)的被攝體的表面的多個法線1自由度候補；法線信息生成部，其根據(jù)由所述法線1自由度推定部分別推定出的所述法線1自由度、及由所述立體對應(yīng)獲取部獲取到的所述多個偏振圖像的對應(yīng)關(guān)系，生成多個法線方向向量候補；和最佳法線選擇部，其從由所述法線信息生成部生成的多個法線方向向量候補中，選擇一個候補作為最佳法線方向向量。17.根據(jù)權(quán)利要求16所述的圖像處理裝置，其特征在于，所述法線信息生成部，根據(jù)法線方向向量的連續(xù)性、鏡面反射分量與漫反射分量的空間連續(xù)性、偏振信息、遮擋邊緣附近區(qū)域的法線方向向量、法線信息及縱深信息的至少一個，選擇最佳法線方向向量。18.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，還具有可靠性推定部，其推定所述法線信息生成部生成的所述法線方向向量的可靠性，并根據(jù)所述可靠性的低下程度，廢棄所述法線方向向量。19.根據(jù)權(quán)利要求18所述的圖像處理裝置，其特征在于，所述法線信息生成部，根據(jù)可靠性的低下程度，將所述法線方向向量置換為基于縱深信息求出的法線方向向量。20.根據(jù)權(quán)利要求18所述的圖像處理裝置，其特征在于，所述法線信息生成部，根據(jù)可靠性的低下程度，將所述法線方向向量置換為通過根據(jù)附近的法線方向向量進行內(nèi)插處理而求出的法線方向向量。21.根據(jù)權(quán)利要求18所述的圖像處理裝置，其特征在于，所述可靠性推定部，根據(jù)所述偏振信息獲取部獲取到的偏振信息、所述區(qū)域分割部的區(qū)域分割結(jié)果、所述法線1自由度推定部推定出的法線1自由度信息及所述法線信息生成部生成的法線方向向量的至少一個，來推定法線方向向量的可靠性。22.根據(jù)權(quán)利要求21所述的圖像處理裝置，其特征在于，所述可靠性推定部，在視點位置不同的多個偏振圖像中，根據(jù)所述法線1自由度推定部推定出的法線1自由度信息，即入射面或出射面形成的角度的大小，來改變推定的法線方向向量的可靠性的大小。23.根據(jù)權(quán)利要求21所述的圖像處理裝置，其特征在于，所述區(qū)域分割部，將所述被攝體的表面作為陰影區(qū)域來進行區(qū)域分割，所述可靠性推定部，將在所述區(qū)域分割部區(qū)域分割為陰影區(qū)域的區(qū)域中的法線方向向量的可靠性推定得相對更低。24.根據(jù)權(quán)利要求21所述的圖像處理裝置，其特征在于，所述區(qū)域分割部，將所述被攝體的表面作為投影陰影區(qū)域來進行區(qū)域分割，所述可靠性推定部，將在所述區(qū)域分割部區(qū)域分割為投影陰影區(qū)域的區(qū)域中的法線方向向量的可靠性推定得相對更低。25.根據(jù)權(quán)利要求21所述的圖像處理裝置，其特征在于，所述可靠性推定部，根據(jù)所述偏振信息獲取部獲取到的偏振信息、及所述區(qū)域分割部的區(qū)域分割結(jié)果來計算法線信息，并對計算出的法線信息和所述法線信息生成部生成的法線方向向量進行比較，且根據(jù)該差值，改變法線方向向量的可靠性。26.一種圖像處理裝置，通過拍攝被攝體，生成所述被攝體的表面的法線信息，該圖像處理裝置具有立體偏振圖像攝像部，其在各視點位置處接收偏振方向不同的多個偏振光，并獲取被攝體的視點位置不同的三個以上的多個偏振圖像；偏振信息獲取部，其生成與所述多個偏振光相關(guān)的偏振信息，且分別針對構(gòu)成所述多個偏振圖像的各個偏振圖像的單位圖像，根據(jù)所述多個偏振圖像的偏振角度及亮度的對應(yīng)關(guān)系，生成偏振信息；立體對應(yīng)獲取部，其推定視點位置不同的所述多個偏振圖像的每個像素的對應(yīng)關(guān)系；區(qū)域分割部，其根據(jù)針對所述偏振圖像的亮度信息及與所述多個偏振光相關(guān)的偏振信息的至少一方信息的類似性，按照光學(xué)上共同的每個區(qū)域，對偏振圖像進行分割；法線1自由度推定部，其根據(jù)所述偏振信息，按照由所述區(qū)域分割部分割的每個區(qū)域來切換處理，從而推定對應(yīng)的被攝體的表面的法線1自由度；法線信息生成部，其根據(jù)所述法線1自由度推定部分別推定出的所述法線1自由度、及由所述立體對應(yīng)獲取部獲取到的所述多個偏振圖像的對應(yīng)關(guān)系，來推定多個法線方向向量；和最佳法線選擇部，其從由所述法線信息生成部生成的所述多個法線方向向量候補中，選擇一個候補作為最佳法線方向向量。27.根據(jù)權(quán)利要求沈所述的圖像處理裝置，其特征在于，所述法線信息生成部，根據(jù)視點位置不同的所述三個以上的多個偏振圖像，按照每兩個偏振圖像生成多個法線方向向量候補。28.根據(jù)權(quán)利要求27所述的圖像處理裝置，其特征在于，所述最佳法線選擇部，根據(jù)所述立體偏振圖像攝像部拍攝到的偏振圖像、所述偏振信息獲取部獲取到的偏振信息、所述區(qū)域分割部的區(qū)域分割結(jié)果、所述法線1自由度推定部推定出的法線1自由度信息、及所述法線信息生成部生成的法線方向向量的至少一個，從所述多個法線方向向量候補中，選擇一個候補作為最佳法線方向向量。29.根據(jù)權(quán)利要求觀所述的圖像處理裝置，其特征在于，所述最佳法線選擇部，在視點位置不同的所述三個以上的多個偏振圖像中，將所述法線1自由度推定部推定出的法線1自由度信息，即入射面或出射面形成的角度最大的法線方向向量候補，推定為最佳法線方向向量。30.根據(jù)權(quán)利要求觀所述的圖像處理裝置，其特征在于，所述最佳法線選擇部，根據(jù)所述可靠性推定部推定出的偏振信息及所述區(qū)域分割部的區(qū)域分割結(jié)果來計算法線信息，并對計算出的法線信息和所述法線信息生成部生成的法線方向向量進行比較，將該差值最小的法線方向向量候補推定為最佳法線方向向量。31.一種圖像處理裝置，通過拍攝被攝體，生成所述被攝體的表面的法線信息，該圖像處理裝置具有立體偏振圖像攝像部，其在各視點位置處接收偏振方向不同的多個偏振光，并獲取被攝體的視點位置不同的三個以上的多個偏振圖像；偏振信息獲取部，其生成與所述多個偏振光相關(guān)的偏振信息，且分別針對構(gòu)成所述多個偏振圖像的各個偏振圖像的單位圖像，根據(jù)所述多個偏振圖像的偏振角度及亮度的對應(yīng)關(guān)系，生成偏振信息；立體對應(yīng)獲取部，其推定視點位置不同的所述多個偏振圖像的每個像素的對應(yīng)關(guān)系；區(qū)域分割部，其根據(jù)針對所述偏振圖像的亮度信息及與所述多個偏振光相關(guān)的偏振信息的至少一方信息的類似性，按照光學(xué)上共同的每個區(qū)域，對偏振圖像進行分割；法線1自由度推定部，其根據(jù)所述偏振信息，按照由所述區(qū)域分割部分割的每個區(qū)域來切換處理，從而推定對應(yīng)的被攝體的表面的法線1自由度；法線信息生成部，其根據(jù)所述法線1自由度推定部分別推定出的所述法線1自由度、及由所述立體對應(yīng)獲取部獲取到的所述多個偏振圖像的對應(yīng)關(guān)系，來推定多個法線方向向量。32.根據(jù)權(quán)利要求31所述的圖像處理裝置，其特征在于，所述法線信息生成部，生成由所述法線1自由度推定部推定出的多個入射面或出射面形成的角度最大的方向向量，以作為法線信息向量。33.根據(jù)權(quán)利要求32所述的圖像處理裝置，其特征在于，所述法線信息生成部，通過利用法線方向向量的連續(xù)性、鏡面反射分量與漫反射分量的空間連續(xù)性、偏振信息、遮擋邊緣附近區(qū)域的法線方向向量、法線信息及縱深信息的至少一個信息作為約束條件，來選擇法線方向向量。34.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述立體偏振圖像攝像部，接收來自透過偏振主軸角度不同的多個偏振片的所述被攝體的光，以作為在所述各視點位置處偏振方向不同的多個偏振光。35.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述立體偏振圖像攝像部，通過使能利用旋轉(zhuǎn)來改變偏振主軸角度的偏振片旋轉(zhuǎn)，從而接收透過所述偏振片的來自所述被攝體的光，作為在所述各視點位置處偏振方向不同的多個偏振光。36.一種信息處理方法，是通過拍攝被攝體來生成所述被攝體的表面的法線信息的法線信息生成方法，該信息處理方法包括在各視點位置處接收偏振方向不同的多個偏振光，并獲取視點位置不同的多個偏振圖像的步驟；生成與所述多個偏振光相關(guān)的偏振信息，且分別針對構(gòu)成所述多個偏振圖像的各個偏振圖像的單位圖像，根據(jù)所述多個偏振圖像的偏振角度及亮度的對應(yīng)關(guān)系，生成偏振信息的步驟；對視點位置不同的所述多個偏振圖像的每個像素的對應(yīng)關(guān)系進行推定的步驟；針對所述多個的各個偏振圖像，根據(jù)所述偏振信息，通過對假設(shè)了鏡面反射分量的處理和假設(shè)了漫反射分量的處理進行切換，來推定對應(yīng)的被攝體的表面的多個法線1自由度候補的步驟；根據(jù)針對所述偏振圖像的亮度信息及與所述多個偏振光相關(guān)的偏振信息的至少一方信息的類似性，按照光學(xué)上共同的每個區(qū)域，對偏振圖像進行分割的步驟；根據(jù)所述偏振信息，按照由所述區(qū)域分割部分割的每個區(qū)域來切換處理，從而推定對應(yīng)的被攝體的表面的法線1自由度的步驟；根據(jù)推定出的所述法線1自由度及所述多個偏振圖像的每個像素的對應(yīng)關(guān)系，來推定多個法線方向向量的步驟；和從生成的所述多個法線方向向量候補中，選擇一個候補作為最佳法線方向向量的步馬聚ο37.一種計算機程序，是用于圖像處理裝置的計算機程序，該圖像處理裝置通過拍攝被攝體而生成所述被攝體的表面的法線信息，該計算機程序使所述圖像處理裝置的計算機執(zhí)行權(quán)利要求36所述的方法中包括的各個步驟。38.一種視點變換圖像生成裝置，通過在多個不同的視點位置拍攝被攝體，來合成從與拍攝所述被攝體時不同的任意視點位置看到的圖像，該視點變換圖像生成裝置具有立體偏振圖像攝像部，其在多個不同的視點位置的每個視點位置處接收偏振方向不同的多個偏振光，并獲取視點位置不同的多個偏振圖像；法線信息生成部，其根據(jù)視點位置的不同的所述多個偏振圖像，將被攝體的法線方向向量推定為法線信息；形狀復(fù)原部，其根據(jù)所述法線信息，復(fù)原所述被攝體的三維形狀；和視點變換部，其根據(jù)所述三維形狀，變換所拍攝的所述被攝體的圖像的視點位置。39.根據(jù)權(quán)利要求38所述的視點變換圖像裝置，其特征在于，該視點變換圖像裝置還具有鏡面反射圖像生成部，其利用規(guī)定的反射模型，根據(jù)視點變換后的圖像，生成鏡面反射圖像；合成部，其合成多個圖像來生成一個圖像；和提示部，其對圖像進行提示，所述視點變換部對從所述被攝體的圖像中將漫反射分量和鏡面反射分量進行分離后得到的漫反射圖像、及從所述法線信息生成部得到的法線圖像兩者進行視點變換，所述鏡面反射圖像生成部根據(jù)視點變換后的所述法線圖像，生成鏡面反射圖像，所述合成部對視點變換后的所述漫反射圖像及生成的所述鏡面反射圖像進行合成，所述提示部對合成后的圖像進行提示。40.根據(jù)權(quán)利要求38所述的視點變換圖像裝置，其特征在于，該視點變換圖像裝置還具有立體對應(yīng)獲取部，該立體對應(yīng)獲取部用于推定視點位置不同的所述多個偏振圖像的每個像素的對應(yīng)關(guān)系，所述形狀復(fù)原部利用由所述法線信息生成部得到的法線圖像及與在由所述立體對應(yīng)獲取部得到的所述多個偏振圖像之間所對應(yīng)像素的特征點對應(yīng)的三維位置，對所述被攝體的三維形狀進行復(fù)原。41.根據(jù)權(quán)利要求38所述的視點變換圖像裝置，其特征在于，還具有提示部，該提示部根據(jù)觀察者的視點位置，依次在二維畫面中顯示視點變換后的二維圖像。42.根據(jù)權(quán)利要求38所述的視點變換圖像裝置，其特征在于，還具有提示部，該提示部通過生成觀察者的視點位置處的兩種視差圖像，從而以多視點進行立體顯示。43.一種圖像生成裝置，通過拍攝被攝體來復(fù)原所述被攝體的形狀，該圖像生成裝置具有立體偏振圖像攝像部，其在各視點位置處接收偏振方向不同的多個偏振光，并獲取視點位置不同的多個偏振圖像；法線信息生成部，其根據(jù)視點位置不同的所述多個偏振圖像，將被攝體的法線方向向量推定為法線信息；和形狀復(fù)原部，其根據(jù)所述法線信息，對所述被攝體的三維形狀進行復(fù)原。全文摘要本發(fā)明提供一種生成法線信息的圖像處理裝置、方法、計算機程序及視點變換圖像生成裝置，通過拍攝被攝體，在被攝體的表面生成高精度的法線信息。該法線信息生成裝置，通過拍攝被攝體，被動地生成被攝體的表面的法線信息。法線信息生成裝置具有立體偏振圖像攝像部，其在各視點位置處接收偏振方向不同的多個偏振光，獲取視點位置不同的多個偏振圖像；和法線信息生成部，其根據(jù)視點位置不同的多個偏振圖像，推定被攝體的法線方向向量。文檔編號H04N5/232GK102047651SQ20098011994公開日2011年5月4日申請日期2009年6月1日優(yōu)先權(quán)日2008年6月2日發(fā)明者佐藤智,金森克洋申請人:松下電器產(chǎn)業(yè)株式會社