的多個光線投影到 屏幕表面上；校準裝置18,用于校準投影單元16 ;以及幾何畸變調節(jié)單元25,用于使用投影 單元16和校準裝置18的成像單元18b通過三角測量來測量屏幕表面的三維形狀，以及基 于測量結果來調節(jié)圖像信息。
[0077] 在這種情況下，例如，可以以良好的精度來調節(jié)由屏幕表面畸變所造成的幾何畸 變，并且其幾何畸變減少的高質量圖像可以被投影到屏幕表面上。
[0078] 注意，在平板構件30上形成的基礎圖案不限于棋盤格圖案。另外，被投影到平板 構件30上的投影圖案不限定于點圖案。問題的關鍵是，基礎圖案或投影圖案可以是任何圖 案，只要多個特征點的那些位置關系是已知的。例如，基礎圖案可是點圖案。投影圖案可以 是棋盤格圖案。
[0079] 此外，基礎圖案和投影圖案中的至少一個可以是網格圖案。在這種情況下，網格圖 案的交叉點或者網格圖案的正方形區(qū)域可以用作特征點。
[0080] 另外，其亮-暗改變?yōu)檎也▓D案的圖12所示的圖案可以用作基礎圖案或投影圖 案。在圖案稍微向右或左移動的同時，這種圖案的圖像被拍攝多次，并且估計像素的正弦波 相位。同樣地，在將該圖案旋轉90度之后，在圖案稍微向上或向下移動的同時，圖像被拍攝 多次，并且估計像素的正弦波相位。這樣，可以建立（相移法）投影圖案上的位置和拍攝的 圖像的像素之間的對應關系，并且所有像素的位置可以用作本實施例的特征點。
[0081] 此外，上述實施例是其中投影單元16是非針孔型的、并且在投影圖案的每個特征 點和對應的投影光線之間沒有約束的情況。即使當投影單元是非針孔型時，也存在可以將 其看作是針孔的情況。因此，在下文中，將對修改的實施例1進行說明，其中，使用投影圖案 的特征點之間的這種關系（約束條件）來識別投影光線的位置和方向。
[0082] 除了經過點和方向識別單元的處理之外，修改的實施例1的校準裝置包括與上述 實施例的校準裝置18相同的配置和相同的功能。在下文中，將對修改的實施例1的經過點 和方向識別單元的處理的內容進行說明。
[0083] 經過點和方向識別單元獲得由反射點估計單元18d估計的投影圖案的第i個特征 點的圖案形成表面上的一組反射點1 (i)，q2 (i)，…，qM(i)。這里，使得對應于投影圖案的 第i個特征點的投影光線的方向余弦（方向的單位矢量）為e(i)，并且使得投影光線的經 過點是a(i)。在針孔模型可以應用到對應于第i個特征點和第j個特征點的投影光線的情 況下，等式a(i) =a(j)成立。利用這一點，并通過使得可以被應用相同的針孔模型的投影 光線的一組指數為S，將解出在下式（8)中所示的最優(yōu)化問題。
[0084][數學式5]
[0085] 最小化
[0086] 條件為：a⑴=(j) (i，jGS) (8)
[0087] 換句話說，在將投影光線的經過點約束為單個點之后，從投影光線的線到估計的 反射點的距離的平方和最小化。這個優(yōu)化問題可以通過下面的迭代操作來求解。首先，設置 e(i)(iGS)的初始值。例如，通過將主成分分析應用到所估計的反射點ql(i)，q2 (i)，...， qM(i)，第一主成分的方向被設置為e(i)。然后，從下式（9)獲得a=a(i)(ieS)。
[0088][數學式6]
[0089]
[0090] ff(i) =I-e(i)e(i)T
[0091] 然后，對于ieS，獲得對應于以下矩陣的最大特征值的特征向量，并代入到e(i) 中，并獲得公式（10)。
[0092][數學式7]
[0093]
[0094] 通過使用公式（9)進行的經過點a的更新和使用公式（10)的特征值操作進行的 方向余弦e(i)的更新被迭代，直到滿足特定的條件。作為特定條件的示例，可以設置諸如： 更新應重復預定的次數；或由重復導致的參數的改變量應變?yōu)樾∮谔囟ㄩ撝档臈l件。
[0095] 約束條件并不限于上述例子。例如，投影光線相對于光軸的對稱性可以作為約束。 上述迭代操作不能在通用約束的情況下應用，并且通過應用具有通用約束條件的非線性最 優(yōu)化方法，而獲得解。
[0096] 根據修改的實施例1，投影光線的位置和方向可以魯棒地從少量拍攝的圖像中識 另IJ，因為在投影光線之間所保持的約束條件下來執(zhí)行最小二乘估計。
[0097] 此外，如在下面的修改的實施例2所描述的，可以通過最小化每個投影光線的估 計的反射點距線的距離和投影光線的位置和方向的改變量這兩者來識別投影光線的位置 和方向。即使在不能應用投影光線之間的約束的情況下，在其中事物以充分平滑的方式改 變的光學系統(tǒng)中，兩個空間上靠近的投影光線的位置和方向可以取類似的值。使用光學系 統(tǒng)的這種性質，投影光線的位置和方向將被魯棒地識別。
[0098] 除了經過點和方向識別單元的處理之外，修改的實施例2的校準裝置包括與以上 實施例的校準裝置18相同的配置和相同的功能。在下文中，將描述修改的實施例2的經過 點和方向識別單元的處理的內容。
[0099] 首先，修改的實施例2的經過點和方向識別單元獲得由反射點估計單元估計出的 投影圖案的估計的反射點。作為投影圖案，例如，使用其中特征點以如圖5和圖6中所示的 矩陣的形式排列的圖案。在行i列j的特征點的第k個拍攝的圖像中所估計的入射位置通 過qk(i，j)表示，對應于行i列j的特征點的投影光線的方向余弦（方向的單位矢量）通 過e(i，j)來表示，并且經過點通過a(i，j)來表示。使用這些符號，評價函數配置為如公式 (11)所示。
[0100] [數學式8]
[0101]
[0102] 公式（11)的第一項是從投影光線的線到估計的反射點的距離的平方和，并且公 式（11)中的第二項，①（e，a)是正則項（regularizationterm)?？梢哉J為，該正則項對 于投影光線的經過點和方向余弦的非平滑性提供懲罰（penalty)。例如，如公式（12)中所 示，〇 (e，a)可以被設置為在i方向中的方向余弦e(i，j)的二階微分的平方和。
[0103] [數學式9]
[0104]
[0105] 同樣的想法可以應用于方向j。此外，也可以對于經過點a(i，j)設置相同的正 則項。通過使用被如上所述地配置的正則項，并且通過獲得最小化上式（11)的e(i，j)和 a(i，j)，可以獲得其經過點和方向在空間上平滑地改變的投影光線。注意，關于公式（11) 的最小化，可以使用諸如最速下降法、牛頓法等非線性最優(yōu)化方法。
[0106] 根據修改的實施例2,通過最小化從每個投影光線的線到每個估計的反射點的距 離、以及在投影光線之間的位置和方向的改變量這兩者，可以從拍攝的少量圖像魯棒地識 別投影光線的經過點和方向。
[0107] 此外，如在下面的修改的實施例3中將描述的，可以通過將過濾處理應用到每個 投影光線的經過點和方向，來魯棒地識別投影光線的經過點和方向。
[0108] 在圖13中，示出了根據修改的實施例3的校準裝置180的配置概況。校準裝置 180與上面的實施例的校準裝置18的不同之處在于其包括經過點和方向調節(jié)單元18f。
[0109] 在圖14中，示出了例示使用校準裝置180的投影單元16的校準方法的流程圖。圖 14的流程圖是向其中添加了步驟S8的圖4的流程圖。
[0110] 在步驟S8中，經過點和方向調節(jié)單元18f調節(jié)由經過點和方向識別單元18e所識 別的每個投影光線的經過點和方向。作為調節(jié)方法，可以使用過濾處理。與上述修改的實 施例2相同，假定投影圖案的特征點矩陣的形式來排列，并且獲得對應于行i列j的特征點 的投影光線的方向余弦e(i，j)和經過點a(i，j)。然后，通過向其應用圖15中所示的系數 的濾波器，錯誤可由于平滑而減少。應用的濾波器不限于線性濾波器，并且通過應用諸如中 值濾波器、e濾波器、雙邊濾波器等的非線性濾波器，可以執(zhí)行平滑化同時保持急劇改變。
[0111] 根據修改的實施例3中，通過將濾波處理應用到每個投影光線的經過點和方向， 可以從少量拍攝的圖像魯棒地識別出投影光線的位置和方向。
[0112] 注意，例如，在校準包括針孔光學系統(tǒng)的投影單元、并且僅通過經過點和方向單元 18e識別每個投影光線的方向的情況下，可能將濾波處理也僅僅應用到所識別的方向。
[0113] 另外，在上述實施例和每個修改的實施例中，校準裝置被安裝在投影儀10中。不 限定于上述結構的校準裝置也可以安裝在，例如，包括用于投影多個光線的投影單元的3D 掃描儀中。同樣在這種情況下，形狀未知的物體的三維形狀可以使用校準裝置的成像單元 和投影單元（參照圖10)通過三角測量而容易地并以良好的精度來測量。
[0114] 另外，在上述實施例和每個修改的實施例中，在通過使用校準裝置來校準投影單 元的同時只使用一個平板構件30,但是也可以使用多個平板構件30。基本上，僅需要在其 中相對于投影單元16、平板構件30的位置和姿態(tài)中的至少一個彼此不同的狀態(tài)的每個狀 態(tài)中，拍攝平板構件30的圖案形成表面上的組合圖案的圖像。
[0115]另外，平板構件30用作通過投影單元16將多個光線投影在其上的物體，但其并不 限于這種配置。關鍵的一點在于，優(yōu)選的是可以使用包括平面的物體。并且更優(yōu)選的是，基 礎