專(zhuān)利名稱(chēng)：能攝像的顯示設(shè)備、圖像處理設(shè)備和方法、圖像顯示系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種具有攝像功能的顯示設(shè)備、圖像處理設(shè)備、 圖像處理方法和圖像顯示系統(tǒng)。
背景技術(shù)：
通常，當(dāng)在混合現(xiàn)實(shí)(mixed reality, MR)環(huán)境中使用具有攝 像功能的顯示設(shè)備時(shí)，將攝像裝置拍攝的圖像載入個(gè)人計(jì)算機(jī) (PC)來(lái)進(jìn)行畸變校正處理，以校正由攝像裝置引起的畸變。以 下將具有攝像功能的顯示設(shè)備稱(chēng)為"頭盔式顯示器(head mounted displays, HMD)"。 HMD不局限于頭盔式設(shè)備，還可以 包括雙筒望遠(yuǎn)鏡等手持式設(shè)備。PC將計(jì)算機(jī)圖形(computer graphics, CG)圖像與校正后 的圖像進(jìn)行合成，并將合成后的圖像提供給顯示裝置用于顯示。 S. Uchiyama等在"MR Platform: A basic body on which mixed reality applications are built"， Proc. IEEE/ACM Internat. Symp. on Mixed and Augmented Reality (ISMAR 2002) ， pp. 246-253 , 2002"中公開(kāi)了 一種相關(guān)技術(shù)領(lǐng)域的對(duì)攝像系統(tǒng)引起的畸變的 校正技術(shù)。另 一方面，還未十分重視對(duì)HMD的顯示系統(tǒng)引起的畸變的 校正，存在的問(wèn)題是，當(dāng)HMD的顯示系統(tǒng)具有廣角視野時(shí)，所 顯示的圖像發(fā)生畸變。如果單純引入針對(duì)顯示系統(tǒng)的畸變校正 來(lái)補(bǔ)償該畸變，則再次針對(duì)顯示系統(tǒng)引起的畸變校正針對(duì)攝像 系統(tǒng)引起的畸變校正后的圖像。因此，當(dāng)使用HMD的顯示裝置直接觀(guān)察使用HMD拍攝的圖 像時(shí)，進(jìn)行兩次針對(duì)畸變校正的算術(shù)運(yùn)算。導(dǎo)致出現(xiàn)由于運(yùn)算誤差而降低最終顯示的圖像質(zhì)量的問(wèn)題。
當(dāng)HMD具有不同畸變校正功能時(shí)，例如，當(dāng)一個(gè)HMD具有 針對(duì)攝像系統(tǒng)的內(nèi)置畸變校正功能，而另 一個(gè)HMD不具有這種 功能時(shí)，出現(xiàn)其它問(wèn)題。在這種情況下，即使由PC統(tǒng)一進(jìn)行校 正處理，畸變校正后的圖像還要經(jīng)過(guò)畸變校正處理，并且所顯 示的圖像可能還會(huì)發(fā)生畸變。

發(fā)明內(nèi)容
本發(fā)明提供一種具有攝像功能的顯示設(shè)備，其中，可以在 包括具有攝像功能的顯示設(shè)備和外部設(shè)備的整個(gè)系統(tǒng)內(nèi)適當(dāng)校 正由具有攝像功能的顯示設(shè)備的攝像系統(tǒng)和顯示系統(tǒng)所引起的畸變。
根據(jù)一方面，本發(fā)明包括一種具有攝像功能的顯示設(shè)備， 該顯示設(shè)備包括輸出單元，用于將圖像信號(hào)輸出到外部設(shè)備； 輸入單元，用于從外部設(shè)備輸入圖像信號(hào)；攝像單元；顯示單 元；攝像畸變校正器，用于對(duì)攝像單元拍攝的圖像信號(hào)進(jìn)行攝 像畸變校正；顯示畸變校正器，用于進(jìn)行顯示畸變校正；以及 控制器，用于對(duì)攝像畸變校正器是否進(jìn)行攝像畸變校正以及顯 示畸變校正器是否進(jìn)行顯示畸變校正進(jìn)行控制。
根據(jù)另 一 方面，本發(fā)明提供一種具有攝像功能的顯示設(shè)備 的圖像處理方法，該顯示設(shè)備包括輸出單元，用于將圖像信 號(hào)輸出到外部設(shè)備；輸入單元，用于從外部設(shè)備輸入圖像信號(hào)； 攝像單元；以及顯示單元；該圖像處理方法包括以下步驟攝 像畸變校正步驟，用于對(duì)攝像單元拍攝的圖像信號(hào)進(jìn)行攝像畸 變校正；顯示畸變校正步驟，用于進(jìn)行顯示畸變校正；以及控 制步驟，用于對(duì)是否在攝像畸變校正步驟中進(jìn)行攝像畸變校正 以及是否在顯示畸變校正步驟中進(jìn)行顯示畸變校正進(jìn)行控制。根據(jù)另一方面，本發(fā)明提供一種圖像顯示系統(tǒng)，該圖像顯
示系統(tǒng)包括具有攝像功能的顯示設(shè)備、圖像處理設(shè)備、圖像
合成單元、設(shè)置單元以及畸變校正器，其中，具有攝像功能的
顯示設(shè)備包括用于從外部設(shè)備輸入圖像信號(hào)的輸入單元、用 于將圖像信號(hào)輸出到外部設(shè)備的輸出單元、用于拍攝現(xiàn)實(shí)空間 圖像的攝像單元、以及用于顯示圖像的顯示單元，該圖像處理 設(shè)備包括圖像生成器，該圖像生成器用于生成與具有攝像功能 的顯示設(shè)備的攝像單元拍攝的現(xiàn)實(shí)空間圖像進(jìn)行合成的合成用 圖像，該圖像合成單元用于將圖像生成器生成的圖像與攝像單 元拍攝的現(xiàn)實(shí)空間圖像進(jìn)行合成以生成合成后的圖像，該設(shè)置 單元用于設(shè)置畸變校正類(lèi)型，該畸變校正器用于根據(jù)設(shè)置單元 設(shè)置的畸變校正類(lèi)型來(lái)校正圖像畸變。
根據(jù)另一方面，本發(fā)明提供一種圖像處理設(shè)備，該圖像處 理設(shè)備包括輸入單元，用于從外部設(shè)備輸入圖像信號(hào)；圖像 生成器，用于生成將與輸入到圖像處理設(shè)備的外部輸入圖像進(jìn) 行合成的合成用圖像；輸出單元，用于將圖像信號(hào)輸出到外部 設(shè)備；圖像合成單元，用于將合成用圖像與外部輸入圖像進(jìn)行 合成；至少一個(gè)畸變校正器，用于校正圖像畸變；以及設(shè)置單 元，用于設(shè)置畸變校正器所進(jìn)行的畸變校正的類(lèi)型，并確定圖 像合成單元是否進(jìn)行圖像合成。
通過(guò)以下參照附圖對(duì)典型實(shí)施例的說(shuō)明，本發(fā)明的其它特 征顯而易見(jiàn)。


圖l是示出本發(fā)明第一實(shí)施例的示意性框圖。 圖2是示出本發(fā)明第二實(shí)施例的示意性框圖。 圖3是示出本發(fā)明第三實(shí)施例的示意性框圖。圖4是根據(jù)本發(fā)明第五實(shí)施例的MR系統(tǒng)的示意圖。
圖5是根據(jù)第五實(shí)施例的HMD的示意性框圖。
圖6是示出根據(jù)第五實(shí)施例的H M D的設(shè)置的表。
圖7是示出根據(jù)第五實(shí)施例的設(shè)置處理的流程圖。
圖8是根據(jù)本發(fā)明第六實(shí)施例的圖像顯示系統(tǒng)的示意性框圖。
圖9是示出根據(jù)第六實(shí)施例的圖像顯示系統(tǒng)的設(shè)置的表。 圖IO是根據(jù)本發(fā)明第七實(shí)施例的圖像處理設(shè)備的示意性框圖。
圖ll是示出根據(jù)第七實(shí)施例的圖像處理設(shè)備的設(shè)置的表。
具體實(shí)施例方式
第一實(shí)施例
現(xiàn)參照

本發(fā)明的第 一 實(shí)施例。
在第 一 實(shí)施例中，具有攝像功能的顯示設(shè)備是指包括攝像 單元的顯示設(shè)備，例如帶有照相機(jī)的頭盜式顯示器(HMD)、 帶有照相機(jī)的手持式顯示設(shè)備或帶有照相機(jī)的雙筒望遠(yuǎn)鏡等。
為了簡(jiǎn)化說(shuō)明，就單筒(monocular)設(shè)備的情況做出以下說(shuō) 明。應(yīng)該理解，兩個(gè)單筒設(shè)備的組合起到具有立體攝像功能的 顯示設(shè)備的作用。
圖1是第一實(shí)施例的HMD (單筒)15的框圖。第一實(shí)施例 的HMD 15通常被配置成將使用內(nèi)置攝像單元拍攝的圖像的信 號(hào)(圖像信號(hào))輸出到個(gè)人計(jì)算機(jī)(PC)等外部設(shè)備。PC將計(jì)算 機(jī)圖形(computer graphics, CG)圖像和該圖像信號(hào)進(jìn)行合成，并 輸出合成后的圖像。HMD 15將表示從PC輸出的合成后的圖像 的圖像信號(hào)顯示在顯示單元上。
參照?qǐng)Dl, HMD 15包括用以拍攝現(xiàn)實(shí)世界(real-world)圖像的攝像單元l、選擇器2、 4、 5、 7、 13和14、攝像畸變校正器3、 顯示畸變校正器6、顯示單元8、設(shè)置單元9、設(shè)置存儲(chǔ)單元IO、 以及控制器ll。
在控制器11的控制下，通過(guò)選擇器2將使用攝像單元1拍攝 的現(xiàn)實(shí)世界圖像的圖像信號(hào)輸出到攝像畸變校正器3或選擇器 4 。攝像畸變校正器3校正接收到的信號(hào)中所包括的鏡頭畸變和 其它畸變成分，并將校正后的信號(hào)輸出到選擇器13。選擇器13 根據(jù)來(lái)自控制器11的指令，將畸變校正后的信號(hào)輸出到選擇器4 或14。選擇器4根據(jù)來(lái)自控制器11的指令將畸變校正后的信號(hào)或 原始圖像信號(hào)作為信號(hào)102輸出到外部信號(hào)處理器12。例如，信 號(hào)處理器12可以是PC或圖像處理設(shè)備等信息處理設(shè)備。盡管在 第一實(shí)施例中未示出，但是，可以將磁性傳感器或陀螺儀傳感 器等用于獲得位置、方向、或這兩者的傳感器連接到信號(hào)處理 器12。
信號(hào)處理器12將處理后的信號(hào)103輸出到選擇器5。選擇器5 根據(jù)來(lái)自控制器ll的指令，將信號(hào)103輸出到選擇器7或14。選 擇器14根據(jù)來(lái)自控制器11的指令將已針對(duì)攝像畸變進(jìn)行了校正 的通過(guò)選擇器13輸入的信號(hào)、或通過(guò)選擇器5從外部輸入的信號(hào) 103輸出到顯示畸變校正器6。顯示畸變校正器6進(jìn)行用于消除顯 示畸變的校正處理，并將處理結(jié)果輸出到選擇器7。選擇器7根 據(jù)來(lái)自控制器ll的指令，將從顯示畸變校正器6輸入的顯示畸變 校正后的信號(hào)、或從選擇器5輸入的信號(hào)輸出到顯示單元8。顯 示單元8基于所接收的信號(hào)顯示圖像。
設(shè)置單元9設(shè)置控制器11的工作條件。有多種用于設(shè)置控制 器ll的工作條件的方法，例如，通過(guò)來(lái)自外部的信號(hào)101設(shè)置工 作條件的方法、在設(shè)置面板等上直接設(shè)置工作條件的方法、通 過(guò)通用串行總線(xiàn)(Universal Serial Bus, USB )存儲(chǔ)器或CF(Compact Flash)卡等介質(zhì)設(shè)置工作條件的方法。
通過(guò)設(shè)置單元9設(shè)置的信息被存儲(chǔ)在設(shè)置存儲(chǔ)單元10中?？?制器11根據(jù)存儲(chǔ)在設(shè)置存儲(chǔ)單元10中的設(shè)置信息來(lái)控制HMD 15的組件?？梢詮耐獠吭O(shè)備等讀取存儲(chǔ)在設(shè)置存儲(chǔ)單元10中的 信息?？梢允褂么鎯?chǔ)在設(shè)置存儲(chǔ)單元10中的信息來(lái)識(shí)別H M D 15 的#:作。因此，可以防止HMD 15和外部i殳備兩者對(duì)才lH象畸變 的校正等的處理誤差。
存儲(chǔ)在設(shè)置存儲(chǔ)單元10中的信息具有以下五種模式。 在模式l中，HMD 15將圖像信號(hào)輸出到外部而不校正攝像 畸變。HMD 15顯示從外部輸入的信號(hào)103而不進(jìn)行顯示畸變校 正。
在模式2中，HMD 15將圖像信號(hào)輸出到外部而不校正攝像 畸變。HMD 15對(duì)從外部輸入的信號(hào)103進(jìn)行顯示畸變校正，然 后顯示顯示畸變校正后的信號(hào)。
在模式3中，HMD 15對(duì)拍攝圖像信號(hào)進(jìn)行攝像畸變校正， 然后將針對(duì)攝像畸變校正后的信號(hào)輸出到外部。HMD 15顯示 從外部輸入的信號(hào)103而不進(jìn)行顯示畸變校正。
在模式4中，HMD 15對(duì)拍攝圖像信號(hào)進(jìn)行攝像畸變校正， 然后將針對(duì)攝像畸變校正后的信號(hào)輸出到外部。HMD 15對(duì)從 外部輸入的信號(hào)103進(jìn)行顯示畸變校正，然后顯示顯示畸變校正 后的信號(hào)。
在模式5中，HMD 15使用攝像畸變校正器3對(duì)拍攝圖像信 號(hào)進(jìn)行攝像畸變校正，然后通過(guò)選擇器13和14直接將作為結(jié)果 的信號(hào)輸出到顯示畸變校正器6 (而不將該結(jié)果輸出到外部)。 顯示畸變校正器6進(jìn)行顯示畸變校正，然后顯示作為結(jié)果的信號(hào)，
如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式1,則通過(guò)選擇器2和4將來(lái)自攝像單元1的信號(hào)作為信號(hào)102輸出到外部。通 過(guò)選擇器5和7將從外部輸入的信號(hào)103提供給顯示單元8。
如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式2，則通過(guò)選 擇器2和4將來(lái)自攝像單元1的信號(hào)作為信號(hào)10 2輸出到外部。通 過(guò)選擇器5和14將從外部輸入的信號(hào)103輸入到顯示畸變校正器 6。顯示畸變校正器6進(jìn)行顯示畸變校正以4是供正確顯示。通過(guò) 選擇器7將作為結(jié)果的信號(hào)提供給顯示單元8。
如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式3，則通過(guò)選 擇器2將來(lái)自攝像單元1的信號(hào)輸出到攝像畸變校正器3 。攝像畸 變校正器3對(duì)拍攝圖像進(jìn)行畸變校正，然后通過(guò)選擇器13和4將 校正后的信號(hào)作為信號(hào)10 2輸出到外部。通過(guò)選擇器5和7將從外 部輸入的信號(hào)103提供給顯示單元8。
如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式4，則通過(guò)選 擇器2將來(lái)自攝像單元1的信號(hào)輸出到攝像畸變校正器3 。攝像畸 變校正器3對(duì)拍攝圖像進(jìn)行畸變校正，然后通過(guò)選擇器13和4將 校正后的信號(hào)作為信號(hào)10 2輸出到外部。通過(guò)選擇器5和14將從 外部輸入的信號(hào)103輸入到顯示畸變校正器6。顯示畸變校正器6 進(jìn)行顯示畸變校正以提供正確顯示。通過(guò)選擇器7將作為結(jié)果的 信號(hào)提供給顯示單元8。
如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式5，則通過(guò)選 擇器2將來(lái)自攝像單元1的信號(hào)輸出到攝像畸變校正器3 。攝像畸 變校正器3對(duì)拍攝圖像進(jìn)行畸變校正，并通過(guò)選擇器13和14將校 正后的信號(hào)輸入到顯示畸變校正器6。顯示畸變校正器6進(jìn)行顯 示畸變校正以提供正確顯示。通過(guò)選擇器7將作為結(jié)果的信號(hào)提 供給顯示單元8。
根據(jù)經(jīng)由通信線(xiàn)路(未示出)來(lái)自信號(hào)處理器12的指令或 來(lái)自設(shè)置面板(未示出)的指令來(lái)選擇模式。已提出了多種畸變校正技術(shù)，并且可以采用這些技術(shù)中的任何一種。因此省略 對(duì)這些4支術(shù)的詳細(xì)說(shuō)明。利用該結(jié)構(gòu)，可以在HMD內(nèi)校正4聶像畸變和顯示畸變，并 且信號(hào)處理器不需要考慮對(duì)顯示畸變的校正。由于可以根據(jù)信 號(hào)處理器的處理性能來(lái)選擇是否進(jìn)行畸變校正，因而，可以根 據(jù)信號(hào)處理器的性能靈活進(jìn)行校正處理。例如，當(dāng)信號(hào)處理器 具有高處理性能時(shí)，可以由信號(hào)處理器進(jìn)行部分校正處理。盡管就單筒HMD說(shuō)明了第一實(shí)施例，但是還可以添加與單 筒HMD具有相似結(jié)構(gòu)的另 一電路以實(shí)現(xiàn)立體HMD。這種立體 HMD可以包括一個(gè)設(shè)置單元9、 一個(gè)設(shè)置存儲(chǔ)單元IO、以及一 個(gè)控制器ll。在這種情況下，不針對(duì)左眼和右眼分別進(jìn)行與左 眼和右眼相對(duì)應(yīng)的^^像系統(tǒng)和顯示系統(tǒng)的兩個(gè)4交正處理。第二實(shí)施例在第一實(shí)施例中，可以在無(wú)信號(hào)處理器介入的情況下，校 正并直接顯示拍攝圖像。然而，在這種情況下，進(jìn)行兩次畸變校正處理，也就是說(shuō)， 進(jìn)行針對(duì)拍攝圖像的畸變的校正和針對(duì)顯示圖像的畸變的校 正。因此可能由于運(yùn)算誤差等而使得顯示圖像的質(zhì)量下降。本發(fā)明的第二實(shí)施例提供 一 種解決該問(wèn)題的結(jié)構(gòu)。如第一 實(shí)施例中那樣，也就單筒HMD的情況i兌明第二實(shí)施例。然而， 如第一實(shí)施例中那樣，也可以將第二實(shí)施例擴(kuò)展成立體HMD。參照?qǐng)D2說(shuō)明第二實(shí)施例的結(jié)構(gòu)。在圖2中，以相同附圖標(biāo) 記表示與圖l所示相同的組件。如第 一 實(shí)施例中那樣，存儲(chǔ)在設(shè)置存儲(chǔ)單元10中的信息具 有模式l ~ 5中的任何一種?？刂破鱨l根據(jù)存儲(chǔ)在設(shè)置存儲(chǔ)單元 10中的信息適當(dāng)操作。如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式1，則通過(guò)選擇器2 2和2 4將來(lái)自攝像單元1的信號(hào)作為信號(hào)10 2輸出到外部。 通過(guò)選擇器25和27將從外部輸入的信號(hào)103提供給顯示單元8。如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式2,則通過(guò)選 擇器22和24將來(lái)自攝像單元1的信號(hào)作為信號(hào)102輸出到外部。 通過(guò)選擇器25將從外部輸入的信號(hào)103輸入到顯示畸變校正器 6。顯示畸變校正器6進(jìn)行顯示畸變校正以提供正確顯示。通過(guò) 選擇器27將作為結(jié)果的信號(hào)提供給顯示單元8。如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式3,則通過(guò)選 擇器22將來(lái)自攝像單元1的信號(hào)輸出到攝像畸變校正器3 。攝像 畸變校正器3對(duì)拍攝圖像進(jìn)行畸變校正，然后通過(guò)選擇器24將校 正后的信號(hào)作為信號(hào)102輸出到外部。通過(guò)選擇器25和27將從外 部輸入的信號(hào)103提供給顯示單元8。如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式4,則通過(guò)選 擇器22將來(lái)自攝像單元1的信號(hào)輸出到攝像畸變校正器3 。攝像 畸變校正器3對(duì)拍攝圖像進(jìn)行畸變校正，然后通過(guò)選擇器24將校 正后的信號(hào)作為信號(hào)102輸出到外部。通過(guò)選擇器25將從外部輸 入的信號(hào)103輸入到顯示畸變校正器6。顯示畸變校正器6進(jìn)行顯 示畸變校正以提供正確顯示。通過(guò)選擇器27將作為結(jié)果的信號(hào) 提供給顯示單元8。如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式5，則通過(guò)選 擇器22將來(lái)自攝像單元1的信號(hào)輸出到攝像畸變/顯示畸變校正 器23，這是第二實(shí)施例的特征。攝像畸變/顯示畸變校正器23 通過(guò)進(jìn)行單個(gè)算術(shù)運(yùn)算來(lái)同時(shí)校正拍攝圖像的畸變和顯示畸 變。通過(guò)選擇器27將作為結(jié)果的信號(hào)提供給顯示單元8。可以通過(guò)例如進(jìn)行以下測(cè)量并進(jìn)行用于消除該測(cè)量的變換 來(lái)同時(shí)校正攝像系統(tǒng)引起的畸變和顯示系統(tǒng)引起的畸變(a)將以下圖像直接顯示在顯示單元8上(不進(jìn)行任何校正)在該圖像中，使用攝像單元l拍攝幾何信息已知的網(wǎng)格點(diǎn)；(b) 通過(guò)顯示光學(xué)系統(tǒng)獲得顯示在顯示單元8上的圖像， 并測(cè)量所獲得的網(wǎng)格點(diǎn)對(duì)于相應(yīng)的原始網(wǎng)格點(diǎn)的位移量；以及(c) 求出用于消除所測(cè)量出的位移量的變換，并通過(guò)攝像 畸變/顯示畸變校正器23實(shí)現(xiàn)該變換。如果光學(xué)系統(tǒng)的設(shè)計(jì)值是可用的，則可以使用該值來(lái)確定 變換公式。代替確定變換公式，如果已知顯示系統(tǒng)的信息(例如，垂 直和水平像素的數(shù)量和景角)，則可以以表的形式存儲(chǔ)預(yù)先變換 的值。在這種情況下，通過(guò)簡(jiǎn)單處理就可以進(jìn)行畸變校正。當(dāng)根據(jù)來(lái)自信號(hào)處理器12或設(shè)置面板的指令設(shè)置模式時(shí)， 或當(dāng)中斷與信號(hào)處理器12的通信時(shí)，可以直接將來(lái)自攝像系統(tǒng)的信號(hào)輸出到顯示系統(tǒng)?？梢蕴峁┯靡詸z查圖2所示的選擇器27和顯示單元8之間的 信號(hào)的信號(hào)檢查單元來(lái)檢查是否存在來(lái)自信號(hào)處理器12的信 號(hào)。可以識(shí)別來(lái)自信號(hào)處理器12的通信狀態(tài)。也就是說(shuō)，如果 在模式l ~ 4的任一模式中中斷來(lái)自信號(hào)處理器12的信號(hào)傳輸， 則模式改變單元(未示出)自動(dòng)將當(dāng)前模式改變成模式5。即使 來(lái)自信號(hào)處理器12的信號(hào)傳輸中斷，也可以將外部環(huán)境的狀態(tài) 通知給HMD用戶(hù)。因此，HMD用戶(hù)可以方便地獲得舒適的視野。因此，由于可以通過(guò)單個(gè)算術(shù)運(yùn)算來(lái)校正攝像系統(tǒng)引起的 畸變和顯示系統(tǒng)引起的畸變，因而，可以降低運(yùn)算誤差量?？?以將最終獲得的顯示圖像的質(zhì)量下降減小到最小。第三實(shí)施例在本發(fā)明的第三實(shí)施例中，以時(shí)分方式由單個(gè)電路進(jìn)行第 一和第二實(shí)施例中由多個(gè)畸變校正電路進(jìn)行的處理。因此，可以簡(jiǎn)化電路結(jié)構(gòu)。參照?qǐng)D3說(shuō)明第三實(shí)施例的結(jié)構(gòu)。在圖3中，以相同附圖標(biāo)記表示與圖l所示相同的組件。第三實(shí)施例的HMD 15"包括:攝像單元1、顯示單元8、設(shè)置 單元9、設(shè)置存儲(chǔ)單元IO、控制器ll、選擇器31、 32、 33、 34、 37和38、畸變校正器35、以及畸變校正表存^f諸單元36?；冃?正表存儲(chǔ)單元36存儲(chǔ)攝像系統(tǒng)的畸變校正數(shù)據(jù)、顯示系統(tǒng)的畸 變校正數(shù)據(jù)以及用于同時(shí)校正攝像系統(tǒng)所引起的畸變和顯示系 統(tǒng)所引起的畸變的數(shù)據(jù)。存儲(chǔ)在畸變校正表存儲(chǔ)單元36中的數(shù) 據(jù)不局限于上述數(shù)據(jù)，還可以存儲(chǔ)多條攝像畸變數(shù)據(jù)和多條顯 示畸變數(shù)據(jù)等在立體HMD的情況下，右眼的校正數(shù)據(jù)和左眼的校正數(shù)據(jù) 基本上彼此不同。因此，存儲(chǔ)右眼的校正數(shù)據(jù)和左眼的校正數(shù) 據(jù)兩者。存儲(chǔ)在設(shè)置存儲(chǔ)單元10中的信息具有與第 一 實(shí)施例中 相似的模式l ~ 5。利用上述結(jié)構(gòu)，如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有 模式l,則通過(guò)選擇器31和33將來(lái)自攝像單元l的信號(hào)作為信號(hào) 102輸出到外部。通過(guò)選擇器34和38將從外部輸入的信號(hào)103提 供給顯示單元8。如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式2，則通過(guò)選 擇器31和33將來(lái)自攝像單元1的信號(hào)作為信號(hào)102輸出到外部。 通過(guò)選擇器34和32將從外部輸入的信號(hào)103輸入到畸變校正器 35?；冃Ｕ?5從畸變校正表存儲(chǔ)單元36中一企索與該顯示畸 變校正相對(duì)應(yīng)的畸變表信息，并使用檢索到的信息進(jìn)行畸變校 正。通過(guò)選擇器37和38將校正后的結(jié)果提供給顯示單元8。如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式3,則通過(guò)選 擇器31和32將來(lái)自攝像單元1的信號(hào)輸出到畸變校正器35?；?校正器35從畸變校正表存儲(chǔ)單元36中檢索與攝像畸變數(shù)據(jù)相對(duì)應(yīng)的畸變校正表，并使用檢索到的信息校正攝像畸變。通過(guò)選擇器37和33將校正后的信號(hào)作為信號(hào)102輸出到外部。通過(guò)選擇 器34和38將從信號(hào)處理器12輸入的信號(hào)103提供給顯示單元8。如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式4,則通過(guò)選 擇器31和32將來(lái)自攝像單元1的信號(hào)輸出到畸變校正器35?；?校正器35從畸變校正表存儲(chǔ)單元36中檢索與攝像畸變數(shù)據(jù)相對(duì) 應(yīng)的畸變校正表，并使用檢索到的信息校正^f聶像畸變。通過(guò)選 擇器37和33將校正后的信號(hào)作為信號(hào)102輸出到外部。通過(guò)選擇 器34和32將從信號(hào)處理器12輸入的信號(hào)103輸入到畸變校正器 35?；冃Ｕ?5從畸變校正表存儲(chǔ)單元36中檢索與顯示畸變 數(shù)據(jù)相對(duì)應(yīng)的畸變校正表，并使用檢索到的信息校正顯示畸變。 通過(guò)選擇器37和38將該結(jié)果提供給顯示單元8。如果在設(shè)置存儲(chǔ)單元10中設(shè)置的信息具有模式5,則通過(guò)選 擇器31和32將來(lái)自攝像單元1的信號(hào)輸出到畸變校正器35?；?校正器35從畸變校正表存儲(chǔ)單元36中檢索與攝像畸變數(shù)據(jù)相對(duì) 應(yīng)的畸變校正表，并使用檢索到的信息通過(guò)進(jìn)行單個(gè)算術(shù)運(yùn)算 來(lái)同時(shí)校正拍攝圖像的畸變和顯示畸變。通過(guò)選擇器37和38將 該結(jié)果提供給顯示單元8。利用上述結(jié)構(gòu)，僅使用一個(gè)畸變校正電路來(lái)進(jìn)行畸變校正 處理。因此，可以簡(jiǎn)4匕電^各結(jié)構(gòu)，并可以縮小電^各大小。第四實(shí)施例從信號(hào)處理器12 (例如，PC)控制設(shè)置存儲(chǔ)單元10可以獲 得多種優(yōu)點(diǎn)。例如，從外部設(shè)備控制畸變校正模式(以改變HMD 的模式、讀取HMD中設(shè)置的模式等)，從而防止HMD和外部設(shè) 備進(jìn)行的多余畸變校正。圖3中所示的信號(hào)處理器12利用攝像畸變生成CG圖像，這 是用于減小最終顯示的圖像信號(hào)的運(yùn)算誤差量的另 一 方法。也就是說(shuō)，所生成的CG圖像不是一般的無(wú)畸變圖像，而是與攝像 系統(tǒng)獲得的圖像(即，未校正畸變的圖像信號(hào))相似的具有攝 像畸變的圖像。合成所生成的CG圖像和從攝像單元1獲得的未 校正畸變的圖像信號(hào)以生成合成后的圖像信號(hào)。合成后的圖像 信號(hào)經(jīng)過(guò)攝像畸變/顯示畸變校正處理，然后輸出作為結(jié)果的信利用上述結(jié)構(gòu)，可以通過(guò)單個(gè)算術(shù)運(yùn)算進(jìn)行校正處理，并 且可以避免運(yùn)算誤差的累力口。因此，可以減少或抑制顯示圖像 的質(zhì)量下降?？梢允褂眉y理映射(texture-mapping)方法作為用于生成考 慮顯示畸變的圖像的方法。確定原始圖像中的網(wǎng)格點(diǎn)被如何移 位以通過(guò)顯示系統(tǒng)提供正確顯示，并使用網(wǎng)格點(diǎn)的對(duì)應(yīng)關(guān)系進(jìn) 行紋理映射。因此，可以容易地生成考慮顯示畸變的圖像。第五實(shí)施例參照

本發(fā)明的第五實(shí)施例。 圖4是示出根據(jù)第五實(shí)施例的MR系統(tǒng)的結(jié)構(gòu)的圖。 視頻透視式(video see-through)HMD 401包括攝像單元和圖 像顯示單元。攝像單元配置成拍攝HMD 401的用戶(hù)觀(guān)察到的現(xiàn) 實(shí)空間的圖像(以下稱(chēng)之為"現(xiàn)實(shí)空間圖像")。圖像顯示單元包 括圖像顯示部分，用以向用戶(hù)提供MR圖像、所拍攝的現(xiàn)實(shí)空間 圖像、以及從圖像處理設(shè)備403輸出的圖像等，其中，在MR圖 像中，圖像處理設(shè)備403生成的CG圖像被疊加在所拍攝的現(xiàn)實(shí) 空間圖像上。HMD 401與連接到HMD 401的控制器單元402通信。HMD 401和控制器單元402之間所進(jìn)行的通信不局限于有線(xiàn)通信，還 可以 -使用用于建立無(wú)線(xiàn)局域網(wǎng)(wireless local area network, WLAN)或無(wú)纟戔個(gè)人區(qū)i或網(wǎng)(wireless personal area network,WPAN)等小型網(wǎng)絡(luò)的無(wú)線(xiàn)通信系統(tǒng)來(lái)實(shí)現(xiàn)?？梢酝ㄟ^(guò)來(lái)自控制器單元402的電源來(lái)驅(qū)動(dòng)HMD 401、或 通過(guò)電池來(lái)驅(qū)動(dòng)HMD 401。圖像處理設(shè)備403通過(guò)有線(xiàn)系統(tǒng)連接到控制器單元402,并 包括用于繪制CG圖像的圖像處理器。圖像處理設(shè)備403通過(guò)控 制器單元402與HMD 401通信。HMD 401合成所接收的CG圖像 和HMD 401拍攝的現(xiàn)實(shí)空間圖像，并將作為結(jié)果的合成后的MR 圖像顯示在圖像顯示單元上，以將其提供給HMD用戶(hù)。盡管在圖4中作為單獨(dú)硬件單元示出圖〗象處理設(shè)備403和控 制器單元402,但是，可以將控制器單元402的所有功能包含在 圖像處理設(shè)備403中，以將控制器單元402和圖像處理設(shè)備403 合成為一個(gè)單元?？蛇x地，可以匯集圖像處理設(shè)備403的功能和 控制器單元402的功能來(lái)配置專(zhuān)用圖像處理設(shè)備。HMD 401不 是必須具有圖像合成功能。可以將圖像合成功能包含在圖像處 理設(shè)備403或控制器單元402中。以下從功能觀(guān)點(diǎn)出發(fā)將圖像處理設(shè)備4 0 3的功能和控制器 單元4 02的功能的組合稱(chēng)為"圖像處理設(shè)備"。圖5是根據(jù)本發(fā)明第五實(shí)施例的HMD 50的功能框圖。HMD 50包括攝像單元501、顯示單元502、接口(I/F)503、 圖像合成單元504、第一畸變校正器505、第二畸變校正器506、 設(shè)置單元507、控制器508、位置/方向傳感器510、以及位置信 息生成器511。如圖5所示，第一畸變校正器505和第二畸變校正器506到其 它功能塊具有不同的路徑，并且第一畸變校正器505和第二畸變 校正器506中的一個(gè)可以限制另一個(gè)的功能。然而，到其它功能 塊的路徑可以-波此相同，從而可以無(wú)區(qū)別地利用第 一畸變校正 器505和第二畸變校正器506。攝像單元501拍攝HMD用戶(hù)觀(guān)察到的現(xiàn)實(shí)空間的圖像，并 生成拍攝圖像。顯示單元502將該圖像顯示給HMD用戶(hù)。I/F 503 與連接到HMD 50的外部設(shè)備通信。圖〗象合成單元504將通過(guò)I/F 503從外部設(shè)備輸入的外部輸入圖像和使用攝像單元501拍攝的 拍攝圖像進(jìn)行合成，以生成合成后的圖像。第一畸變校正器505 和第二畸變校正器506對(duì)拍攝圖像、外部輸入圖像、或合成后的 圖像進(jìn)行畸變校正。設(shè)置單元507進(jìn)行對(duì)HMD 50的設(shè)置，控制 器508根據(jù)對(duì)HMD 50的設(shè)置來(lái)控制圖像合成單元504、第一畸 變校正器505、第二畸變校正器506、以及位置信息生成器511。盡管通過(guò)圖5中的設(shè)置單元507進(jìn)行設(shè)置，但也可以通過(guò)I/F 503將設(shè)置信息從連接到HMD 50的外部設(shè)備傳送給控制器508。位置/方向傳感器510獲得計(jì)算HMD 50的空間位置或方向 所需的各種類(lèi)型的感測(cè)信息。位置信息生成器511使用攝像單元 501拍攝的圖像的拍攝圖像信息或位置/方向傳感器510獲得的 感測(cè)信息來(lái)生成HMD 50的三維位置和方向信息。三維位置和 方向信息用于外部設(shè)備，以生成與拍攝圖像進(jìn)行合成的圖像。 當(dāng)外部設(shè)備具有位置信息生成功能時(shí)，不使用HMD 50的位置 信息生成器511,并通過(guò)I/F 503將使用攝像單元510拍攝的拍攝 圖像或通過(guò)位置/方向傳感器510獲得的感測(cè)信息傳送給外部設(shè) 備，使得外部設(shè)備可以生成三維位置和方向信息。圖6是示出可以在才艮據(jù)第五實(shí)施例的HMD 50中進(jìn)行的設(shè)置 的表。在該表中，標(biāo)記"拍攝的"表示拍攝圖像經(jīng)過(guò)畸變校正列中 所定義的校正。標(biāo)記"外部的"表示從外部設(shè)備輸入的外部輸入 圖像經(jīng)過(guò)畸變校正列中所定義的校正。標(biāo)記"合成的"表示合成 后的圖像經(jīng)過(guò)畸變校正列中所定義的校正。在該表中，標(biāo)題為"合成"的列表示是HMD 50還是外部設(shè)備進(jìn)行圖像合成。將合成列設(shè)置成"不應(yīng)用"的設(shè)置表示以下類(lèi)型 不將使用HMD 50的攝像單元501拍攝的圖像輸出到外部設(shè)備、 也不在HMD 50內(nèi)合成該圖像，而是將拍攝圖像顯示在顯示單 元502上。將合成列設(shè)置成"HMD"的設(shè)置表示以下類(lèi)型在HMD 50內(nèi)合成使用攝像單元501拍攝的圖像和通過(guò)I/F 503輸入的外 部輸入圖像，并將作為結(jié)果的合成后的圖像顯示在顯示單元502 上。將合成列設(shè)置成"外部設(shè)備"的設(shè)置表示以下類(lèi)型外部設(shè) 備將待合成的圖像與拍攝圖像進(jìn)行合成，從I/F 503輸入作為結(jié) 果的合成后的圖像，并將該圖像顯示在顯示單元502上，或表示 以下類(lèi)型外部設(shè)備或HMD 50不進(jìn)行圖像合成，從I/F 503將圖 像輸入到HMD50，并顯示在顯示單元502上。將參照?qǐng)D5所示的框圖說(shuō)明圖6所示的表中所定義的設(shè)置中 的操作。設(shè)置l ~ 5表示以下類(lèi)型將使用HMD 50的攝像單元501拍 攝的拍攝圖像顯示在顯示單元502上。在設(shè)置l中，第一畸變校正器505對(duì)攝像單元501獲得的拍攝 圖像進(jìn)行畸變校正處理，以同時(shí)校正攝像畸變和顯示畸變，并 將校正后的圖像顯示在顯示單元502上。在設(shè)置2中，分別通過(guò)第一畸變校正器505和第二畸變校正 器506校正拍攝圖像的攝像畸變和顯示畸變。將校正后的圖像顯 示在顯示單元502上。在設(shè)置3中，第一畸變校正器505校正攝像畸變，并將校正 后的圖像顯示在顯示單元502上。在設(shè)置4中，第一畸變校正器505校正顯示畸變，并將校正 后的圖像顯示在顯示單元502上。在設(shè)置5中，將拍攝圖像直接顯示在顯示單元502上，而不 經(jīng)過(guò)畸變校正處理。在設(shè)置1和2中，校正拍攝圖像的攝像畸變和顯示畸變兩者。 盡管在設(shè)置l中，通過(guò)處理的一次迭代同時(shí)校正攝像畸變和顯示畸變，但是，設(shè)置2需要畸變校正處理的兩次迭代。因此，與設(shè) 置l相比，設(shè)置2可能具有較大的運(yùn)算誤差，設(shè)置1更有效。當(dāng)HMD 50具有才聶像畸變或顯示畸變、或這種畸變可忽略 時(shí)，或當(dāng)HMD 50不具有攝像畸變或顯示畸變、或這種畸變可 忽略時(shí)，可以使用設(shè)置3、 4和5。當(dāng)用戶(hù)不希望進(jìn)行畸變校正時(shí)， 也可以有意地使用設(shè)置3、 4和5。設(shè)置6 ~ 13表示以下類(lèi)型在HMD 50內(nèi)將使用攝像單元501 拍攝的拍攝圖像和從I/F 503輸入的外部輸入圖像進(jìn)行合成，并 將合成后的圖像顯示在顯示單元502上?，F(xiàn)詳細(xì)說(shuō)明校正攝像畸變和顯示畸變兩者的設(shè)置6 ~ 8 。在設(shè)置6中，第二畸變校正器506將等同于HMD 50所引起 的攝像畸變的畸變施加到通過(guò)I/F 503從外部設(shè)備輸入的外部輸 入圖像。該操作被稱(chēng)為"攝像逆畸變校正"。在攝像逆畸變校正 處理中，不是在進(jìn)行圖像合成前消除畸變，而是在對(duì)具有相同 類(lèi)型的畸變的圖像進(jìn)行合成后，通過(guò)該處理的一次迭代來(lái)校正 攝像畸變和顯示畸變的組合。然后，圖像合成單元504將拍攝圖像與經(jīng)過(guò)攝像逆畸變校正 的具有攝像畸變的外部輸入圖像進(jìn)行合成。在合成圖像后，第 一畸變校正器505對(duì)作為結(jié)果的合成后圖像進(jìn)行畸變校正處理， 以同時(shí)校正攝4象畸變和顯示畸變，并將校正后的圖像顯示在顯 示單元502上。在設(shè)置7中，第一畸變校正器505針對(duì)攝像畸變校正拍攝圖 像，并將外部輸入圖像與校正后的圖像進(jìn)行合成。然后，第二 畸變校正器506針對(duì)顯示畸變校正作為結(jié)果的合成后的圖像，并 將校正后的圖像顯示在顯示單元502上。通常在MR系統(tǒng)中，外部輸入圖像是CG圖像，并認(rèn)為，由畸變校正處理引起的運(yùn)算誤差導(dǎo)致的HMD用戶(hù)感覺(jué)到的圖像質(zhì)量的下降小于現(xiàn)實(shí)空間的 拍攝圖像等的自然圖像質(zhì)量的下降。因此，HMD用戶(hù)可以感覺(jué) 到在設(shè)置6中獲得的最終顯示的合成后圖像的質(zhì)量高于在設(shè)置7 中所獲得的，其中，在設(shè)置6中，拍攝圖像即自然圖像經(jīng)過(guò)一次 校正處理，而CG圖像經(jīng)過(guò)兩次校正處理；在設(shè)置7中，CG圖像 經(jīng)過(guò)一次校正處理，而拍攝圖像經(jīng)過(guò)兩次校正處理。在設(shè)置8中，第一畸變校正器505對(duì)拍攝圖像進(jìn)行畸變校正 處理以同時(shí)校正攝像畸變和顯示畸變，而第二畸變校正器506 針對(duì)顯示畸變校正外部輸入圖像。圖像合成單元504合成這些畸 變校正后的圖像，并將校正后的合成后的圖像顯示在顯示單元 502上。在設(shè)置8中，拍攝圖像和外部輸入圖像兩者均經(jīng)過(guò)一次 畸變校正，與設(shè)置6和7相比運(yùn)算誤差較小。因此設(shè)置8更有效。在設(shè)置9和10中，僅校正攝像畸變。在設(shè)置11和12中，僅校 正顯示畸變。在設(shè)置13中，對(duì)攝像畸變或顯示畸變均不進(jìn)行校 正。設(shè)置14~ 22表示以下類(lèi)型外部設(shè)備將待合成的圖像與拍 攝圖像進(jìn)行合成，并通過(guò)I/F 503從外部設(shè)備輸入合成后的圖像， 并將其顯示在顯示單元502上；或表示以下類(lèi)型通過(guò)I/F 503 從外部設(shè)備輸入未經(jīng)過(guò)外部設(shè)備合成的圖像，并將其顯示在顯 示單元502上。在設(shè)置14、 17、 18和21中，在HMD 50內(nèi)校正攝像畸變和 顯示畸變兩者。在設(shè)置15和19中，在HMD 50內(nèi)僅校正攝像畸變。在設(shè)置 16和20中，在HMD 50內(nèi)僅校正顯示畸變。在設(shè)置22中，在HMD 50內(nèi)對(duì)攝像畸變或顯示畸變均不進(jìn) 行校正。圖7是示出根據(jù)第五實(shí)施例的HMD設(shè)置處理的流程圖。當(dāng)打開(kāi)電源時(shí)，HMD 50判斷是否連接了外部設(shè)備(步驟 S701 )。如果連接了外部設(shè)備，則HMD 50讀取外部設(shè)備的設(shè)置 信息(步驟S702 ),并判斷是否讀取了該設(shè)置信息(步驟S703 )。如果讀取了外部設(shè)備的設(shè)置信息，則HMD 50參考外部設(shè) 備的設(shè)置信息(步驟S704 ),并判斷該設(shè)置信息是否包括用于 在外部設(shè)備的控制下對(duì)HMD 50進(jìn)行設(shè)置的信息(步驟S705 )。 如果包括用于在外部設(shè)備的控制下對(duì)HMD 50進(jìn)行設(shè)置的信息， 則根據(jù)該設(shè)置信息執(zhí)行對(duì)HMD 50的設(shè)置(步驟S708 )，并根據(jù) 該設(shè)置控制圖像合成單元504、畸變校正器505和506、以及位置 信息生成器511的功能(步驟S509 )。然后，結(jié)束設(shè)置處理。如果沒(méi)有包括用于在外部設(shè)備的控制下對(duì)HMD 50進(jìn)行設(shè) 置的信息，則確認(rèn)外部設(shè)備有無(wú)合成功能、有無(wú)畸變校正功能、 畸變校正功能的類(lèi)型、有無(wú)位置信息生成功能、以及位置信息 生成功能的類(lèi)型，并確定從HMD 50的設(shè)置中可選擇的設(shè)置(步 驟S706 )。術(shù)語(yǔ)"可選擇的設(shè)置，，意為在該設(shè)置中，例如，外部設(shè) 備和HMD 50不多余地進(jìn)行畸變校正或圖^f象合成。優(yōu)選地，在 步驟S706中從對(duì)HMD的設(shè)置中確定這種設(shè)置。然而，用戶(hù)可以 指定用于確定可選擇的設(shè)置的標(biāo)準(zhǔn)，并且可選擇的設(shè)置不局限 于以上所述的。然后，判斷可選擇的設(shè)置的數(shù)量是否是一個(gè)(步驟S707 )。 如果可選4奪的設(shè)置的數(shù)量是一個(gè)，則在HMD 50中執(zhí)行這個(gè)可 選擇的設(shè)置(步驟S708 )。然后，根據(jù)該設(shè)置控制圖像合成單 元504、畸變校正器505和506、以及位置信息生成器511的功能 (步驟S709 ),然后結(jié)束處理。如杲在步驟S 7 0 7中判斷出可選擇的設(shè)置的數(shù)量不只 一 個(gè)，則將可選擇的設(shè)置通知給用戶(hù)(步驟S710)，根據(jù)來(lái)自用戶(hù)的指示選擇可選擇的設(shè)置中的一個(gè)(步驟S711)。在HMD50中執(zhí) 行所選擇的設(shè)置(步驟S708 ),并根據(jù)該設(shè)置控制圖像合成單 元504、畸變校正器505和506、以及位置信息生成器511的功能 (步驟S709 )。然后結(jié)束設(shè)置處理。如果在步驟S701判斷出沒(méi)有連接外部設(shè)備，或在步驟S703 判斷出未成功讀取外部設(shè)備的設(shè)置信息，則以上述方式從對(duì) HMD 50的所有設(shè)置中選擇一個(gè)設(shè)置(步驟S711)。在HMD 50中執(zhí)行所選擇的設(shè)置(步驟S708 ),并根據(jù)該設(shè) 置控制圖像合成單元504、畸變校正器505和506、以及位置信息 生成器511的功能(步驟S709 )。然后結(jié)束設(shè)置處理。因此，由于HMD具有多個(gè)設(shè)置，因而有以下優(yōu)點(diǎn)。可以將 所希望的針對(duì)攝像畸變和顯示畸變校正后顯示的圖像提供給 HMD用戶(hù)，而不管與HMD連接的外部設(shè)備有無(wú)合成功能、畸變 校正功能和位置信息生成功能、以及外部設(shè)備的畸變校正功能 的類(lèi)型。第六實(shí)施例現(xiàn)參照

本發(fā)明的第六實(shí)施例。圖8是根據(jù)第六實(shí)施例的圖像顯示系統(tǒng)的功能框圖。該圖像顯示系統(tǒng)包括HMD 80和圖像處理設(shè)備81 。HMD 80包括攝像單元801、顯示單元802、 I/F 803和804、圖像合成單元805、畸變校正器806、控制器807、位置/方向傳感器808、以及位置信息生成器809。圖像處理設(shè)備81包括I/F 810和815、位置信息生成器811、CG圖像繪制單元812、畸變校正器813、圖像合成單元814、設(shè)置單元816、以及控制器817。圖像處理設(shè)備81的CG圖像繪制單元812基于HMD 80的位置信息生成器809或圖像處理設(shè)備81的位置信息生成器811所生 成的三維位置和方向信息來(lái)繪制將與拍攝圖像進(jìn)行合成的CG 圖像。其它塊的功能與第五實(shí)施例的相似。也就是說(shuō)，HMD 80 和圖像處理設(shè)備81被配置成根據(jù)通過(guò)設(shè)置單元816輸入的設(shè)置， 分別通過(guò)控制器807和817控制HMD 80的圖〗象合成單元805、畸 變校正器806和位置信息生成器809、以及圖像處理設(shè)備81的圖 像合成單元814、畸變校正器813、位置信息生成器811和CG圖 像繪制單元812?？梢院喜⑹褂眠@些功能以實(shí)現(xiàn)下述各種功能。盡管在第六實(shí)施例中，圖像處理設(shè)備81配置有設(shè)置單元 816,但是，HMD 80也可以配置有設(shè)置單元，該設(shè)置單元用以 通過(guò)HMD 80的控制器807和I/F 804、以及圖像處理設(shè)備81的I/F 815將設(shè)置信息傳送給圖像處理設(shè)備81的控制器817?？蛇x地， HMD 80或圖像處理設(shè)備81可以配置有設(shè)置I/F，通過(guò)該設(shè)置I/F 從外部設(shè)備進(jìn)行設(shè)置。圖9示出可以在根據(jù)第六實(shí)施例的圖像顯示系統(tǒng)中進(jìn)行的 設(shè)置的表。在該表中，標(biāo)記"拍攝的，，表示拍攝圖像經(jīng)過(guò)該畸變校正列 中所定義的校正。標(biāo)記"CG，，表示CG圖像經(jīng)過(guò)該畸變校正列中 所定義的校正，而標(biāo)記"合成的"表示合成后的圖像經(jīng)過(guò)該畸變 校正列中所定義的校正。在該表中，標(biāo)題為"合成"的列表示是HMD 80的圖像合成單 元805還是圖像處理設(shè)備81的圖像合成單元814進(jìn)行圖像合成。 將合成列設(shè)置成"不應(yīng)用"的設(shè)置表示以下類(lèi)型不將使用HMD 80的攝像單元801拍攝的圖像發(fā)送到圖像處理設(shè)備81、也不在 HMD80內(nèi)進(jìn)行合成，而是將拍攝圖像顯示在顯示單元802上。將參照?qǐng)D8所示的功能框圖說(shuō)明圖9所示的設(shè)置中的操作。設(shè)置l ~ 4表示以下類(lèi)型將使用HMD 80的攝像單元801拍攝的圖像顯示在顯示單元802上，而不經(jīng)過(guò)圖像合成。在設(shè)置1中，畸變校正器8 0 6對(duì)使用攝像單元8 01拍攝的拍攝 圖像進(jìn)行畸變校正處理，以同時(shí)校正攝像畸變和顯示畸變，并 將校正后的圖像顯示在顯示單元802上。在設(shè)置2中，畸變校正器806校正拍攝圖像的攝像畸變。在 設(shè)置3中，畸變校正器806校正拍攝圖像的顯示畸變。在設(shè)置4 中，將拍攝圖像顯示在顯示單元802上，而不經(jīng)過(guò)畸變校正處理。當(dāng)HMD 80具有攝像畸變或顯示畸變、或不具有攝像畸變 或顯示畸變時(shí)，可以使用設(shè)置2、 3和4。當(dāng)用戶(hù)不希望進(jìn)行畸變 校正時(shí)，也可以有意地使用設(shè)置2、 3和4。設(shè)置5 ~ ll表示以下類(lèi)型通過(guò)HMD 80的圖像合成單元805 對(duì)使用HMD 80的攝像單元801拍攝的圖像和通過(guò)圖像處理設(shè)備 81的CG圖像繪制單元812生成的CG圖像進(jìn)行合成，并將作為結(jié) 果的合成后的圖像顯示在顯示單元802上?，F(xiàn)詳細(xì)說(shuō)明校正攝像畸變和顯示畸變兩者的設(shè)置5和6。在設(shè)置5中，圖像處理設(shè)備81的畸變校正器813對(duì)圖像處理 設(shè)備81生成的CG圖像進(jìn)行攝像逆畸變校正，并通過(guò)I/F 815和 804將校正后的圖^f象傳送給HMD 80。然后，HMD 80的圖像合 成單元8 0 5將拍攝圖像與經(jīng)過(guò)攝像逆畸變校正的具有攝像畸變 的CG圖像進(jìn)行合成。HMD 80的畸變校正器806對(duì)作為結(jié)果的合 成后的圖像進(jìn)行畸變校正處理，以同時(shí)校正攝像畸變和顯示畸 變，并將校正后的圖^象顯示在顯示單元802上。在設(shè)置6中，HMD 80的畸變校正器806對(duì)拍攝圖像進(jìn)行畸 變校正，以同時(shí)校正攝像畸變和顯示畸變，圖像處理設(shè)備81的 畸變校正器813對(duì)CG圖像進(jìn)行顯示畸變校正。HMD 80的圖像合 成單元805合成這些畸變校正后的圖像，并將作為結(jié)果的合成后 的圖像顯示在顯示單元802上。在設(shè)置6中，拍攝圖像和外部輸入圖像兩者均經(jīng)過(guò)一次畸變校正，因而與設(shè)置5中的相比運(yùn)算誤 差較小。因此設(shè)置6更有效。在設(shè)置7和8中，僅校正攝像畸變。在設(shè)置9和10中，僅校正 顯示畸變。在設(shè)置11中，對(duì)攝像畸變或顯示畸變均不進(jìn)行校正。設(shè)置12~ 22表示以下類(lèi)型在圖像處理設(shè)備81內(nèi)對(duì)拍攝圖 像和CG圖像進(jìn)行合成，并通過(guò)I/F 815和804將作為結(jié)果的合成 后的圖像傳送給HMD 80,并將其顯示在顯示單元802上。現(xiàn)詳細(xì)說(shuō)明校正攝像畸變和顯示畸變兩者的設(shè)置12 ~ 15。在設(shè)置12中，首先，圖像處理設(shè)備81的畸變校正器813對(duì)圖 像處理設(shè)備81生成的CG圖像進(jìn)行攝像逆畸變校正。然后，圖像 處理設(shè)備81的圖像合成單元814將拍攝圖像與經(jīng)過(guò)攝像逆畸變 校正的具有攝像畸變的CG圖像進(jìn)行合成。然后，通過(guò)I/F 815 和804將合成后的圖像傳送給HMD 80,并且HMD 80的畸變校 正器806對(duì)合成后的圖像進(jìn)行畸變校正處理，以同時(shí)校正攝像畸 變和顯示畸變。將作為結(jié)果的圖像顯示在顯示單元802上。在設(shè)置13中，HMD 80的畸變校正器806對(duì)拍攝圖像進(jìn)行畸 變校正處理，以同時(shí)校正攝像畸變和顯示畸變，并且，圖像處 理設(shè)備81的畸變校正器813對(duì)CG圖像進(jìn)行顯示畸變校正。圖像 處理設(shè)備81的圖像合成單元814合成這些畸變校正后的圖像，并 通過(guò)I/F 815和804將合成后的圖像傳送到HMD 80。將傳送來(lái)圖 像顯示在顯示單元802上。在設(shè)置13中，如在設(shè)置6中一樣，拍 攝圖像和CG圖像兩者均經(jīng)過(guò)一次畸變校正，因而與設(shè)置12相 比，運(yùn)算誤差較小。因此，設(shè)置13更有效。在設(shè)置14中，HMD 80的畸變校正器806對(duì)使用攝像單元801 拍攝的拍攝圖像進(jìn)行攝像畸變校正，并通過(guò)I / F 8 0 3和810將經(jīng)過(guò) 攝像畸變校正的拍攝圖像傳送給圖像處理設(shè)備81 。圖像處理設(shè) 備81的圖像合成單元814將CG圖像繪制單元812生成的CG圖像與經(jīng)過(guò)攝像畸變校正的拍攝圖像進(jìn)行合成，并且圖像處理設(shè)備81的畸變校正器813對(duì)合成后的圖像進(jìn)行顯示畸變校正。通過(guò) I/F 815和804將經(jīng)過(guò)畸變才交正的合成后的圖^f象傳送癥合HMD 80, 并將其顯示在顯示單元802上。在設(shè)置15中，通過(guò)I/F 803和810將使用才聶像單元801拍攝的 拍攝圖像傳送給圖像處理設(shè)備81,并且圖像處理設(shè)備81的畸變 校正器813校正攝像畸變。圖像處理設(shè)備81的圖像合成單元814 將CG圖像繪制單元812生成的CG圖像與針對(duì)攝像畸變校正的 拍攝圖像進(jìn)行合成。通過(guò)I/F 815和804將經(jīng)過(guò)畸變校正的合成后 的圖像傳送給HMD 80。 HMD 80的畸變校正器806對(duì)合成后的 圖像進(jìn)行顯示畸變校正，并將作為結(jié)果的圖像顯示在顯示單元 802上。在設(shè)置16、 17和18中，僅校正攝像畸變。在設(shè)置19、 20和 21中，僅校正顯示畸變。在設(shè)置22中，對(duì)攝像畸變或顯示畸變 均不進(jìn)行校正。因此，提供多個(gè)設(shè)置。因此，在具有HMD 80和圖像處理 設(shè)備81的圖像顯示系統(tǒng)中，通過(guò)組合使用圖像合成單元的功能 和畸變校正功能，可以將針對(duì)攝像畸變和顯示畸變校正后的M R 圖像提供給HMD用戶(hù)。第七實(shí)施例將參照

本發(fā)明的第七實(shí)施例。圖IO是根據(jù)第七實(shí)施例的圖像處理設(shè)備100的功能框圖。圖像處理設(shè)備100包括I/F 1001、圖像合成單元1003、第一 畸變校正器1004、第二畸變校正器1005、設(shè)置單元1006、控制 器1007、位置信息生成器1008、以及CG圖像繪制單元1009。各塊的功能與第五和第六實(shí)施例中的相同。也就是說(shuō)，圖 像處理設(shè)備100配置成控制器1007根據(jù)設(shè)置單元1006輸入的設(shè)置來(lái)控制圖像合成單元1003、第一畸變校正器1004、第二畸變 校正器1005、位置和方向信息生成器1008、以及CG圖像繪制單 元1009。可以組合使用這些功能以實(shí)現(xiàn)下述各種功能。盡管在圖10中，通過(guò)設(shè)置單元1006進(jìn)行設(shè)置，但是連接到 圖像處理設(shè)備100的外部設(shè)備可以通過(guò)I/F IOOI將設(shè)置信息傳送 給控制器1007。如圖IO所示，第一畸變校正器1004和第二畸變校正器1005 到其它功能塊具有不同的路徑，并且第一畸變校正器1004和第 二畸變校正器1005中的一個(gè)可以限制另 一個(gè)的功能。可選地， 到其它功能塊的路徑可以彼此相同，以使得可以在亳無(wú)區(qū)別的 情況下利用第一畸變校正器1004和第二畸變校正器1005。圖ll是示出可以在根據(jù)第七實(shí)施例的圖像處理設(shè)備100中 進(jìn)行的設(shè)置的表。該表中，標(biāo)記"外部的"表示來(lái)自連接到圖像處理設(shè)備IOO 的外部設(shè)備的外部輸入圖像經(jīng)過(guò)該畸變校正列中所定義的校 正。標(biāo)記"CG"表示CG圖像繪制單元1009生成的CG圖像經(jīng)過(guò)該 畸變校正列中所定義的校正，標(biāo)記"合成的"表示合成后的圖像 經(jīng)過(guò)該畸變校正列中所定義的校正。在該表中，標(biāo)題為"合成" 的列表示圖像處理設(shè)備100是否進(jìn)行圖像合成。將合成列設(shè)置成 "不應(yīng)用"的設(shè)置表示不進(jìn)行圖像合成。將合成列設(shè)置成"圖像處 理設(shè)備"的設(shè)置表示以下類(lèi)型通過(guò)圖像處理設(shè)備100合成從I/F IOOI輸入的外部輸入圖像，并將作為結(jié)果的合成后的圖像從I/F IOOI輸出到外部i殳備。參照?qǐng)DIO所示的功能框圖說(shuō)明圖ll所示的設(shè)置中的操作。設(shè)置l ~ 5表示以下類(lèi)型從外部設(shè)備輸入的外部輸入圖像 不經(jīng)過(guò)圖像合成，并通過(guò)I/F IOOI將該圖像輸出到外部設(shè)備。在設(shè)置1中，第 一畸變校正器1004對(duì)從外部設(shè)備輸入的圖像進(jìn)行畸變校正處理，以同時(shí)校正攝像畸變和顯示畸變，并通過(guò) I/F IOOI將作為結(jié)果的圖像輸出到外部設(shè)備。在設(shè)置2中，第一畸變校正器1004對(duì)外部輸入圖像進(jìn)行攝像 畸變校正，其后，第二畸變校正器1005進(jìn)行顯示畸變校正。通 過(guò)I/F IOOI將畸變校正后的CG圖像輸出到外部設(shè)備?？梢砸韵?反的順序進(jìn)行校正處理。在設(shè)置3中，第一畸變校正器1004對(duì)外部輸入圖像進(jìn)行攝像 畸變校正。在設(shè)置4中，第一畸變校正器1004對(duì)外部輸入圖像進(jìn) 行顯示畸變校正。在設(shè)置5中，通過(guò)I/F IOOI將外部輸入圖像輸出到外部設(shè)備， 而不經(jīng)過(guò)畸變校正處理。在設(shè)置1中通過(guò)處理的一次迭代同時(shí)校正攝像畸變和顯示 畸變，而設(shè)置2需要畸變校正處理的兩次迭代。因此，與設(shè)置l 相比，設(shè)置2包含較大運(yùn)算誤差，因而設(shè)置l更有效。當(dāng)連接到圖像處理設(shè)備100的外部設(shè)備具有攝像畸變或顯 示畸變、或不具有攝像畸變或顯示畸變時(shí)，使用設(shè)置3、 4和5。在上述說(shuō)明中，設(shè)置3表示以下類(lèi)型如果需要，針對(duì)畸變 校正從外部設(shè)備輸入的圖像，并且通過(guò)I/F IOOI再次將作為結(jié)果 的外部輸入圖像輸出到外部設(shè)備。然而，在實(shí)際應(yīng)用中，可以 不將外部輸入圖像輸出到外部設(shè)備。以下將說(shuō)明這種情況。位置信息生成器1008可以使用外部輸入圖像數(shù)據(jù)或通過(guò)各 種傳感裝置獲得的傳感信息來(lái)生成CG圖像繪制單元1009用來(lái) 繪制與外部輸入圖像合成的CG圖像的三維位置和方向信息。在根據(jù)外部輸入圖像數(shù)據(jù)生成三維位置和方向信息的情況 下，如果圖像包括攝像畸變，則所生成的三維位置和方向信息 的精確性低。在這種情況下，第一畸變校正器1004針對(duì)攝像畸 變校正外部輸入圖像，并且位置信息生成器10 0 8使用針對(duì)攝像畸變校正后的圖像數(shù)據(jù)。因此，可以獲得較高精確性的三維位 置和方向信息。因此，在根據(jù)第七實(shí)施例的圖像處理設(shè)備100中，可以提供以下設(shè)置校正外部輸入圖像的攝像畸變以生成高精確性的三 維位置和方向信息，而且不輸出圖像。還可以提供以下設(shè)置 根據(jù)需要，校正外部輸入圖像的攝像畸變以生成高精確性的三 維位置和方向信息，并且對(duì)使用所生成的三維位置和方向信息 繪制的CG圖像進(jìn)行畸變校正處理，然后將其輸出到外部設(shè)備。設(shè)置6~ ll表示以下類(lèi)型不在圖像處理設(shè)備100內(nèi)合成CG 圖像繪制單元1009所生成的CG圖像，并通過(guò)I/F IOOI將該圖像 輸出到外部設(shè)備。在設(shè)置6中，第一畸變校正器1004對(duì)CG圖像繪制單元1009 生成的CG圖像進(jìn)行畸變校正處理，以同時(shí)校正攝像畸變和顯示 畸變，并通過(guò)I/F IOOI將作為結(jié)果的圖像輸出到外部設(shè)備。在設(shè)置7中，第一畸變校正器1004對(duì)CG圖像進(jìn)行攝像畸變 校正，其后，第二畸變校正器1005進(jìn)行顯示畸變校正。通過(guò)I/F IOOI將畸變校正后的CG圖像輸出到外部設(shè)備?？梢砸韵喾吹捻?序進(jìn)行校正處理。在設(shè)置8、 9和10中，第一畸變校正器1004對(duì)CG圖像進(jìn)行攝 像畸變校正、顯示畸變校正和攝像逆畸變才交正中的任何一個(gè)， 并通過(guò)I/F IOOI將畸變校正后的CG圖像輸出到外部設(shè)備。在設(shè)置11中，通過(guò)I/F IOOI將CG圖像輸出到外部設(shè)備，而 不經(jīng)過(guò)畸變校正處理。對(duì)校正攝像畸變和顯示畸變的設(shè)置6和7進(jìn)行比較。在設(shè)置6 中，如設(shè)置l中那樣，可以通過(guò)處理的一次迭代同時(shí)校正攝像畸 變和顯示畸變，因而，與需要畸變校正處理的兩次迭代的設(shè)置7 相比，運(yùn)算誤差較小。因此，設(shè)置6更有效。設(shè)置12~ 19表示以下類(lèi)型圖像處理設(shè)備100的圖像合成單 元1003對(duì)CG圖像繪制單元1009生成的CG圖像和通過(guò)I/F 1001 從外部設(shè)備輸入的外部輸入圖像進(jìn)行合成，并通過(guò)I/F IOOI將合 成后的圖像輸出到外部設(shè)備。在設(shè)置12、 13和14中，圖像處理設(shè)備100校正攝像畸變和顯 示畸變兩者。在設(shè)置15和16中，圖像處理設(shè)備100僅校正攝像畸變。 在設(shè)置17和18中，圖像處理設(shè)備100僅校正顯示畸變。 在設(shè)置19中，對(duì)攝像畸變或顯示畸變均不進(jìn)行校正。 因此，由于提供了多個(gè)設(shè)置而具有以下優(yōu)點(diǎn)?？梢陨煽?慮針對(duì)攝像畸變和顯示畸變兩者進(jìn)行校正的輸出圖像，而不管 連接到圖像處理設(shè)備100的外部設(shè)備有無(wú)合成功能、畸變校正功 能和位置信息生成功能，也不管外部設(shè)備的畸變校正功能的類(lèi) 型。其它實(shí)施例應(yīng)該理解，通過(guò)向系統(tǒng)或設(shè)備提供存儲(chǔ)有用于實(shí)現(xiàn)上述實(shí) 施例的功能的軟件的程序代碼的存儲(chǔ)介質(zhì)，以使該系統(tǒng)或設(shè)備 的計(jì)算機(jī)(或中央處理單元(CPU)、或微處理單元(MPU)) 可以讀取和執(zhí)行存儲(chǔ)在存儲(chǔ)介質(zhì)中的程序代碼，從而可以實(shí)現(xiàn) 本發(fā)明的優(yōu)點(diǎn)。實(shí)施例的功能，該程序代碼和存儲(chǔ)該程序代碼的存儲(chǔ)介質(zhì)構(gòu)成 本發(fā)明的實(shí)施例。光盤(pán)、磁光盤(pán)、光盤(pán)只讀存儲(chǔ)器(CD-ROM )、可讀光盤(pán)(CD-R)、 磁帶、非易失性存儲(chǔ)卡、以及ROM。不^f又可以通過(guò)^丸行計(jì)算機(jī)讀取的程序^R碼來(lái)實(shí)現(xiàn)上述實(shí)施例的功能，運(yùn)行在計(jì)算機(jī)上的操作系統(tǒng)(OS)等也可以根據(jù)該程 序代碼的指令來(lái)執(zhí)行部分或全部實(shí)際處理，以實(shí)現(xiàn)上述實(shí)施例 的功能。這也落入本發(fā)明的范圍內(nèi)。中的功能擴(kuò)展板或與計(jì)算機(jī)連接的功能擴(kuò)展單元的存儲(chǔ)器中， 其后，該功能擴(kuò)展板或功能擴(kuò)展單元的C P U等可以根據(jù)該程序 代碼的指令來(lái)執(zhí)行部分或全部實(shí)際處理，以實(shí)現(xiàn)上述實(shí)施例的 功能。這也落入本發(fā)明的范圍。盡管參照典型實(shí)施例說(shuō)明了本發(fā)明，但是應(yīng)該理解，本發(fā) 明不局限于所公開(kāi)的典型實(shí)施例。所附權(quán)利要求書(shū)的范圍符合 最寬的解釋?zhuān)园行薷暮偷韧Y(jié)構(gòu)及功能。
權(quán)利要求
1. 一種具有攝像功能的顯示設(shè)備，包括輸出單元，用于將圖像信號(hào)輸出到外部設(shè)備；輸入單元，用于從所述外部設(shè)備輸入圖像信號(hào)；攝像單元；顯示單元；攝像畸變校正器，用于對(duì)所述攝像單元拍攝的圖像信號(hào)進(jìn)行攝像畸變校正；顯示畸變校正器，用于進(jìn)行顯示畸變校正；以及控制器，用于對(duì)所述攝像畸變校正器是否進(jìn)行所述攝像畸變校正以及所述顯示畸變校正器是否進(jìn)行所述顯示畸變校正進(jìn)行控制。
2. 根據(jù)權(quán)利要求l所述的具有攝像功能的顯示設(shè)備，其特 征在于，還包括畸變校正器，用于對(duì)所述攝像單元拍攝的圖像 信號(hào)進(jìn)行攝像畸變校正和顯示畸變校正；其中，所述控制器對(duì)所述攝像畸變校正器是否進(jìn)行所述攝 像畸變校正、所述顯示畸變校正器是否進(jìn)行所述顯示畸變校正 以及所述畸變校正器是否對(duì)所述攝像單元拍攝的圖像信號(hào)進(jìn)行 攝像畸變校正和顯示畸變校正進(jìn)行控制。
3. 根據(jù)權(quán)利要求l所述的具有攝像功能的顯示設(shè)備，其特 征在于，當(dāng)來(lái)自所述攝像單元的圖像信號(hào)不輸出到所述外部設(shè) 備而被輸出到所述顯示單元時(shí)，使用所述攝像畸變校正器和所 述顯示畸變校正器中的一個(gè)來(lái)校正所述圖像信號(hào)。
4. 根據(jù)權(quán)利要求l所述的具有攝像功能的顯示設(shè)備，其特 征在于，還包括畸變校正電路；其中，所述攝像畸變校正器在畸變校正表中配置有所述畸 變校正電路進(jìn)行攝像畸變校正的設(shè)置，并進(jìn)行所述攝像畸變校 正；以及所述顯示畸變校正器在畸變校正表中配置有所述畸變校正 電路進(jìn)行顯示畸變校正的設(shè)置，并進(jìn)行所述顯示畸變校正。
5. —種用于具有攝像功能的顯示設(shè)備的圖像處理方法，所述顯示設(shè)備包括輸出單元，用于將圖像信號(hào)輸出到外部設(shè)備； 輸入單元，用于從所述外部設(shè)備輸入圖像信號(hào)；攝像單元；以 及顯示單元；所述圖像處理方法包括以下步驟攝像畸變校正步驟，用于對(duì)所述攝像單元拍攝的圖像信號(hào) 進(jìn)行攝像畸變校正；顯示畸變校正步驟，用于進(jìn)行顯示畸變校正；以及 控制步驟，用于對(duì)是否在所述攝像畸變校正步驟中進(jìn)行所 述攝像畸變校正以及是否在所述顯示畸變校正步驟中進(jìn)行所述 顯示畸變校正進(jìn)行控制。
6. 根據(jù)權(quán)利要求l所述的具有攝像功能的顯示設(shè)備，其特 征在于，還包括圖像合成單元，用于將從所述輸入單元輸入的外部輸入圖 像與使用所述攝像單元拍攝的圖像進(jìn)行合成；以及設(shè)置單元，用于設(shè)置每個(gè)畸變校正器所進(jìn)行的畸變校正的 類(lèi)型，并確定所述圖像合成單元是否進(jìn)行圖像合成；其中，所述控制器根據(jù)所述設(shè)置單元所進(jìn)行的設(shè)置來(lái)進(jìn)行 所述控制。
7. 根據(jù)權(quán)利要求6所述的具有攝像功能的顯示設(shè)備，其特 征在于，如果不經(jīng)過(guò)圖像合成而將所述攝像單元拍攝的現(xiàn)實(shí)空 間圖像顯示在所述顯示單元上，則對(duì)所述現(xiàn)實(shí)空間圖像進(jìn)行攝 像畸變校正和顯示畸變校正。
8. 根據(jù)權(quán)利要求6所述的具有攝像功能的顯示設(shè)備，其特 征在于，當(dāng)所述圖像合成單元進(jìn)行圖像合成以生成合成后的圖 像時(shí)，所述畸變校正器中的至少一個(gè)第一畸變校正器通過(guò)施加等同于由所述攝像單元所引起的攝像畸變的畸變來(lái)對(duì)所述外部 輸入圖像進(jìn)行攝像逆畸變校正，并且所述畸變校正器中的至少 一個(gè)第二畸變校正器對(duì)所述合成后的圖像進(jìn)行攝像畸變校正和顯示畸變校正。
9. 根據(jù)權(quán)利要求6所述的具有攝像功能的顯示設(shè)備，其特 征在于，如果所述圖像合成單元進(jìn)行圖像合成以生成合成后的 圖像，則所述畸變校正器中的至少一個(gè)第一畸變校正器對(duì)所述 外部輸入圖像進(jìn)行顯示畸變校正，并且，所述畸變校正器中的 至少 一 個(gè)第二畸變校正器對(duì)拍攝圖像進(jìn)行攝像畸變校正和顯示 畸變校正。
10. —種圖像顯示系統(tǒng)，包括 具有攝像功能的顯示設(shè)備，該顯示設(shè)備包括輸入單元，用于從外部設(shè)備輸入圖像信號(hào)； 輸出單元，用于將圖像信號(hào)輸出到外部設(shè)備； 攝像單元，用于拍攝現(xiàn)實(shí)空間圖像；以及 顯示單元，用于顯示圖像； 圖像處理設(shè)備，其包括圖像生成器，該圖像生成器用以生成與所述具有攝像功能的顯示設(shè)備的攝像單元所拍攝的現(xiàn)實(shí)空間圖像進(jìn)行合成的合成用圖像；圖像合成單元，用于將所述圖像生成器生成的所述圖像與所述攝像單元拍攝的所述現(xiàn)實(shí)空間圖像進(jìn)行合成，以生成合成后的圖像；設(shè)置單元，用于設(shè)置畸變校正類(lèi)型；以及 畸變校正器，用于根據(jù)所述設(shè)置單元設(shè)置的畸變校正類(lèi)型 來(lái)校正圖像畸變。
11. 根據(jù)權(quán)利要求10所述的圖像顯示系統(tǒng)，其特征在于， 所述具有攝像功能的顯示設(shè)備和所述圖像處理設(shè)備中的每一個(gè)均包括圖像合成單元和畸變校正器。
12. 根據(jù)權(quán)利要求ll所述的圖像顯示系統(tǒng)，其特征在于， 如果不經(jīng)過(guò)圖像合成而將所述攝像單元拍攝的所述現(xiàn)實(shí)空間圖 像顯示在所述顯示單元上，則所述具有攝像功能的顯示設(shè)備中 的所述畸變校正器同時(shí)進(jìn)行攝像畸變校正和顯示畸變校正。
13. 根據(jù)權(quán)利要求ll所述的圖像顯示系統(tǒng)，其特征在于， 如果所述具有攝像功能的顯示設(shè)備中的所述圖像合成單元進(jìn)行 圖像合成，則所述圖像處理設(shè)備中的畸變校正器通過(guò)施加等同 于由所述攝像單元所引起的攝像畸變的畸變來(lái)對(duì)所述合成用圖 像進(jìn)行攝像逆畸變校正，并且，所述具有攝像功能的顯示設(shè)備 中的所述畸變校正器對(duì)所述合成后的圖像進(jìn)行攝像畸變校正和 顯示畸變校正。
14. 根據(jù)權(quán)利要求ll所述的圖像顯示系統(tǒng)，其特征在于， 當(dāng)所述具有攝像功能的顯示設(shè)備中的所述圖像合成單元進(jìn)行圖 像合成時(shí)，所述圖像處理設(shè)備中的畸變校正器對(duì)所述合成用圖 像進(jìn)行顯示畸變校正，并且，所述具有攝像功能的顯示設(shè)備中 的所述畸變校正器對(duì)所述現(xiàn)實(shí)空間圖像進(jìn)行攝像畸變校正和顯 示畸變4i正。
15. 根據(jù)權(quán)利要求ll所述的圖像顯示系統(tǒng)，其特征在于， 如果所述圖像處理設(shè)備中的所述圖像合成單元進(jìn)行圖像合成， 則所述圖像處理設(shè)備中的所述畸變校正器通過(guò)施加等同于由所 述攝像單元所引起的攝像畸變的畸變來(lái)對(duì)所述合成用圖像進(jìn)行 攝像逆畸變校正，并且，所述具有攝像功能的顯示設(shè)備中的所 述畸變校正器對(duì)所述合成后的圖像進(jìn)行攝像畸變校正和顯示畸 變校正。
16. 根據(jù)權(quán)利要求ll所述的圖像顯示系統(tǒng)，其特征在于， 如果所述圖像處理設(shè)備中的所述圖像合成單元進(jìn)行圖像合成，則所述圖像處理設(shè)備中的所述畸變校正器對(duì)所述合成用圖像進(jìn) 行顯示畸變校正，并且，所述具有攝像功能的顯示設(shè)備中的所 述畸變校正器對(duì)所述現(xiàn)實(shí)空間圖像進(jìn)行攝像畸變校正和顯示畸 變校正。
17. —種圖像處理設(shè)備，包括 輸入單元，用于從外部設(shè)備接收?qǐng)D像信號(hào)； 圖像生成器，用于生成與所述圖像處理設(shè)備接收到的外部輸入圖像進(jìn)行合成的合成用圖像；輸出單元，用于將圖像信號(hào)輸出到所述外部設(shè)備； 圖像合成單元，用于將所述合成用圖像與所述外部輸入圖像進(jìn)行合成；至少一個(gè)畸變校正器，用于校正圖像畸變；以及 設(shè)置單元，用于設(shè)置所述畸變校正器進(jìn)行的畸變校正的類(lèi) 型，并確定所述圖像合成單元是否進(jìn)行圖像合成。
18. 根據(jù)權(quán)利要求17所述的圖像處理設(shè)備，其特征在于， 如果不經(jīng)過(guò)所述圖像合成單元的圖像合成而從所述輸出單元輸 出所述外部輸入圖像和所述合成用圖像中的一個(gè)，則所述畸變 校正器同時(shí)進(jìn)行攝像畸變校正和顯示畸變校正。
19. 根據(jù)權(quán)利要求17所述的圖像處理設(shè)備，其特征在于， 所述至少一個(gè)畸變校正器包括多個(gè)畸變校正器；以及 如果所述圖像合成單元進(jìn)行圖像合成以生成合成后的圖像，則所述多個(gè)畸變校正器中的至少一個(gè)第一畸變校正器通過(guò)施加等同于由攝像單元所引起的攝像畸變的畸變來(lái)對(duì)所述合成用圖像進(jìn)行攝像逆畸變校正，并且，所述多個(gè)畸變校正器中的至少 一 個(gè)第二畸變校正器對(duì)所述合成后的圖像進(jìn)行攝像畸變校 正和顯示畸變校正。
20. 根據(jù)權(quán)利要求17所述的圖像處理設(shè)備，其特征在于，所述至少一個(gè)畸變校正器包括多個(gè)畸變校正器；以及 如果所述圖像合成單元進(jìn)行圖像合成以生成合成后的圖 像，則所述多個(gè)畸變校正器中的至少一個(gè)第一畸變校正器對(duì)所 述合成用圖像進(jìn)行顯示畸變校正，并且，所述多個(gè)畸變校正器 中的至少 一 個(gè)第二畸變校正器對(duì)所述外部輸入圖像進(jìn)行攝像畸變才交正和顯示畸變4交正。
全文摘要
一種具有攝像功能的顯示設(shè)備、圖像處理設(shè)備和方法、圖像顯示系統(tǒng)。該具有攝像功能的顯示設(shè)備包括輸出單元，用于將圖像信號(hào)輸出到外部設(shè)備；輸入單元，用于從外部設(shè)備輸入圖像信號(hào)；攝像單元；顯示單元；攝像畸變校正器，用于對(duì)攝像單元拍攝的圖像信號(hào)進(jìn)行攝像畸變校正；顯示畸變校正器，用于進(jìn)行顯示畸變校正；以及控制器，用于對(duì)攝像畸變校正器是否進(jìn)行攝像畸變校正以及顯示畸變校正器是否進(jìn)行顯示畸變校正進(jìn)行控制。因此，在包括具有攝像功能的顯示設(shè)備和外部設(shè)備的整個(gè)系統(tǒng)中，可以適當(dāng)校正由具有攝像功能的顯示設(shè)備的攝像系統(tǒng)和顯示系統(tǒng)所引起的畸變。
文檔編號(hào)H04N5/225GK101232577SQ200710107979
公開(kāi)日2008年7月30日 申請(qǐng)日期2007年5月22日 優(yōu)先權(quán)日2006年5月22日
發(fā)明者內(nèi)山晉二, 梶田佳樹(shù), 片山昭宏, 辻本卓哉, 鈴木雅博 申請(qǐng)人:佳能株式會(huì)社