專利名稱：用于生成全景圖像的處理裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于由多個捕獲圖像生成全景圖像的處理裝置及方法。
背景技術(shù)：
作為全景圖像生成方法，日本專利申請?zhí)亻_2001-136514號公報論述了一種技術(shù)，該技術(shù)將拍攝裝置能夠通過搖擺來攝影的整個區(qū)域分割成多個區(qū)域，對各個區(qū)域的捕獲圖像執(zhí)行投影變換，并將這些圖像相連接。作為私密掩模(privacy mask)的合成方法，日本專利申請?zhí)亻_2001-69494號公報論述了一種技術(shù)，該技術(shù)生成與拍攝裝置的搖擺角度相對應的位置和尺寸的私密掩模， 并將該掩模疊加在捕獲圖像上。然而，存在如下可能依據(jù)于捕獲圖像經(jīng)受處理的位置，全景圖像的質(zhì)量可能劣化。例如，在私密掩模區(qū)域在用于生成全景圖像的多個捕獲圖像之間交疊的情況下， 存在如下可能在通過對疊加有私密掩模圖像的多個捕獲圖像執(zhí)行投影變換而生成全景圖像時，私密掩模圖像在連接部分處移位。此外，例如在私密掩模區(qū)域(以下稱為“掩模區(qū)域”)在多個捕獲圖像之間不交疊的情況下，存在如下可能全景圖像上應該是掩模區(qū)域的區(qū)域沒有成為掩模區(qū)域。例如，描述了如下情況，即掩模區(qū)域的位置由與掩模區(qū)域的中心位置相對應的攝像機的擺動角和傾斜角的信息來管理，并且掩模區(qū)域的尺寸由關(guān)于寬度和高度的信息來管理。在此情況下，如果基于捕獲所述多個圖像時的擺動角和傾斜角將掩模圖像疊加在所述多個捕獲圖像的各個上，然后生成全景圖像，則存在如下可能應該是掩模區(qū)域的區(qū)域從實際疊加有掩模圖像的區(qū)域處移位。在具有大的傾斜角的區(qū)域(通常指全景圖像的上部區(qū)域)上該現(xiàn)象尤其顯著。這是因為隨著傾斜角的增大，與擺動控制相對應的攝像機的圖像捕獲(capturing)方向的移動方向變得與絕對水平方向(just horizontaldirection) 不同。此外，當包括同屏顯示(on-screen display)功能的拍攝裝置生成全景圖像時，存在全景圖像的圖像質(zhì)量被劣化的可能。該同屏顯示功能將諸如拍攝日期/時間以及拍攝地點的同屏圖像(on-screen image)疊加在捕獲圖像上。更具體地說，存在如下可能根據(jù)同屏圖像的疊加位置，將不必要的同屏圖像疊加在全景圖像的捕獲圖像的連接部分處。圖5示出了由上述方法生成的全景圖像的示例。在圖5中，陰影區(qū)域示出了私密掩模圖像，而下部表示日期/時間的區(qū)域示出了同屏圖像。如圖5所示，根據(jù)私密掩模圖像在各捕獲圖像上的疊加位置，有可能在私密掩模圖像的邊緣部分生成不平整的區(qū)域 (irregular area)和部分缺失區(qū)域。此外，根據(jù)同屏圖像在各捕獲圖像上的疊加位置，有可能疊加上不可辨識的不必要的同屏圖像
發(fā)明內(nèi)容
本發(fā)明提供一種用于提高由多個捕獲圖像生成的全景圖像的質(zhì)量的方法。根據(jù)本發(fā)明的一方面，提供了一種能夠由通過多次拍攝獲得的多個捕獲圖像生成全景圖像的處理裝置，該處理裝置包括輸入單元，其被構(gòu)造成輸入用于確定預定圖像在所述捕獲圖像上的疊加位置的疊加參數(shù)；生成單元，其被構(gòu)造成通過對通過所述多次拍攝而獲得的所述多個捕獲圖像的坐標值進行變換處理，來由所述多個捕獲圖像生成所述全景圖像；以及，確定單元，其被構(gòu)造成根據(jù)通過所述生成單元執(zhí)行了所述坐標值的變換處理的所述全景圖像上的位置信息和用于確定所述預定圖像在所述捕獲圖像上的疊加位置的所述疊加參數(shù)，來確定所述預定圖像在所述全景圖像上的疊加位置。通過下面參照附圖對示例性實施例的詳細說明，本發(fā)明的其他特征和各方面將變
得清楚。


包括在說明書中并構(gòu)成說明書的一部分的附圖，例示本發(fā)明的示例性實施例、特征和各方面，與文字描述一起，用于解釋本發(fā)明的原理。圖1是示出用于生成全景圖像的網(wǎng)絡(luò)攝像機系統(tǒng)的框圖。圖2是示出用于生成全景圖像的處理的流程圖。圖3示出了客戶機的畫面顯示的示例。圖4示出了捕獲圖像平面和全景圖像平面的概念圖。圖5示出了由傳統(tǒng)方法生成的全景圖像的示例。
具體實施例方式現(xiàn)在，參照附圖詳細說明本發(fā)明的示例性實施例、特征和各方面。圖1是示出根據(jù)本發(fā)明的示例性實施例的網(wǎng)絡(luò)攝像機系統(tǒng)的框圖。在該示例性實施例中，攝像機服務(wù)器1、閱讀器(viewer)客戶機2(以下稱為“客戶機2”)以及用于生成全景圖像的客戶機3經(jīng)由網(wǎng)絡(luò)4相連。能夠?qū)⒍鄠€攝像機服務(wù)器 1、客戶機2以及客戶機3連接到網(wǎng)絡(luò)4。在本示例性實施例中，客戶機3是用于由通過多次拍攝獲得的多個捕獲圖像生成全景圖像的處理裝置。本示例性實施例中的全景圖像是具有比一次拍攝獲得的捕獲圖像更寬的視場角的圖像。網(wǎng)絡(luò)4是數(shù)字網(wǎng)絡(luò)(例如互聯(lián)網(wǎng)和內(nèi)聯(lián)網(wǎng))，能夠利用攝像機服務(wù)器1傳送攝像機控制信號和捕獲圖像。在本示例性實施例中，假定傳輸控制協(xié)議/互聯(lián)網(wǎng)協(xié)議(TCP/IP) (或用戶數(shù)據(jù)報協(xié)議/互聯(lián)網(wǎng)協(xié)議(UDP/IP))，作為網(wǎng)絡(luò)協(xié)議。此外，在本示例性實施例中， 針對攝像機服務(wù)器1、客戶機2和客戶機3中的各個分配了不同的互聯(lián)網(wǎng)協(xié)議(IP)地址。攝像機服務(wù)器1響應于來自客戶機2和客戶機3的圖像請求命令，經(jīng)由網(wǎng)絡(luò)4發(fā)送捕獲圖像。此外，攝像機服務(wù)器1響應于來自客戶機2和客戶機3的攝像機控制命令，執(zhí)行各種類型的攝像機控制(例如，擺動/傾斜/變焦控制)。攝像機服務(wù)器1中的圖像輸入單元15獲得由視頻攝像機11捕獲的圖像(運動圖像和靜止圖像)。在私密掩模和同屏顯示有效時，圖像輸入單元15將所捕獲的圖像輸入至圖像疊加單元19。在私密掩模和同屏顯示無效時，圖像輸入單元15將所捕獲的圖像輸入至圖像壓縮單元16。圖像疊加單元19將私密掩模圖像和同屏圖像疊加在輸入的捕獲圖像上，并將疊
5加后的捕獲圖像輸入至圖像壓縮單元16。換言之，攝像機服務(wù)器1中的圖像疊加單元19將同屏圖像和私密掩模圖像疊加在捕獲圖像上。同屏圖像例如是捕獲圖像的拍攝日期、拍攝時間或拍攝地點、文本圖像以及關(guān)于拍攝對象的圖形圖像、或者攝像機服務(wù)器1的標識信息。私密掩模圖像例如是使得不能夠確定(specify)人員、名稱或者數(shù)字的掩模圖像。私密掩?？梢允牵缬靡环N顏色繪制的圖像或者馬賽克圖像(mosaic image) 0本示例性實施例的客戶機2的操作輸入單元23和客戶機3的操作輸入單元34能夠輸入私密掩模圖像的疊加位置?？蛻魴C2的通信控制單元21和客戶機3的通信控制單元31根據(jù)操作輸入單元23和34對疊加位置的輸入，向攝像機服務(wù)器1發(fā)送包含表示疊加位置的疊加參數(shù)的命令。攝像機服務(wù)器1中的圖像疊加單元19將私密掩模圖像疊加在捕獲圖像上的與從客戶機2和3通知的疊加參數(shù)、在輸入疊加位置時視頻攝像機11的擺動/傾斜/變焦值以及視頻攝像機11的當前擺動/傾斜/變焦值相對應的區(qū)域上。當由多個捕獲圖像生成了全景圖像時，根據(jù)對捕獲圖像上的疊加位置的輸入，還將私密掩模圖像疊加在全景圖像上。然而，私密掩模的疊加位置并不限于由用戶輸入疊加區(qū)域而確定的示例。例如，可以將疊加位置確定為，疊加在由圖像處理檢測到的面部區(qū)域上。圖像壓縮單元16將從圖像輸入單元15或圖像疊加單元19輸入的捕獲圖像壓縮成易于發(fā)送給客戶機的數(shù)據(jù)大小，并將壓縮后的捕獲圖像輸入通信控制單元14。通信控制單元14將經(jīng)圖像壓縮單元16壓縮的捕獲圖像，經(jīng)由網(wǎng)絡(luò)4發(fā)送給圖像請求命令的發(fā)送源客戶機。存儲單元18存儲私密掩模和同屏顯示的設(shè)定值、由客戶機3生成的全景圖像的各種設(shè)定值和數(shù)據(jù)。命令解釋單元17解釋來自客戶機2和3的命令，并控制攝像機服務(wù)器1 的各個部分。例如，命令解釋單元17響應于通信控制單元14接收到攝像機控制命令，經(jīng)由攝像機/云臺控制單元13控制可動云臺(movable camera platform) 12的方向和視頻攝像機11的變焦倍率。本示例性實施例的圖像壓縮單元16對來自視頻攝像機11的美國國家電視制式委員會(NTSC, national television system committee)圖像信號進行模擬 / 數(shù)字(A/ D)轉(zhuǎn)換，然后利用移動式連續(xù)圖像專家組(Motion-Joint Photographic Experts Group, MotionJEPG)壓縮轉(zhuǎn)換后的圖像信息。然而，可以使用其他壓縮方法。此外，命令解釋單元 17響應于通信控制單元14接收到包含表示私密掩模的疊加位置的疊加參數(shù)的命令，向存儲單元18和圖像疊加單元19輸入疊加參數(shù)?？蛻魴C2指定分配給攝像機服務(wù)器1的IP地址，并與攝像機服務(wù)器1相連。通信控制單元21向攝像機服務(wù)器1發(fā)送圖像請求命令和攝像機控制命令。此外，通信控制單元 21從攝像機服務(wù)器1接收捕獲圖像、全景圖像以及各種攝像機控制結(jié)果。顯示控制單元M基于圖像擴展單元25所擴展的捕獲圖像和全景圖像生成圖形用戶界面(⑶I)，然后，由畫面顯示單元沈顯示該⑶I。操作輸入單元23接收用戶利用鼠標或鍵盤進行的GUI操作。用戶的GUI操作例如是用于指示攝像機服務(wù)器1執(zhí)行擺動/傾斜控制和變焦控制的操作。更具體地說，用戶執(zhí)行⑶I操作，例如，在顯示在畫面顯示單元沈上的全景圖像上進行的鼠標點擊，以及對顯示視頻攝像機11的擺動/傾斜/變焦值的框進行的拖動。命令生成單元22根據(jù)操作輸入單元23接收到的GUI操作，生成各種攝像機控制命令。將所生成的攝像機控制命令從通信控制單元21發(fā)送到攝像機服務(wù)器1。與客戶機2類似，客戶機3指定分配給攝像機服務(wù)器1的IP地址，并連接到攝像機服務(wù)器1。通信控制單元31、顯示控制單元35、圖像擴展單元36以及畫面顯示單元37分別與客戶機2中的對應單元具有類似的功能?？蛻魴C3中的操作輸入單元34除了接收來自客戶機2中的操作輸入單元23的操作輸入以外，還接收來自攝像機服務(wù)器1的對用于請求全景圖像的GUI操作的輸入。該用于請求全景圖像的GUI操作可以包括用于指定全景圖像的區(qū)域的GUI操作?？蛻魴C3中的控制參數(shù)計算單元33根據(jù)通過操作輸入單元34輸入的用于請求全景圖像的⑶I操作，計算用于捕獲用于生成全景圖像的圖像的擺動角/傾斜角，并將所計算的結(jié)果輸入命令生成單元32。命令生成單元32根據(jù)輸入的擺動角/傾斜角生成攝像機控制命令，并將該命令經(jīng)由通信控制單元31發(fā)送給攝像機服務(wù)器1。接收到該攝像機控制命令的攝像機服務(wù)器1控制可動云臺12以具有與該攝像機控制命令相對應的擺動角/傾斜角，然后將視頻攝像機11 獲得的捕獲圖像發(fā)送給客戶機3?？蛻魴C3中的操作輸入單元34還可以進行用于指定私密掩模圖像在捕獲圖像上的疊加位置的輸入。當從操作輸入單元34輸入了私密掩模圖像的疊加位置時，通信控制單元31將包含有表示疊加位置的疊加參數(shù)的命令發(fā)送給攝像機服務(wù)器1。全景圖像生成單元38由從攝像機服務(wù)器1接收到的多個捕獲圖像生成全景圖像。 更具體地說，全景圖像生成單元38通過變換處理(投影變換)將在圖像擴展單元36中擴展的多個捕獲圖像的坐標值進行轉(zhuǎn)換，并且將經(jīng)過轉(zhuǎn)換的所述多個捕獲圖像連接，以生成全景圖像。將全景圖像生成單元38所生成的全景圖像輸入圖像疊加單元39。圖像疊加單元39將私密掩模圖像疊加在全景圖像生成單元38所生成的全景圖像上，并輸出至圖像壓縮單元30?？蛻魴C3中的圖像疊加單元39基于表示捕獲圖像上指定的疊加位置的疊加參數(shù)和投影變換的計算公式，確定私密掩模圖像在全景圖像上的疊加位置。更具體地說，圖像疊加單元39確定私密掩模圖像在全景圖像上的疊加位置，使得將預定圖像(私密掩模圖像)疊加在由捕獲圖像上的疊加位置轉(zhuǎn)換來的全景圖像的疊加位置上。圖像疊加單元39將私密掩模圖像疊加在所確定的疊加位置上。圖像壓縮單元30對由圖像疊加單元39疊加了私密掩模圖像的全景圖像進行壓縮，并將該全景圖像發(fā)送給通信控制單元31。將從通信控制單元31發(fā)送給攝像機服務(wù)器1 的全景圖像存儲在攝像機服務(wù)器1中的存儲單元18中，并根據(jù)來自另一客戶機(客戶機2) 的請求進行發(fā)送。圖2是示了本示例性實施例中的攝像機服務(wù)器1和客戶機3中的全景圖像的生成處理的流程圖。客戶機3是由通過多次拍攝獲得的多個捕獲圖像生成全景圖像的處理裝置。圖2中的處理響應于通過客戶機3中的操作輸入單元34進行的用于生成全景圖像的指令的輸入操作而啟動。在步驟SlOl中，客戶機3中的命令生成單元32確定攝像機服務(wù)器1中的同屏顯示(OSD)是否有效(ON)。當命令生成單元32確定同屏顯示為ON(步驟SlOl中的“是”) 時，在步驟S102中，命令生成單元32發(fā)送用于將攝像機服務(wù)器1中的同屏顯示轉(zhuǎn)變成有無效(OFF)的控制命令。攝像機服務(wù)器1中的通信控制單元14根據(jù)接收到用于將同屏顯示轉(zhuǎn)變成無效的控制命令，將利用圖像疊加單元19的同屏顯示的功能轉(zhuǎn)變成無效(OFF)。在步驟S103中，命令生成單元32確定攝像機服務(wù)器1中的私密掩模處理是否有效(ON)。當命令生成單元32確定私密掩模處理為ON(步驟S103中的“是”)時，在步驟 S104中，命令生成單元32發(fā)送用于將攝像機服務(wù)器1中的私密掩模處理轉(zhuǎn)變成無效(OFF) 的控制命令。攝像機服務(wù)器1中的通信控制單元14根據(jù)接收到用于將私密掩模處理轉(zhuǎn)變成無效的控制命令，將利用圖像疊加單元19的私密掩模處理轉(zhuǎn)變成無效(OFF)。在步驟S105中，客戶機3中的控制參數(shù)計算單元33基于從操作輸入單元34輸入的關(guān)于全景圖像區(qū)域的信息，計算用于生成全景圖像的多個捕獲圖像的各個的擺動角/傾斜角。在步驟S106中，命令生成單元32發(fā)送攝像機控制命令，該攝像機控制命令用于將視頻攝像機11控制成與步驟S105中計算的多個擺動角/傾斜角中的一個擺動角/傾斜角相對應的圖像捕獲方向。當通信控制單元31接收到表示將視頻攝像機11的圖像捕獲方向控制成與步驟 S106中發(fā)送的攝像機控制命令相對應的圖像捕獲方向的通知時，則在步驟S107中，命令生成單元32發(fā)送拍攝命令。視頻攝像機11響應于通信控制單元14接收到拍攝命令，按當前的擺動角/傾斜角捕獲圖像。利用該處理，獲得用于生成全景圖像的多個捕獲圖像中的一個圖像。由圖像壓縮單元16對視頻攝像機11所獲得的捕獲圖像進行壓縮，并經(jīng)由通信控制單元14發(fā)送給客機3。在步驟S108(生成過程)中，從攝像機服務(wù)器1接收到壓縮后的捕獲圖像的客戶機3在圖像擴展單元36中擴展捕獲圖像，在全景圖像生成單元38中將所擴展的圖像與其他捕獲圖像相連，從而生成全景圖像。更具體地說，客戶機3中的全景圖像生成單元38通過對進行多次拍攝而獲得的多個捕獲圖像的坐標值進行變換處理(投影變換)，由所述多個捕獲圖像生成全景圖像。以下將描述變換處理的詳情。在步驟S109中，命令生成單元32確定是否獲得了用于生成全景圖像的所有的捕獲圖像，以及是否輸入了用于中斷生成全景圖像的的指令。如果確定獲得了所有的捕獲圖像，或者輸入了用于中斷生成全景圖像的指令(步驟S109中的“是”)，則處理進行到步驟S110。另一方面，如果確定沒有獲得所有的捕獲圖像，并且沒有輸入用于中斷生成全景圖像的指令(步驟S109中的“否”)，則處理返回步驟 S106。當處理返回步驟S106時，命令生成單元32發(fā)送用于將視頻攝像機11控制成如下方向的攝像機控制命令，該方向具有與步驟S105中計算的多個擺動角/傾斜角中的在前處理中不同的擺動角/傾斜角。然后，在步驟S107和步驟S109中，類似地執(zhí)行上述處理。通過反復進行步驟S106到步驟S109的處理，客戶機3能夠獲得用于生成全景圖像的所有的捕獲圖像。在步驟SllO中，命令生成單元32確定在步驟S102中攝像機服務(wù)器1中的同屏顯示是否被轉(zhuǎn)變成無效(OFF)。當確定攝像機服務(wù)器1中的同屏顯示被轉(zhuǎn)變成無效(步驟 SllO中的“是”)時，則在步驟Slll中，命令生成單元32發(fā)送用于將攝像機服務(wù)器1中的同屏顯示轉(zhuǎn)變成有效(ON)的控制命令。在步驟Sl 12中，命令生成單元32確定在步驟S104中攝像機服務(wù)器1中的私密掩模處理是否被轉(zhuǎn)變成無效(OFF)。如果確定攝像機服務(wù)器1中的私密掩模處理被轉(zhuǎn)變成無效(步驟Sl 12中的“是”)，則在步驟Sl 13中，命令生成單元32發(fā)送用于將攝像機服務(wù)器 1中的私密掩模處理轉(zhuǎn)變成有效(ON)的控制命令。在步驟S114中，圖像疊加單元39確定在步驟S109是否中斷了全景圖像的生成。 如果確定全景圖像的生成未中斷(步驟S114中的“否”)，則處理進行到步驟S115。在步驟 S115中，圖像疊加單元39將私密掩模圖像疊加在由步驟S106至S109中獲得的多個捕獲圖像而生成的全景圖像上。換言之，在步驟Sl 15 (輸入過程)中，圖像疊加單元39輸入存儲在存儲單元18中的關(guān)于私密掩模位置的參數(shù)和關(guān)于描繪方法的參數(shù)。該關(guān)于私密掩模的參數(shù)包括關(guān)于表示私密掩模的疊加位置的疊加參數(shù)、設(shè)置疊加參數(shù)時的擺動/傾斜/變焦值以及當前的擺動/傾斜/變焦值的信息。該關(guān)于描繪方法的參數(shù)包括關(guān)于私密掩模圖像的顏色或圖案的信息。在步驟S115 (確定過程)中，圖像疊加單元39將私密掩模圖像疊加在全景圖像上的疊加位置，該疊加位置是基于關(guān)于在捕獲圖像上指定的私密掩模圖像的疊加位置的參數(shù)和以下描述的投影變換的計算公式而確定的。換言之，圖像疊加單元39基于疊加參數(shù)確定私密掩模圖像在全景圖像上的疊加位置，使得將私密掩模圖像疊加在由捕獲圖像上的疊加位置轉(zhuǎn)換來的全景圖像上的疊加位置上。如上所述，根據(jù)本示例性實施例的攝像機服務(wù)器1中的通信控制單元14，在步驟 S102和步驟S104中，將利用攝像機服務(wù)器1中的圖像疊加單元19的同屏顯示和私密掩模處理的功能，轉(zhuǎn)變成無效(OFF)(控制過程)。然后，通信控制單元14向客戶機3發(fā)送，視頻攝像機11所捕獲的并且處于未疊加有同屏圖像和私密掩模的狀態(tài)的多個捕獲圖像。然后，客戶機3連接所述多個捕獲圖像，以生成全景圖像。接下來，客戶機3中的圖像疊加單元39執(zhí)行疊加處理。更具體地說，在步驟S102和S104中，攝像機服務(wù)器1中的通信控制單元14控制預定圖像(私密掩模圖像)被疊加在由通過多次拍攝獲得的多個捕獲圖像而生成的全景圖像上。然后，在步驟S115中，客戶機3中的通信控制單元31向攝像機服務(wù)器1發(fā)送，由圖像疊加單元39疊加了各種圖像的全景圖像。攝像機服務(wù)器1將所接收到的全景圖像存儲在存儲單元18中。攝像機服務(wù)器1中的通信控制單元14響應于來自客戶機2的請求， 向客戶機2發(fā)送存儲在存儲單元18中的全景圖像(輸出過程)。在本示例性實施例中，在步驟S115中疊加私密掩模圖像。然而，也可以與全景圖像的生成相并行地執(zhí)行疊加處理。例如，在用于生成全景圖像的多次拍攝當中，客戶機3中的全景圖像生成單元38將第一次拍攝獲得的第一捕獲圖像與第二次拍攝獲得的第二捕獲圖像進行合成，從而生成全景圖像的一部分。然后，當全景圖像生成單元38生成全景圖像的一部分時，客戶機3中的圖像疊加單元39將以與所述第一捕獲圖像和所述第二捕獲圖像交疊的方式疊加的圖像，分別疊加在第一捕獲圖像和第二捕獲圖像上。因此，與在完成全景圖像生成之后執(zhí)行疊加處理的情況相比，該全景圖像的生成能夠更快完成。此外，在步驟S115中，圖像疊加單元39能夠在全景圖像上疊加同屏圖像。更具體地說，圖像疊加單元39能夠基于存儲在存儲單元18中的關(guān)于同屏顯示位置的疊加參數(shù) (捕獲圖像上的位置和尺寸)和關(guān)于顯示內(nèi)容的參數(shù)(字符串和字體大小)，疊加同屏圖像。此外，例如，可以在顯示全景圖像的客戶機2中疊加同屏圖像。圖3是顯示捕獲圖像的客戶機2的畫面顯示的示例，在攝像機服務(wù)器1中在該捕獲圖像上疊加了同屏圖像和私密掩模圖像。客戶機2中的顯示畫面包括實時圖像(live image)顯示單元50和全景圖像顯示單元51。實時圖像顯示單元50顯示由視頻攝像機11捕獲的實時圖像。全景圖像顯示單元 51顯示從攝像機服務(wù)器1中的存儲單元19獲得的全景圖像?？蛻魴C2中的顯示畫面包括擺動滾動條52、傾斜滾動條53和變焦滑塊M。擺動滾動條52和傾斜滾動條53用于通過拖動調(diào)鈕(knob)來指示對可動云臺12的擺動/傾斜控制。變焦滑塊M用于通過拖動調(diào)鈕來指示對視頻攝像機11的變焦控制。此外，全景圖像顯示單元51顯示用于指示擺動/傾斜/變焦控制的全景預覽框 55。用戶能夠通過利用例如鼠標拖動(mouse-dragging)而移動全景預覽框55，來控制視頻攝像機11的圖像捕獲方向。此外，用戶能夠利用通過鼠標拖動而改變?nèi)邦A覽框55的尺寸，來控制視頻攝像機11的圖像變焦倍率。在實時圖像顯示單元50中，顯示通過操作全景預覽框55而進行控制后的實時圖像。當在攝像機服務(wù)器1中同屏顯示和私密掩模有效時，在實時圖像顯示單元50中顯示通過圖像疊加單元19疊加了同屏圖像57和私密掩模圖像56的捕獲圖像。捕獲圖像上的同屏圖像57是由圖像疊加單元19基于存儲在存儲單元18中的關(guān)于同屏顯示位置的參數(shù) (捕獲圖像上的位置和尺寸)以及關(guān)于顯示內(nèi)容的參數(shù)(字符串和字體大小)而疊加的。捕獲圖像上的私密掩模圖像56是基于存儲在存儲單元18中的關(guān)于私密掩模的疊加位置的參數(shù)和關(guān)于描繪方法的參數(shù)而疊加的。該關(guān)于私密掩模的疊加位置的參數(shù)例如包括關(guān)于私密掩模圖像的疊加位置的疊加參數(shù)、關(guān)于在設(shè)置疊加參數(shù)時的搖動/傾斜/變焦值以及當前的擺動/傾斜/變焦值的信息。此外，關(guān)于描繪方法的參數(shù)包括關(guān)于私密掩模圖像的顏色或圖案的信息。在圖3中的私密掩模圖像56中，左側(cè)的部分缺失(missed)。當擺動到左側(cè)時可以看到整個私密掩模圖像。當捕獲用于生成全景圖像的圖像時可能出現(xiàn)私密掩模的部分缺失的問題，并且根據(jù)步驟S103中計算的擺動角/傾斜角，會存在一個私密掩模與相鄰的捕獲圖像相交疊的情況。在此情況下，當由疊加有私密掩模圖像的多個捕獲圖像，通過例如投影變換來生成全景圖像時，私密掩模圖像可能在全景圖像的連接處移位。以下參照圖4描述用于由多個捕獲圖像生成全景圖像的投影變換。圖4是捕獲圖像平面和全景圖像平面的概念圖。
可以利用地圖投影方法中的心射切面投影(gnomonic projection)描述用于生成全景圖像的投影變換。更具體地說，將心射切面投影中的視點(標記為Q)布置在擺動/傾斜中心Q(0，0，0)處。圖像平面上的坐標Pl (x，y)是以一定的擺動(Pan)角/傾斜(Tilt)角(ρ，τ )獲得的。當將圖像布置成與以視點Q為球心且半徑為R的球面相接觸時，以極坐標的方式表示連接Pl (χ，y)和視點Q的直線穿過該球面的點的坐標。當按心射切面投影該極坐標表示的結(jié)果是(RsinGcoscp, RcosGcosqp,Rsinqp)
時，通常滿足以下公式。χ = m.Rcosqpsin(0 - p)/{sinqpsirn; + cosqpcosi;cos(0 - ρ)}(公式 1.1)
y = m.R(sincpcosT - coscpsiirucos(6 -p))/{sinqpsim; + cosqpcosi;cos(0 - p)}(公式1. 2)當擺動角/傾斜角是(ρ，τ )時，該圖像平面與球面交叉處的圖像平面的坐標為原點(0，0)。通過擺動/傾斜獲得的整個圖像區(qū)域，由作為搖動方向θπ η至θ max和傾斜方向qpmin至qpmax的角度表示。在這些角度中，將視頻攝像機11的視角加增加至可動云臺 12的擺動/傾斜可動區(qū)域。更具體地說，當擺動/傾斜的極限分別是Riiin、Pmax、Tmin和Tmax時，視頻攝像機 11在水平方向和垂直方向分別具有Ah和Av的視角，滿足以下公式。θ min = Pmin—Ah/2θ max = Pmax+Ah/2
qpmin = Pmin - Av/2
qpmax = Pmax + Av/2當所生成的全景圖像的像素數(shù)是水平方向H個像素且垂直方向V個像素時，以如下公式來分別描述與擺動方向和傾斜方向中的一個像素對應的視角。Δ θ = ( θ max- θ min) /H (公式 2· 1)Δφ = (qpmax — qpmin)/V (公式 2· 2)更具體地說，當由擺動/傾斜角(θ，φ)表達像素(i，j)時，滿足以下公式
(0, φ) = (0min + Δθ χ i, qpmin +Δφ χ j)其中，i=0，1，2，...，！1-1，并且」=0,1,2, ... ,V-I0因此，基于值(θ, φ)和獲得某一圖像imgO^a，Tb)時的擺動/傾斜角，能夠利用公式(1.1)、(1.2)、(2. 1)和(2. 2)確定圖像img(Pa，Tb)上的坐標(x，y)對應于全景圖像上哪個坐標，其中a = 1，2，. . .，n，而b = 1，2，. . .，m。更具體地說，當全景圖像上的坐標是 Xp和Yp，且變換公式是F時，由以下公式3將原始捕獲圖像上的坐標映射成全景圖像上的坐標。
因此，可以用原始捕獲圖像img(Pa，Tb)的像素值替換全景圖像上的坐標(XpJb) 的像素值。當對整個全景圖像上的像素(i，j)執(zhí)行了這種計算時，能夠獲得具有相對于搖動角/傾斜角呈線性的坐標系的全景圖像。變換公式F是由全景圖像生成單元38執(zhí)行的投影變換的計算公式。如上所述，在本示例性實施例中，由于在用于生成全景圖像的捕獲圖像過程中攝像機服務(wù)器1中的同屏圖像的疊加處理是無效的，因此可以防止圖5中所示的不必要的同屏圖像顯示。此外，在用于生成全景圖像的圖像捕獲過程中，攝像機服務(wù)器1中的私密掩模的疊加處理是無效的。可以基于用于確定私密掩模圖像在捕獲圖像上的疊加位置的疊加參數(shù)和投影變換的計算公式，來確定私密掩模圖像在全景圖像上的疊加位置(其中，該私密掩模圖像的疊加位置是通過進行投影變換而轉(zhuǎn)換來的)。利用這一配置，能夠生成具有平滑邊緣部分的私密掩模圖像的全景圖像。更具體地說，圖像疊加單元39基于存儲在存儲單元18中的、設(shè)置私密掩模時的擺動/傾斜/變焦值，計算變換公式F。然后，圖像疊加單元39將構(gòu)成設(shè)置私密掩模時捕獲圖像上的私密掩模的各像素的坐標代入公式3中，并且確定私密掩模圖像的區(qū)域。利用該處理，能夠?qū)⒕哂衅交吘壊糠值乃矫苎谀D像疊加在全景圖像上。當由擺動角、傾斜角、攝像機的寬度和高度來管理掩模區(qū)域，并且由疊加有掩模圖像的多個捕獲圖像生成全景圖像時，存在原始的掩模區(qū)域和實際疊加有掩模圖像區(qū)域移位的情況。在具有大的傾斜角的區(qū)域(圖5中的上側(cè)區(qū)域)中，這一現(xiàn)象尤其顯著。這是因為隨著傾斜角增大，與擺動控制相對應的、攝像機的圖像捕獲方向的移動方向變得與絕對水平方向不同。在本示例性實施例中，攝像機服務(wù)器1中的圖像疊加單元19的功能在生成全景圖像時是無效的，而經(jīng)由網(wǎng)絡(luò)4連接的客戶機3中的圖像疊加單元39將私密掩模圖像疊加在全景圖像上。然而，本發(fā)明不限于這一示例。例如，在攝像機服務(wù)器1中，在將圖像疊加單元19的功能轉(zhuǎn)變成無效后，由通過多次拍攝獲得的多個捕獲圖像生成全景圖像。然后，攝像機服務(wù)器1中的圖像疊加單元19能夠疊加私密掩模圖像。在此情況下，當輸出捕獲圖像并且在步驟S103中確定圖像疊加單元 19中的私密掩模處理為ON時，攝像機服務(wù)器1中的通信控制單元14保持圖像疊加單元19 的功能有效(ON)。另一方面，當輸出全景圖像時并且在步驟S103中確定圖像疊加單元19中的私密掩模處理為ON時，在步驟S104中，通信控制單元14將圖像疊加單元19的功能暫時轉(zhuǎn)變成無效，使得將私密掩模疊加在全景圖像上。換言之，在輸出全景圖像時，攝像機服務(wù)器1中的通信控制單元14執(zhí)行控制，以使在生成全景圖像后疊加私密掩模圖像。利用該處理，攝像機服務(wù)器1能夠在自身裝置內(nèi)生成高質(zhì)量的全景圖像。此外，攝像機服務(wù)器1可以從客戶機3接收在客戶機3中生成的全景圖像，并且將私密掩模圖像疊加在全景圖像上。此外，上述示例性實施例關(guān)注用于在所生成的全景圖像上疊加私密掩模圖像的處理。然而，該處理不限于這種情況。例如，當執(zhí)行掩模處理(馬賽克處理或者用于降低特定
12區(qū)域的分辨率的處理)而不是疊加私密掩模圖像時，也可以應用本發(fā)明。以此情況下，在步驟S104中，攝像機服務(wù)器1中的通信控制單元14執(zhí)行用于將圖像疊加單元19中的掩模處理轉(zhuǎn)變成無效的控制，以使得在由多個捕獲圖像獲得的全景圖像上執(zhí)行掩模處理，并向客戶機3發(fā)送未經(jīng)過掩模處理的捕獲圖像。然后，在步驟S115中， 客戶機3生成全景圖像，同時基于表示在捕獲圖像上指定的掩模位置的掩模參數(shù)和投影變換的計算公式，來確定全景圖像上的掩模位置，以執(zhí)行掩模處理?？梢岳美缈蛻魴C2中的操作輸入單元23和客戶機3中的操作輸入單元34，輸入掩模參數(shù)(例如，私密掩模的疊加參數(shù))?？蛻魴C3中的疊加單元39基于掩模參數(shù)、設(shè)置掩模參數(shù)時的擺動/傾斜/變焦值、當前的擺動/傾斜/變焦值以及投影變換的計算公式， 確定全景圖像上的掩模位置，并執(zhí)行掩模處理。掩模參數(shù)并不限于來自操作輸入單元23和34的輸入。例如，可以使用表示由圖像處理所檢測到的臉圖像的區(qū)域的區(qū)域信息，作用掩模參數(shù)。利用該配置，能夠降低例如馬賽克處理的邊緣部分的不平整性(irregularity)。在步驟Sl 15中，攝像機服務(wù)器1中的圖像疊加單元19可以對全景圖像執(zhí)行掩模處理。此外，上述示例性實施例關(guān)注用于在所生成的全景圖像上疊加秘密掩模圖像的處理。然而，該處理并不限于這種情況。例如，在實際生成全景圖像之前，計算私密掩模圖像在全景圖像上的疊加位置，并可以基于計算結(jié)果來疊加私密掩模圖像。此外，用于獲得私密掩模的疊加位置的方法并不限于計算，還可以例如通過參照表來進行。此外，在上述示例性實施例中，圖1中示出的攝像機服務(wù)器1、客戶機2和客戶機3 中的各單元的處理是由各裝置的專用硬件執(zhí)行的。然而，這些處理的至少一部分可以由中央處理單元(CPU)來執(zhí)行。例如，圖1中所示的攝像機服務(wù)器1中的各單元的至少一部分可以由攝像機1中的CPU和存儲由該CPU執(zhí)行的程序的存儲器來替換，并且該CPU能夠執(zhí)行這些處理。類似地，客戶機2和客戶機3中的各單元的至少一部分可以由客戶機2和客戶機3 中的CPU和存儲由該CPU執(zhí)行的程序的存儲器來替換，并且該CPU能夠執(zhí)行這些處理。因此，圖2中示出的流程圖中的至少一部分處理可以由CPU來執(zhí)行。還可以由讀出并執(zhí)行記錄在存儲設(shè)備上的程序來執(zhí)行上述實施例的功能的系統(tǒng)或裝置的計算機(或諸如CPU或微處理單元(MPU)等的設(shè)備)，來實現(xiàn)本發(fā)明的各方面；并且可以利用由通過例如讀出并執(zhí)行記錄在存儲設(shè)備上的程序來執(zhí)行上述實施例的功能的系統(tǒng)或裝置的計算機來執(zhí)行各步驟的方法，來實現(xiàn)本發(fā)明的各方面。為此，例如經(jīng)由網(wǎng)絡(luò)或從充當存儲設(shè)備的各種類型的記錄介質(zhì)(例如，計算機可讀介質(zhì))將程序提供給計算機。在此情況下，所述系統(tǒng)或裝置以及存儲所述程序的存儲介質(zhì)包括在本發(fā)明的范圍內(nèi)。雖然參照示例性實施例對本發(fā)明進行了描述，但是應當理解，本發(fā)明不局限于所公開的示例性實施例。應當對所附權(quán)利要求的范圍給予最寬泛的解釋，以使所述范圍涵蓋所有的此類變型例以及等同結(jié)構(gòu)和功能。
權(quán)利要求
1.一種能夠由通過多次拍攝獲得的多個捕獲圖像生成全景圖像的處理裝置，該處理裝置包括輸入單元，其被構(gòu)造成輸入用于確定預定圖像在所述捕獲圖像上的疊加位置的疊加參數(shù)；生成單元，其被構(gòu)造成通過對所述多個捕獲圖像的坐標值進行變換處理，來由所述多個捕獲圖像生成所述全景圖像；以及確定單元，其被構(gòu)造成根據(jù)所述全景圖像上的位置信息和用于確定所述預定圖像在所述捕獲圖像上的疊加位置的所述疊加參數(shù)，來確定所述預定圖像在所述全景圖像上的疊加位置。
2.根據(jù)權(quán)利要求1所述的處理裝置，所述處理裝置還包括接收單元，該接收單元被構(gòu)造成從經(jīng)由網(wǎng)絡(luò)連接的拍攝裝置接收未疊加所述預定圖像的所述多個捕獲圖像，其中，所述生成單元由所接收的多個捕獲圖像來生成全景圖像，并且所述確定單元確定所述預定圖像在所述全景圖像上的疊加位置。
3.根據(jù)權(quán)利要求1所述的處理裝置，所述處理裝置還包括拍攝單元；疊加單元，其被構(gòu)造成在與所述疊加參數(shù)相對應的疊加位置，將所述預定圖像疊加在由所述拍攝單元進行拍攝而獲得的捕獲圖像上；以及控制單元，其被構(gòu)造成，在輸出所述捕獲圖像的情況下，控制所述疊加單元來將所述預定圖像疊加在與所述疊加參數(shù)相對應的疊加位置上，而在輸出所述全景圖像的情況下，控制所述疊加單元來在由所述多個捕獲圖像生成了所述全景圖像之后，將所述預定圖像疊加在所確定的疊加位置上。
4.根據(jù)權(quán)利要求1所述的處理裝置，其中，所述預定圖像是表示關(guān)于所述捕獲圖像的拍攝時間和拍攝地點的至少一項信息的圖像。
5.根據(jù)權(quán)利要求1所述的處理裝置，其中，所述預定圖像是私密掩模圖像。
6.根據(jù)權(quán)利要求1所述的處理裝置，該處理裝置還包括疊加單元，其被構(gòu)造成，在基于通過第一拍攝獲得的第一捕獲圖像和通過第二拍攝獲得的第二捕獲圖像來生成所述全景圖像的一部分后，疊加作為所述預定圖像的、以與所述第一捕獲圖像和所述第二捕獲圖像交疊的方式疊加的圖像。
7.根據(jù)權(quán)利要求1所述的處理裝置，其中，控制單元在生成所述全景圖像之前確定所述全景圖像上的疊加位置。
8.一種由處理裝置執(zhí)行的用于生成全景圖像的方法，所述處理裝置能夠由通過多次拍攝獲得的多個捕獲圖像生成全景圖像，所述方法包括輸入用于確定預定圖像在所述捕獲圖像上的疊加位置的疊加參數(shù)；通過對所述多個捕獲圖像的坐標值進行變換處理，來由所述多個捕獲圖像生成所述全景圖像；以及根據(jù)所述全景圖像上的位置信息和用于確定所述預定圖像在所述捕獲圖像上的疊加位置的所述疊加參數(shù)，來確定所述預定圖像在所述全景圖像上的疊加位置。
9.根據(jù)權(quán)利要求8所述的方法，所述方法還包括從經(jīng)由網(wǎng)絡(luò)連接的拍攝裝置接收未執(zhí)行對所述預定圖像的疊加的所述多個捕獲圖像，由所接收的多個捕獲圖像來生成全景圖像，以及確定所述預定圖像在所述全景圖像上的疊加位置。
10.根據(jù)權(quán)利要求8所述的方法，所述方法還包括在與所述疊加參數(shù)相對應的疊加位置，將所述預定圖像疊加在由拍攝單元進行拍攝而獲得的捕獲圖像上；在輸出所述捕獲圖像的情況下，控制疊加單元將所述預定圖像疊加在與所述疊加參數(shù)相對應的疊加位置上，而在輸出所述全景圖像的情況下，控制所述疊加單元以在由所述多個捕獲圖像生成了所述全景圖像之后，將所述預定圖像疊加在所確定的疊加位置上。
11.根據(jù)權(quán)利要求8所述的方法，所述方法還包括在基于通過第一拍攝獲得的第一捕獲圖像和通過第二拍攝獲得的第二捕獲圖像來生成所述全景圖像的一部分后，疊加作為所述預定圖像的、以與所述第一捕獲圖像和所述第二捕獲圖像交疊的方式疊加的圖像。
全文摘要
本發(fā)明提供一種用于生成全景圖像的處理裝置及方法。該處理裝置能夠由通過多次拍攝獲得的多個捕獲圖像生成全景圖像，該處理裝置包括輸入單元，其被構(gòu)造成輸入用于確定預定圖像在所述捕獲圖像上的疊加位置的疊加參數(shù)；生成單元，其被構(gòu)造成通過對通過所述多次拍攝而獲得的所述多個捕獲圖像的坐標值進行變換處理，來由所述多個捕獲圖像生成所述全景圖像；以及確定單元，其被構(gòu)造成根據(jù)由所述生成單元執(zhí)行了所述坐標值的變換處理的所述全景圖像上的位置信息和用于確定所述預定圖像在所述捕獲圖像上的疊加位置的所述疊加參數(shù)，來確定所述預定圖像在所述全景圖像上的疊加位置。
文檔編號G06T5/50GK102385747SQ201110268148
公開日2012年3月21日 申請日期2011年9月6日 優(yōu)先權(quán)日2010年9月6日
發(fā)明者大西元大 申請人:佳能株式會社