交互式圖像組成的制作方法
【技術(shù)領(lǐng)域】
[0001]本文所揭示的系統(tǒng)和方法大體上涉及圖像拼接，且更具體地說涉及從多個所俘獲圖像產(chǎn)生單個群組圖像。
【背景技術(shù)】
[0002]數(shù)字成像能力已經(jīng)集成到廣泛范圍的裝置中，包含數(shù)碼相機(jī)、平板計(jì)算機(jī)和移動電話。數(shù)字成像裝置和圖像俘獲系統(tǒng)可指代可俘獲一或多個數(shù)字圖像的任何類型的裝置，包含俘獲靜態(tài)圖像或視頻的裝置。
[0003]數(shù)字處理技術(shù)與成像裝置的集成已實(shí)現(xiàn)更強(qiáng)大且更容易使用的攝影產(chǎn)品，且已使緊湊型裝置能夠俘獲和增強(qiáng)圖像數(shù)據(jù)。舉例來說，數(shù)字成像裝置可采用圖像拼接，其是將具有重疊視野的多個攝影圖像組合以產(chǎn)生分段全景或高分辨率圖像的過程。通常通過計(jì)算機(jī)軟件的使用而執(zhí)行，圖像拼接的大多數(shù)方法對準(zhǔn)兩個或兩個以上圖像的邊緣，確定所述邊緣的重疊區(qū)，且基于重疊區(qū)而組合圖像，例如組合為全景。一些數(shù)字成像裝置可在內(nèi)部拼接其照片，而一些圖像拼接技術(shù)在單獨(dú)計(jì)算裝置上執(zhí)行。
[0004]作為另一實(shí)例，數(shù)字成像裝置可采用圖像摻合，其為將第一圖像的對象或部分整合到第二圖像的場景中的過程。此類型的操作可用于校正、修復(fù)或修改數(shù)字圖像以及用于創(chuàng)建合成照片。圖像摻合通常需要用戶從第一圖像選擇對象或部分，這可為耗時的過程，需要熟悉常規(guī)圖像軟件中的多種工具。因此，若干問題產(chǎn)生，包含在編輯區(qū)與原始圖像的其余部分之間通常引入接縫的事實(shí)。
[0005]例如數(shù)碼相機(jī)等圖像俘獲裝置的一種常見使用是俘獲一組人的圖像。然而，攝影者常常是所述群組的部分并且因此所述群組和攝影者可需要攝影者包含在圖像中。對此的一個解決方案是請不在所述群組中的另一人拍攝圖像。然而，并不總是有其它人可用于充當(dāng)攝影者。在群組圖像中包含攝影者的問題的另一解決方案是使用相機(jī)的自定時器特征來俘獲圖像，從而為攝影者給出時間在設(shè)置拍照之后加入群組。然而，使用自定時器大體上需要在附近對象上平衡相機(jī)。并不總是有此對象容易可用，且使用可用的附近對象常常導(dǎo)致群組圖像的不夠理想的成幀和/或聚焦。將單獨(dú)照片中成像的攝影者手動地?fù)胶系饺航M照片中是時間密集的數(shù)字編輯過程，其需要技能且熟悉專用軟件。

【發(fā)明內(nèi)容】

[0006]因此，可合意的是提供圖像俘獲系統(tǒng)，其允許動態(tài)圖像拼接以形成群組圖像，且提供快速且有效的工具來簡化用戶需要的動作。本文論述的系統(tǒng)和方法的實(shí)施例可例如在圖像俘獲裝置的取景器或與所述圖像俘獲裝置相關(guān)聯(lián)的另一顯示器中提供用戶接口，其使得第一攝影者能夠俘獲群組的第一部分的第一圖像，且隨后使得第二攝影者能夠在俘獲可包含所述第一攝影者的所述群組的第二部分的第二圖像時看見所述第一圖像的半透明覆層，或反之亦然。所述用戶接口還可允許用戶調(diào)整所述第一圖像和所述第二圖像的相對定位?？墒褂孟鄬Χㄎ粊韺?zhǔn)第一和第二圖像以用于圖像拼接。所述用戶接口還可允許用戶識別接縫線區(qū)域，其可以用于拼接第一圖像的一部分與第二圖像的一部分。
[0007]在另一實(shí)施例中，圖像俘獲系統(tǒng)可自動確定第一和第二圖像的重疊區(qū)域的接縫線，且所述接縫線可用以將第一和第二圖像拼接在一起。所述接縫線可為經(jīng)拼接到所述第二圖像的區(qū)的所述第一圖像的區(qū)之間的邊界。
[0008]在一個實(shí)施例中，可通過從所述第二圖像中的對應(yīng)像素的梯度值減去重疊區(qū)中的所述第一圖像的每一像素的梯度值而確定接縫線的最低能量路徑，或反之亦然。在其它實(shí)施例中，可替代或補(bǔ)充于梯度值而使用像素的明度或色度值。在實(shí)施例中，將兩個灰度級圖像拼接在一起，可使用明度和梯度值中的一者或兩者。在將兩個RGB圖像拼接在一起的實(shí)施例中，可使用明度、色度和梯度值中的一些或全部。
[0009]—個方面涉及一種通過經(jīng)配置有特定可執(zhí)行指令的一或多個計(jì)算裝置實(shí)施的方法:俘獲所述群組的第一部分的第一圖像;在電子裝置的顯示器上產(chǎn)生第二圖像的實(shí)時預(yù)覽，所述第二圖像包括所述群組的第二部分;將所述第一圖像的至少一部分疊加到所述第二圖像的所述實(shí)時預(yù)覽上;使用用戶輸入俘獲所述群組的所述第二部分的所述第二圖像；接收關(guān)于所述第一圖像以及所述第二圖像的所述實(shí)時預(yù)覽和所述第二圖像中的一者的相對定位的用戶輸入；以及至少部分地基于所述用戶輸入將所述第一圖像和所述第二圖像拼接成最終經(jīng)拼接圖像，所述最終圖像包括所述群組的所述第一部分和所述群組的所述第二部分。
[0010]另一方面涉及一種圖像俘獲裝置，其包括:圖像傳感器，其經(jīng)配置以俘獲個人的群組的第一部分的第一圖像和所述群組的第二部分的第二圖像；顯示器，其經(jīng)配置以顯示所述第二圖像的實(shí)時預(yù)覽，所述顯示器進(jìn)一步經(jīng)配置以顯示疊加于所述第二圖像的所述實(shí)時預(yù)覽上的所述第一圖像的至少一部分；用戶輸入模塊，其經(jīng)配置以接收關(guān)于所述第二圖像的所述實(shí)時預(yù)覽和所述第一圖像的所述至少一部分的相對定位的用戶輸入;以及圖像拼接模塊，其經(jīng)配置以至少部分地基于所述用戶輸入將所述第一圖像和所述第二圖像拼接成最終圖像，所述最終圖像包括所述群組的所述第一部分和所述群組的所述第二部分。
[0011]另一方面涉及一種確定低能量接縫線的方法，如通過經(jīng)配置有特定可執(zhí)行指令的一或多個計(jì)算裝置所實(shí)施，所述方法包括:接收包括第一圖像和第二圖像的圖像數(shù)據(jù);確定所述第一圖像和所述第二圖像的重疊區(qū)，所述重疊區(qū)包括多個像素;選擇開始像素，所述開始像素鄰近于多個鄰近像素;針對所述多個鄰近像素中的每一者計(jì)算差值;將所述多個鄰近像素中的一者選擇為當(dāng)前接縫線像素；以及構(gòu)造包括所述開始像素的第一位置數(shù)據(jù)和所述當(dāng)前接縫線像素的第二位置數(shù)據(jù)的接縫線像素位置數(shù)據(jù)。
[0012]另一方面涉及一種接縫線產(chǎn)生系統(tǒng)，其包括:重疊確定模塊，其經(jīng)配置以確定第一圖像和第二圖像的重疊區(qū);接縫產(chǎn)生器，其經(jīng)配置以在所述重疊區(qū)內(nèi)產(chǎn)生低能量接縫線，所述低能量接縫線表示用于將所述第一圖像拼接到所述第二圖像的邊界；以及接縫能量計(jì)算器，其經(jīng)配置以計(jì)算所述接縫線的總能級。
【附圖說明】
[0013]現(xiàn)將參看以下圖式描述本發(fā)明的特定實(shí)施方案，圖式是借助于實(shí)例而非限制而提供。
[0014]圖1A到1C說明各種用戶接口顯示，其說明產(chǎn)生組合群組圖像的過程；
[0015]圖2A到2C說明具有重疊區(qū)域內(nèi)顯示的接縫線的各種重疊布置中的一對圖像；
[0016]圖3說明用于俘獲且產(chǎn)生群組或經(jīng)拼接圖像的實(shí)例系統(tǒng)的示意性框圖；
[0017]圖4是說明用戶接口控制模塊的實(shí)施例的示意性框圖；
[0018]圖5是說明經(jīng)拼接圖像產(chǎn)生模塊的實(shí)施例的示意性框圖；
[0019]圖6是說明用于用戶導(dǎo)引圖像拼接的實(shí)例過程的示意性流程圖；
[0020]圖7是說明用于確定用于將兩個圖像拼接在一起的接縫線的實(shí)例過程的示意性流程圖；以及
[0021 ]圖8是說明實(shí)例接縫線像素選擇過程的示意性流程圖。
【具體實(shí)施方式】
[0022] ^
[0023]所描述的圖像俘獲和拼接技術(shù)可俘獲且拼接兩個或兩個以上圖像，所述圖像各自含有群組的一部分和大體上類似的背景。一些實(shí)施例可實(shí)施用戶接口，其經(jīng)設(shè)計(jì)以在過程的各個階段接收用戶輸入，例如在圖像對準(zhǔn)和在定位界定用于拼接圖像在一起的邊界的接縫線時。一些實(shí)施例可實(shí)施用于對準(zhǔn)圖像且產(chǎn)生具有低能級的接縫線的自動過程，具有低能級指示所述接縫線很可能產(chǎn)生視覺上合意的經(jīng)拼接圖像結(jié)果。再其它實(shí)施例可組合用戶輸入和自動圖像對準(zhǔn)以向用戶推薦俘獲和拼接特征，同時允許用戶在需要時修改推薦的特征。
[0024]本文論述的系統(tǒng)和方法的實(shí)施例可例如在圖像俘獲裝置或與所述圖像俘獲裝置相關(guān)聯(lián)的另一顯示器的取景器中提供用戶接口，其使得攝影者能夠俘獲群組的第一部分的第一圖像，且隨后在俘獲所述群組的第二部分的第二圖像時看見所述第一圖像的半透明覆層。在一個實(shí)施例中，俘獲所述第二圖像以包含不是所述第一圖像中俘獲的第一群組的部分的額外人。其它實(shí)施例可呈現(xiàn)在取景器中的不透明第一圖像上的所述第二圖像的預(yù)覽圖像的半透明覆層。在一些實(shí)施例中，用戶可例如通過選擇第一和第二圖像中的哪一者將以半透明性顯示且選擇選定圖像的不透明性等級而控制半透明性參數(shù)。
[0025]所述用戶接口還可允許用戶(例如第二攝影者)調(diào)整第一圖像和第二圖像的相對定位。在一些實(shí)施例中，在第二圖像的俘獲期間可使第一圖像的半透明覆層與第二圖像的取景器預(yù)覽圖像再對準(zhǔn)。在具有例如觸敏屏幕的圖像俘獲裝置的實(shí)施方案中，用戶可使用手指拖曳或揮動手勢來相對于不透明圖像再定位半透明圖像，可使用兩手指夾捏來放大或縮小半透明圖像或不透明圖像，且可使用旋轉(zhuǎn)拖曳手勢來對準(zhǔn)半透明圖像的水平線和不透明圖像的水平線。在其它實(shí)施方案中可使用按鈕或話音控制來對準(zhǔn)第一和第二圖像?？墒褂孟鄬Χㄎ粊韺?zhǔn)第一和第二圖像以用于圖像拼接。所述用戶接口還可允許用戶識別接縫線區(qū)域，其可以用于拼接第一圖像的一部分與第二圖像的一部分。
[0026]—些實(shí)施例可自動對準(zhǔn)和拼接圖像，且可自動確定接縫線作為用于拼接圖像的邊界。可針對第一圖像和第二圖像的重疊部分確定接縫線。一些實(shí)施例可自動對準(zhǔn)第一和第二圖像以確定重疊，而一些實(shí)施例可至少部分基于圖像的用戶對準(zhǔn)而確定重疊。最低能量路徑確定過程可隨后搜索重疊區(qū)是否有最低能量路徑，且可使用所述路徑將圖像或圖像前景拼接在一起。
[0027]可通過選擇重疊區(qū)域中的開始像素且識別開始像素的值(例如明度、色度、深度或另一像素值)而確定低或最低能量接縫線。可針對鄰近于開始像素的像素確定值，且可針對多個鄰近像素中的每一者計(jì)算差值，其表示鄰近像素的值與開始像素的值之間的差。鄰近像素中的一者可設(shè)定為當(dāng)前接縫線像素，例如具有最低差值的鄰近像素。隨后可針對鄰近于當(dāng)前接縫線像素的像素計(jì)算差值，且可選擇下一當(dāng)前接縫線像素直到達(dá)到重疊區(qū)域的邊緣?？纱鎯﹂_始像素和其它接縫線像素的坐標(biāo)或位置以構(gòu)造接縫線像素位置數(shù)據(jù)，其可用以將圖像拼接在一起。
[0028]在一些實(shí)施例中，可例如從重疊區(qū)中的像素的能量圖產(chǎn)生多個接縫線。在一些實(shí)施例中可從梯度量值產(chǎn)生能量圖。選擇多個接縫線中的一者以用于圖像拼接可涉及檢查每一接縫線的積聚能量成本，例如最小積聚梯度差。如果存在具有相同最低積聚能量成本的兩個或兩個以上接縫線，那么在一些實(shí)施例中可基于接縫線的長度選擇一者優(yōu)先于另一者用于圖像拼接，即，直接向下移動的接縫線可優(yōu)先于在對角線方向中移動的接縫線。在其它實(shí)施例中，可針對每一接縫線確定具有最大差的接縫線像素，且可選擇具有最低最大差值的接縫線。在另外的實(shí)施例中，可通過使用接縫線產(chǎn)生多個可能的唯一拼接結(jié)果且可呈現(xiàn)給用戶，且用戶可從經(jīng)拼接圖像選項(xiàng)