本發(fā)明的實施例涉及導航。具體而言,它們涉及被配置為允許用戶在圖像中進行導航的方法、裝置以及計算機程序。
背景技術:
與用于顯示某些圖像的窗口(顯示圖像)相比,這些圖像具有較大的尺寸。例如,全景圖像具有非常寬的視野,從而導致寬高的縱橫比較大。
可以重新縮放圖像,以使其最長尺寸與顯示圖像的相應尺寸匹配,然而其最短尺寸然后可能明顯小于顯示圖像的對應尺寸。這顯著降低了分辨率。
用戶可能需要定位圖像內的特定內容,例如感興趣的對象。需要改善用戶導航到此類內容的方式。
技術實現(xiàn)要素:
根據(jù)本發(fā)明的各種但不一定全部實施例,提供了一種方法,包括:使得能夠在顯示圖像中的第一目標位置處顯示圖像的第一部分;以及響應于定義的用戶動作,使得能夠進行到所述圖像的第二部分的非線性圖像內容相關導航,以將所述顯示圖像更改為在所述顯示圖像中的第二目標位置處包括所述圖像的所述第二部分,其中所述圖像的所述第二部分依賴于所述圖像的內容。
根據(jù)本發(fā)明的各種但不一定全部實施例,提供一種裝置,包括:至少一個處理器;以及包括計算機程序代碼的至少一個存儲器,所述至少一個存儲器和所述計算機程序代碼被配置為與所述至少一個處理器一起使得所述裝置至少執(zhí)行所述方法。
所述方法可以包括:
使得能夠在所述顯示圖像中僅顯示所述圖像的所述第一部分或在所述顯示圖像中僅顯示所述圖像的所述第二部分,或者使得能夠在所述顯示圖像中顯示所述圖像的所述第一部分和所述第二部分兩者,和/或
使得能夠對所述圖像進行圖像處理以識別所述圖像的至少所述第二部分,和/或
使得所述第二部分的位置能夠隨時間更改,和/或
使得能夠對所述圖像的內容進行圖像處理,以便與所述第一目標位置相比更改所述第二目標位置,和/或
使得能夠對所述圖像的內容進行圖像處理,以便基于所述圖像的內容更改所述顯示圖像的分辨率,和/或
使得能夠對所述圖像進行圖像處理,以定義所述圖像的目標區(qū)域和所述圖像的非目標區(qū)域,其中所述非線性圖像內容相關導航允許通過導航來定位所述顯示圖像的目標位置處的目標區(qū)域,但是不允許通過導航來定位所述顯示圖像的目標位置處的非目標區(qū)域,其中通過導航獲得僅包括非目標區(qū)域的顯示圖像被禁止,和/或
使所述用戶能夠選擇在顯示器上提供的在所述顯示器的周邊處的已定義用戶輸入選項,其中所述顯示圖像位于所述顯示器的中心位置,和/或進一步包括使用戶能夠通過使用捏合以收縮非目標區(qū)域來瀏覽所述第二部分和/或進一步包括使得用戶能夠在所述圖像的受保護區(qū)域被保護并且未被通過所述捏合而收縮的同時,通過使用捏合以收縮非目標區(qū)域來瀏覽所述第二部分和/或其中所述導航包括響應于觸敏顯示器上的用戶滑動運動而瀏覽目標區(qū)域。
所述第一目標位置可以與所述第二目標位置相同。所述圖像的所述第二部分可以基于所述圖像的內容被自動地識別。所述顯示圖像可以相對于觀察在所述圖像中捕獲的場景的名義觀察者的固定位置而被限定,其中所述圖像的不同部分對應于所述名義觀察者的不同取向。所述定義的用戶動作導致這樣的結果,該結果依賴于所述圖像的內容并且與所述用戶動作的包括速度和加速度的運動特性無關。
所述非線性圖像內容相關導航可以包括在所述圖像的橫向平移方向上的橫向(lateral)分量和在與所述圖像的橫向平移方向垂直的方向上的橫切(transverse)分量。所述非線性圖像內容相關導航可以依賴于與所述圖像的所述第一部分的位置相對的所述圖像的所述第二部分的位置。
根據(jù)本發(fā)明的各種但不一定全部實施例,提供一種方法,包括:使得能夠在顯示圖像中的第一目標位置處顯示圖像的第一部分;以及響應于定義的用戶動作,使得能夠進行到所述圖像的第二部分的圖像內容相關導航,以將所述顯示圖像更改為在所述顯示圖像中的第二目標位置處包括所述圖像的所述第二部分,其中所述圖像的所述第二部分依賴于所述圖像的內容。
根據(jù)本發(fā)明的各種但不一定全部實施例,提供一種裝置,包括:至少一個處理器;以及
包括計算機程序代碼的至少一個存儲器,所述至少一個存儲器和所述計算機程序代碼被配置為與所述至少一個處理器一起使得所述裝置至少執(zhí)行所述方法。
所述方法可以包括:
使得能夠在所述顯示圖像中僅顯示所述圖像的所述第一部分或在所述顯示圖像中僅顯示所述圖像的所述第二部分,或者使得能夠在所述顯示圖像中顯示所述圖像的所述第一部分和所述第二部分兩者,和/或
使得能夠對所述圖像進行圖像處理以識別所述圖像的至少所述第二部分,和/或
使得所述第二部分的位置能夠隨時間更改,和/或
使得能夠對所述圖像的內容進行圖像處理,以便與所述第一目標位置相比更改所述第二目標位置,和/或
使得能夠對所述圖像的內容進行圖像處理,以便基于所述圖像的內容更改所述顯示圖像的分辨率,和/或
使得能夠對所述圖像進行圖像處理,以定義所述圖像的目標區(qū)域和所述圖像的非目標區(qū)域,其中所述非線性圖像內容相關導航允許通過導航來定位所述顯示圖像的目標位置處的目標區(qū)域,但是不允許通過導航來定位所述顯示圖像的目標位置處的非目標區(qū)域,其中通過導航獲得僅包括非目標區(qū)域的顯示圖像被禁止,和/或
使所述用戶能夠選擇在顯示器上提供的在所述顯示器的周邊處的已定義用戶輸入選項,其中所述顯示圖像位于所述顯示器的中心位置,和/或進一步包括使用戶能夠通過使用捏合以收縮非目標區(qū)域來瀏覽所述第二部分和/或進一步包括使得用戶能夠在所述圖像的受保護區(qū)域被保護并且未被通過所述捏合而收縮的同時,通過使用捏合以收縮非目標區(qū)域來瀏覽所述第二部分和/或其中所述導航包括響應于觸敏顯示器上的用戶滑動運動而瀏覽目標區(qū)域。
所述第一目標位置可以與所述第二目標位置相同。所述圖像的所述第二部分可以基于所述圖像的內容被自動地識別。所述顯示圖像可以相對于觀察在所述圖像中捕獲的場景的名義觀察者的固定位置而被限定,其中所述圖像的不同部分對應于所述名義觀察者的不同取向。所述定義的用戶動作導致這樣的結果,該結果依賴于所述圖像的內容并且與所述用戶動作的包括速度和加速度的運動特性無關。
所述圖像內容相關導航可以包括在所述圖像的橫向平移方向上的橫向分量和在與所述圖像的橫向平移方向垂直的方向上的橫切分量。所述圖像內容相關導航可以依賴于與所述圖像的所述第一部分的位置相對的所述圖像的所述第二部分的位置。
根據(jù)本發(fā)明的各種但不一定全部實施例,提供在所附權利要求書中要求保護的實例。
附圖說明
為了更好地了解對理解簡要說明有用的各種實例,將僅借助實例參考附圖,其中:
圖1a、1b、圖2a、圖2b、圖3a、圖3b示出了定義的用戶動作之前和定義的用戶動作之后的顯示圖像及其在圖像內的位置的實例;
圖4示出了包括控制器和用戶接口的裝置的一個實例;
圖5示出了控制器的一個實例;
圖6示出了包括計算機程序的傳送機構的一個實例;
圖7a和7b示出了圖像的記錄的實例;
圖8示出了包括多個感興趣的對象的圖像的一個實例;
圖9a到9g示出了響應于定義的用戶動作的圖像內容相關導航的一個實例;
圖10a到10e示出響應于定義的用戶動作的圖像內容相關導航的一個實例;
圖11a到11b示出了響應于定義的用戶動作的圖像內容相關導航的一個實例;
圖12a到12c示出了響應于定義的用戶動作的圖像內容相關導航的一個實例;
圖13a和13b示出了響應于定義的用戶動作啟用圖像內容相關導航的一個實例;
圖14示出了方法600的一個實例。
具體實施方式
下面描述的實例使得用戶能夠以方便和直觀的方式通過以下比例導航圖像:即,在該比例上,觀看到的圖像明顯大于被用于顯示圖像的一部分的顯示尺寸。所述導航是非線性的,并且依賴于圖像的圖像內容。所述導航不會例如通過在顯示圖像中逐像素地滾動圖像以線性方式發(fā)生,相反,用戶更快速地導航到最感興趣并具有圖像內依賴于圖像內容的位置的圖像部分。
在某些實例中,圖像是寬視野圖像。寬視野圖像的寬度至少比其高度大三倍。寬視野圖像的一個實例是全景圖像20。
可以通過將從不同的偏移視野捕獲的圖像拼接在一起來創(chuàng)建全景圖像20。這些圖像可以由一個或多個相機拍攝。如果使用單個相機,則可以將圖像拍攝為序列,并且如果使用多個相機,則可以同時或按順序拍攝圖像。
圖像20可以是靜止圖像,也可以是視頻圖像。靜止圖像是固定的,并且不會隨時間變化,而視頻圖像隨時間變化(運動圖像)。
參考圖7a和7b、圖像20可以以多種不同的方式形成。圖像20可以是靜止圖像,也可以是視頻圖像。靜止圖像是固定的,并不隨時間變化,而視頻圖像隨時間變化。
在圖7a和7b中,通過組合從固定位置70捕獲的圖像來形成全景圖像。每個不同的圖像在不同的取向上拍攝。在圖7a中,全景圖像20是360度圖像,而在圖7b中,全景圖像20是寬視野圖像。
在一些實例中,單個相機可以位于固定位置70。然后可以在相機的不同取向上捕獲不同的圖像,并且將不同的圖像拼接在一起以形成圖像20。在該實例中,拼接在一起以形成圖像20的圖像序列必須是已經在不同時間被捕獲的圖像序列,盡管優(yōu)選地具有幾秒或幾分鐘的相對時間偏移。
備選地,可以從多個攝像機捕獲多個圖像,其中每個攝像機從單個視點捕獲圖像或從多個觀點捕獲圖像。在該實例中,可以從固定位置的不同取向(視點)的角度同時捕獲圖像。
圖像20的捕獲包括記錄表示來自一個或多個圖像傳感器的場景72的圖像數(shù)據(jù)。圖像數(shù)據(jù)的記錄可以僅包括臨時記錄,或者可以包括永久記錄,或者可以同時包括臨時記錄和永久記錄。臨時記錄意味著暫時記錄數(shù)據(jù)。例如,在感測期間記錄,在動態(tài)存儲器處記錄,在諸如循環(huán)緩沖器的緩沖器、寄存器、高速緩存等處記錄。永久記錄意味著數(shù)據(jù)具有可尋址數(shù)據(jù)結構的形式,該數(shù)據(jù)能夠從可尋址存儲器空間檢索,因此可以被存儲和檢索,直到被刪除或覆寫,盡管長期存儲可能發(fā)生,也可能不發(fā)生。
因此將理解,在下面的描述中,諸如全景圖像的圖像20可以以多種不同的方式形成。顯示圖像10因此可以相對于名義觀察者的固定位置70被限定,名義觀察者以特定比例觀察在圖像20中捕獲的場景72,其中圖像20的不同部分對應于名義觀察者的不同取向。所述比例可以使得整個拍攝場景72不能同時在顯示圖像10中被看到,而是在該比例下,只能在顯示圖像10中觀察到圖像20的一部分而非全部。
根據(jù)所公開的本發(fā)明的各種實施例,提供了一種方法2,其包括:使得能夠在顯示圖像10中的目標位置12處顯示圖像20的第一部分21;并且響應于定義的用戶動作30,使得能夠進行到圖像20的第二部分22的非線性圖像內容相關導航40,以將顯示圖像10更改為在顯示圖像10中的第二目標位置12'處包括圖像20的第二部分22,其中圖像20的第二部分22依賴于圖像20的內容。
在某些但不一定全部實例中,非線性圖像內容相關導航40是比例不變導航。定義的用戶動作30之前的圖像20的第一部分21和定義的用戶動作30之后的圖像20的第二部分22處于相同比例(相同的分辨率)。
在某些但不一定全部實例中,非線性圖像內容相關導航40可以是比例可變導航。定義的用戶動作30之前的圖像20的第一部分21和定義的用戶動作30之后的圖像20的第二部分22可以處于不同比例(不同的分辨率)。
圖1a、2a、3a示出了在定義的用戶動作30之前的顯示圖像10(左手側)及其在圖像20(右手側)內的位置的一個實例。圖1b、2b、3b示出了在定義的用戶動作30之后的顯示圖像10(左手側)和顯示圖像10在圖像20(右手側)內的位置的實例。在該特定實例中,圖像20是全景圖像20。然而,如上所述,可以使用不同類型的圖像20。
如圖1a、2a、3a所示,在左手側,顯示圖像10是顯示在顯示器上的圖像。圖像20的第一部分21包括第一內容x并且位于顯示圖像10中的第一目標位置12處。
顯示圖像10在圖像20內的位置被示出為位于右手側。圖像20包括包含第一內容x的第一部分21和包含第二內容y的第二部分22。第一內容x和第二內容y可以是相似或不同類型的內容,例如,它們可以涉及不同的感興趣的對象或相同或相似的感興趣的對象。
如圖1b、2b、3b所示,在圖1b中,在右手側,顯示圖像10的位置在用戶動作30之后移動,以使得它在顯示圖像10的第二目標位置12'處包括圖像20的第二部分22。如左手側所示,圖像20的包含第二內容y的第二部分22位于顯示圖像10中的第二目標位置12'處。
在圖1b、2b、3b所示的實例中,雖然顯示圖像10的位置在用戶動作30之后已經移動,但是其尺寸/比例沒有改變,從而使得圖像20的第一部分21和第二部分22具有相同比例。作為用戶動作30的結果發(fā)生的導航的比例不變。
在圖1a中,只有圖像20的第一內容x被顯示在顯示圖像10的第一目標位置12處。圖像的第二部分22處的第二內容y未被包括在顯示圖像10中。
在定義的用戶動作30之后,如圖1b所示,只有圖像20的第二內容y被包括在顯示圖像10中。位于顯示圖像20的第一部分21處的第一內容x在定義的用戶操作30之后未被包括在顯示圖像10中。
雖然第一目標位置12和第二目標位置12'可以是不同的,但是在該實例中,第一目標位置12和第二目標位置12'是相同的。它們具有相同的尺寸(比例),并且具有相同的位置。在圖1a中,在圖像的第一部分21處發(fā)現(xiàn)的第一內容x位于顯示圖像10的中心,并且在圖1b中,圖像20的第二部分22處的第二內容y在定義的用戶動作30之后也位于中心。
在圖2a中,只有圖像20的第一內容x顯示在顯示圖像10的第一目標位置12處。圖像20的第二部分22處的第二內容y未被包括在顯示圖像10中。
在定義的用戶動作30之后,如圖2b所示,圖像20的第一部分21處的第一內容x和圖像20的第二部分22處的第二內容y都被包括在顯示圖像10中。位于顯示圖像20的第一部分21處的第一內容x在定義的用戶動作30之后被包括在顯示圖像10中。
雖然第一目標位置12和第二目標位置12'可以是相同的,但是在該實例中,第一目標位置12和第二目標位置12'是不同的。雖然它們具有相同的尺寸(比例),但它們具有不同的位置。在圖2a中,在圖像的第一部分21處發(fā)現(xiàn)的第一內容x居中地位于顯示圖像10中的第一目標位置12處。在圖2b中,圖像20的第二部分22處的第二內容y的第二目標區(qū)域12'在定義的用戶動作30之后偏離中心。另外,在圖2b中,在圖像20的第一部分21處發(fā)現(xiàn)的第一內容x偏離中心地位于顯示圖像10的第一目標位置12處。第一和第二目標區(qū)域12、12'兩者同時存在于顯示圖像10中。
在圖3a中,圖像20的第一部分21處的第一內容x和圖像20的第二部分22處的第二內容y兩者被顯示在顯示圖像10的第一目標位置12處。
在定義的用戶動作30之后,如圖3b所示,圖像20的第一部分21處的第一內容x不再被包括在顯示圖像10中,圖像20的第二部分22處的第二內容y被包括在顯示圖像10中。
雖然第一目標位置12和第二目標位置12'可以是相同的,但是在該實例中,第一目標位置12和第二目標位置12'是不同的。雖然它們具有相同的尺寸(比例),但它們具有不同的位置。在圖3a中,在圖像的第一部分21處發(fā)現(xiàn)的第一內容x以在中心左側的方式位于顯示圖像10中的第一目標位置12處。在圖3b中,圖20的第二部分22處的第二內容y的第二目標區(qū)域12'在定義的用戶動作30之后位于中心位置。
在所描述的實例中,可發(fā)生圖像20的圖像處理以識別圖像20的第二部分22。在所示的實例中,可以識別圖像20的第二部分22,因為第二部分22處的第二內容y具有通過圖像處理識別的特定特征。
例如,可以處理圖像20以識別圖像20中感興趣的對象。這可以通過使用圖像識別技術來實現(xiàn),以便能夠識別圖像20的對應于參考對象的部分。還可以使用深度信息來處理圖像20,深度信息可以通過深度傳感器或通過使用視差/立體成像來識別感興趣的前景對象或其它對象來獲得。此外,可以使用其它附加數(shù)據(jù)來識別圖像20的第二部分22。此類附加數(shù)據(jù)的實例可以是例如關于用戶先前做出的選擇或動作的歷史信息,其可以涉及搜索的用戶的聯(lián)系人以在圖像內容內識別與用戶聯(lián)系人的人臉類似的圖像內容。聯(lián)系人可以是存儲在顯示所述圖像20的裝置本地的聯(lián)系人,或者他們(她們)可以例如是存儲在云中或遠程服務器(例如作為社交媒體平臺的一部分)處的聯(lián)系人。此外,可以考慮上下文信息,例如用戶最近執(zhí)行的動作、用戶購買的物品、用戶執(zhí)行的因特網搜索,從而可以在考慮該附加信息的情況下識別圖像20內感興趣的對象。
使用圖像處理識別圖像20的第二部分22可以自動發(fā)生,或者備選地,可以作為用戶執(zhí)行用戶輸入動作的結果而發(fā)生。
圖8示出了包括多個感興趣的對象90的圖像20的一個實例。
圖像20的第二部分22可以涉及通過圖像處理識別的單個感興趣的對象90,或者備選地,可以涉及通過圖像處理識別的感興趣的對象集??梢詣?chuàng)建對象集以同時觀看,并且將該對象集視為單個感興趣的對象90??梢宰鳛樽R別對象之間的關系的結果來創(chuàng)建對象集。它們可以例如全部是用戶的聯(lián)系人或具有某些將對象關聯(lián)的其它關系。
將理解,在圖像20為視頻圖像的情況下,還可以通過識別圖像20的哪些部分正在移動以及哪些部分靜止來識別感興趣的對象90。當感興趣的對象90隨著時間在圖像20內移動時,可以在感興趣的對象90的位置相對于圖像20的背景改變時跟蹤其移動。在這種情況下,圖像20的第二部分22可隨時間更改其在圖像20內的位置。
在一些實例中,可能希望目標位置12處于固定位置和具有固定尺寸,以使得第一目標位置12和第二目標位置12'相同,即它們在顯示圖像10內具有相同的尺寸和位置。在其它實例中,可能希望更改目標位置12在顯示圖像10中的尺寸/位置/比例。目標位置的位置/尺寸/比例的確定可以依賴于圖像20的內容的圖像處理,并且特別地依賴于圖像20的第二部分22的圖像處理。
例如,如果圖像20的第二部分22包括單個感興趣的對象90,則可能希望將單個感興趣的對象90放置在顯示圖像10的中心位置。在該實例中,目標位置12'可以具有與感興趣的對象相對應的尺寸并且位于顯示圖像10內的中心位置。在其它實例中,可能希望考慮圖像20的圍繞感興趣的對象90的內容。例如可能希望根據(jù)預定的攝影規(guī)則或諸如“三分之一規(guī)則”的組合規(guī)則來定位感興趣的對象90。因此,可能希望約束感興趣的對象90的位置,以使其位于顯示圖像10內的預定位置處。
在其它實例中,顯示圖像10可以包括多于一個的感興趣的對象90。在這種情況下,與第一目標區(qū)域12相比,可以重新定義第二目標區(qū)域12',以使其包括所有感興趣的對象90。
在一些實例中,可能希望保持用于顯示圖像10的固定比例(分辨率)。在其它實例中,可能希望在例如更改縮放比或縱橫比的同時更改顯示圖像10的分辨率。特別地,當顯示圖像10需要容納多個感興趣的對象90時,這樣做可以是所希望的。
圖8示出了包括多個感興趣的對象90的圖像20的一個實例。相對于感興趣的對象90定義多個目標區(qū)域80。每個感興趣的對象90位于目標區(qū)域80內。圖像20中不是目標區(qū)域80的區(qū)域為非目標區(qū)域82。在該實例中,但不一定是所有實例中,非線性圖像內容相關導航40允許用戶導航到目標區(qū)域80,但不允許用戶導航到非目標區(qū)域82。圖像20內的顯示圖像10的位置84可以使得目標區(qū)域80中的任何一個能夠通過導航40定位在顯示圖像10的目標位置處,并且不能通過導航將非目標區(qū)域82定位在顯示圖像10的目標位置12、12'處。如顯示圖像10的可能位置84的不連續(xù)性所示,不可能通過導航在顯示圖像10中僅顯示非目標區(qū)域82。用戶為了到達圖像20中的期望部分(例如,第二部分22)所需的努力不一定與圖像20的尺寸和顯示圖像10的尺寸之間的比率成正比。
參考圖7a和7b,已經描述了如何相對于觀察在圖像20中捕獲的場景72的名義觀察者的固定位置70定義顯示圖像10,其中圖像20的不同部分對應于名義觀察者的不同取向。
如圖1a-3b所示,導航40可以包括在圖像20的平移方向上的橫向分量42和在與圖像20的平移方向垂直的方向上的橫切分量44。橫向分量42和橫切分量44(如果有)將顯示圖像10更改為在顯示圖像10中的第二目標位置12'處包括圖像20的第二部分22。導航的橫向分量42的大小40和導航40的橫切分量44的大小(如果有)將依賴于圖像20的第一部分21中的第一內容x和圖像20的第二部分22處的第二內容y的相對位置并且在適當?shù)那闆r下,依賴于顯示圖像10的分辨率的任何改變以及顯示圖像10內的目標位置12、12'的任何變化。
因此將理解,非線性圖像內容相關導航基于圖像20的內容,以不同的方式對圖像20的不同部分執(zhí)行操作。
因此,定義的用戶動作30導致依賴于圖像20的內容的結果。也就是說,導航40是內容相關的。導航還可以與用戶動作的諸如速度或加速度的運動特性無關。以此方式,導航是非線性的。
圖9a到9g示出了響應于定義的用戶動作30的非線性圖像內容相關導航的一個實例。在該實例中,定義的用戶動作30是對定義的用戶輸入選項206的選擇。
圖9a示出了包括使用圖像處理識別的多個感興趣的對象90的圖像20。在圖9a的實例中,顯示圖像10包括感興趣的對象“o4”和“o5”。圖9b示出了圖像20的第一部分21,圖9a示出了該第一部分21在圖像20內的位置。
用戶觸摸顯示器或以其它方式提供用戶輸入202,這啟用定義的用戶輸入選項206。如圖9c所示,用戶輸入選項206在顯示圖像10的周邊處被顯示在顯示器114上。在該實例中,左側的第一周邊部分204識別多個用戶可選擇的輸入選項206,例如位于圖9a的圖像20的第一部分21的左側的有關感興趣的對象“o3”和“s1”中的部分或全部的選項。在該實例中,右側的第二周邊部分204識別多個用戶可選擇的輸入選項206,例如位于圖9a的圖像20的第一部分21的右側的有關感興趣的對象“o6”和“s3”中的部分或全部的選項。對用戶可選輸入選項206的用戶選擇是定義的用戶動作30,并且導致非線性圖像內容相關導航40。
圖9d示出了對與感興趣的對象“s3”相關的用戶輸入選項206的選擇208,而圖9e示出了該選擇的結果。在圖9d中,圖像20的第一部分21顯示在顯示圖像10中。在圖9e中,顯示圖像10已經被更改為在顯示圖像10中包括圖像20的第二部分22。圖像20的該第二部分22依賴于包含感興趣的區(qū)域“s3”的圖像20的內容。圖9d所示的顯示圖像10和圖9e所示的顯示圖像10之間的導航40是非線性圖像內容相關導航。顯示圖像10的內容跳轉到所選擇的感興趣的對象“s3”,而不在圖像20的在第一部分21和第二部分22之間的部分上暫停。
圖9f示出了對與感興趣的對象“s1”相關的用戶輸入選項206的選擇208,圖9g示出了該選擇的結果。在圖9f中,圖像20的第一部分21被顯示在顯示圖像10中。在圖9g中,顯示圖像10已被更改為在顯示圖像10中包括圖像20中的第二部分22。圖像20的該第二部分22依賴于包含感興趣的區(qū)域“s1”的圖像20的內容。圖9f所示的顯示圖像10和圖9g所示的顯示圖像10之間的導航40是非線性圖像內容相關的導航。顯示圖像10的內容跳轉到所選擇的感興趣的對象“s1”,而不在圖像20的在第一部分21和第二部分22之間的部分上暫停。
圖10a到10e示出響應于定義的用戶動作30的非線性圖像內容相關導航40的另一不同的實例。在該實例中,定義的用戶動作30是捏合(pinch)手勢300。
顯示圖像10在圖像20內的位置被使用虛線示出。顯示圖像10內顯示的內容隨著每個定義的用戶動作而改變,如圖10b-10e所示。
該實例中的圖像20包括由圖像20的第一部分21隔開的兩個第二部分22。
在圖10a中,圖像20的第一部分21顯示在顯示圖像10中的第一目標位置12處。
用戶通過同時觸摸相隔距離306的圖像位置302,然后執(zhí)行捏合操縱300(如圖10b和10c所示的朝向彼此拉動觸摸圖像位置302)來在顯示圖像10上進行雙觸摸輸入。
將理解,當執(zhí)行捏合手勢時,顯示圖像10的尺寸不變,而雙觸摸圖像位置302之間的間隔距離306減小。在該實例中,圖像20的對應于距離306的內容橫向地縮小。在所示的實例中,圖像20在橫切方向上未被壓縮,盡管在其它實例中這是可能的。因此,在所示實例中,對應于距離306的圖像20的縱橫比未被保留,并且當距離306減小時,圖像被壓縮。在其它實例中,可以保持縱橫比,以使得圖像20的對應于距離306的部分的橫向尺寸隨距離306的減小而減小。
如圖10c所示,圖像20的兩個第二部分22之間的圖像20的至少一部分25被壓縮,以使得顯示圖像10內的第二部分的相對間隔減小。然而,在該實例中,兩個第二部分22在顯示圖像10中仍不能被適當?shù)乜吹健?/p>
因此,如圖10d所示,用戶通過同時觸摸相隔距離306'的圖像位置302',然后執(zhí)行捏合操縱300'(如圖10d和10e所示的朝向彼此拉動觸摸圖像位置302')來在顯示圖像10上進行新的雙觸摸輸入。
將理解,當執(zhí)行捏合手勢時,顯示圖像10的尺寸不變,而雙觸摸圖像位置302'之間的間隔距離306'減小。在該實例中,對應于距離306'的圖像20的內容如參考圖10b和10c描述的那樣橫向地縮小。
如圖10e所示,圖像20的兩個第二部分22之間的圖像20的至少部分25'被壓縮,從而使得顯示圖像10內的第二部分的相對間隔減小。在一些實例中,圖像20的部分25也可以被成比例壓縮,而在其它實例中,其可以不被壓縮,直到部分25'已經被壓縮到與部分25相同的程度,并且然后部分25、25'被一起壓縮。
如圖10e所示,兩個第二部分22顯示在顯示圖像10中。
圖11a到11b示出了響應于定義的用戶動作30的非線性圖像內容相關導航40的一個實例。在該實例中,當感興趣的對象90位于捏合限定的觸摸圖像位置302之間時,定義的用戶動作30是類似于圖10a-10e所示的捏合手勢300。
用戶通過同時觸摸相隔距離306的圖像位置302,然后執(zhí)行捏合操縱300(朝向彼此拉動觸摸圖像位置302)來在顯示圖像10上進行雙觸摸輸入。將理解,當執(zhí)行捏合手勢時,顯示圖像10的尺寸不變,而雙觸摸圖像位置302之間的間隔距離306減小。
在該實例中,對應于距離306的圖像的內容被橫向選擇性地壓縮。圖像20的兩個第二部分22之間不包括含有感興趣的對象90的部分27的圖像20的部分25被壓縮,從而使得顯示圖像10內的第二部分的相對間隔減小。含有感興趣的對象的部分27受到保護并且不被橫向壓縮。
圖12a到12c示出了響應于定義的用戶動作30的非線性圖像內容相關導航的一個實例。在該實例中,定義的用戶動作30是跟蹤手勢402。
圖12a示出了包括使用圖像處理識別的多個感興趣的對象90的圖像20。在圖12a的實例中,顯示圖像10包括感興趣的對象“o4”和“o5”。圖12b示出了圖像20的第一部分21,圖12a示出了圖像20內的第一部分21的位置。
圖12b示出了如上所述導致導航40的定義的用戶動作30的執(zhí)行。用戶在位置400處觸摸顯示器,然后在觸摸顯示器的同時向左追蹤其手指402。圖12c示出了該定義的用戶動作30的結果。
在圖12b中,圖像20的第一部分21被顯示在顯示圖像10中。在圖12c中,顯示圖像10已經被更改為在顯示圖像10中包括圖像20的第二部分22。圖像20的該第二部分22依賴于圖像20的內容并且包括相鄰的感興趣的對象90。圖12b所示的顯示圖像10與圖12c所示的顯示圖像10之間的導航40是非線性圖像內容相關導航。顯示圖像10的內容跳轉到下一個相鄰的感興趣的對象90,而不在圖像20的在第一部分21和第二部分22之間的部分上暫停。
圖13a和13b示出了響應于定義的用戶動作30的非線性圖像內容相關導航的一個實例。在該實例中,定義的用戶動作30是對定義的用戶輸入選項206的選擇。該方法與參考圖9a等描述的方法具有某些相似性。
圖13a示出了包括對應于左側的部分502、504、506,...以及右側的部分512、514、516...的多個感興趣的對象90的圖像20??梢允褂脠D像處理來識別感興趣的對象及其對應部分。在圖13a的實例中,顯示圖像10包括感興趣的對象“o4”和“o5”。圖13b示出了圖像20的第一部分21,圖13a示出了第一部分21在圖像20內的位置。
用戶觸摸顯示器或以其它方式提供用戶輸入,這啟用定義的用戶輸入選項206。如圖13b所示,用戶輸入選項206在顯示圖像10的周邊處被顯示在顯示器上。在該實例中,左側的第一周邊部分204的堆疊識別多個用戶可選輸入選項206。堆疊中的每個周邊部分204與圖像20的部分502、504、506中的一者關聯(lián)。右側的第二周邊部分204的堆疊識別多個用戶可選輸入選項206。堆疊中的每個周邊部分204與圖像20的部分512、514、516中的一者關聯(lián)。
對用戶輸入選項206的選擇具有上述效果。
如果選擇特定的周邊部分204作為用戶輸入選項,則顯示圖像更改為顯示與所選擇的周邊部分關聯(lián)的部分502、504、506、...、512、514、516...。
周邊部分的堆疊可以以三維顯示的方式被顯示為重疊部分。
圖14示出了方法600的一個實例。該方法處理輸入視頻602以啟用先前描述的導航40。
在方框604,分析輸入視頻602。在方框606,識別出假定的感興趣的對象90。在方框608,確定感興趣的對象??梢詫⒍鄠€感興趣的對象分組以形成單個感興趣的對象90。
附加信息618可以用于確定感興趣的對象的過程。此類信息可以包括上述的上下文信息。
接下來在方框610,基于前面的圖像分析啟用非線性圖像內容相關導航40。圖像20被分割成部分21、22,并且可以確定目標位置12、12'。
接下來在方框612,可以在顯示器上呈現(xiàn)用戶可選選項。
在該階段,圖像20的第一部分21可以顯示在顯示圖像10中的第一目標位置12處。
響應于定義的用戶動作,在方框616執(zhí)行到圖像20的第二部分的非線性圖像內容相關導航。這將顯示圖像10更改為在顯示圖像10中的第二目標位置12'處包括圖像20的第二部分22。圖像20的第二部分22依賴于圖像20的內容。
圖4示出了包括控制器100和用戶接口110的裝置102的一個實例。用戶接口110包括用戶輸入端112和顯示器114。在某些但不一定全部實例中,用戶輸入端112和顯示器可以集成為觸摸屏顯示器??刂破?00被配置為從用戶輸入端112接收輸入并向顯示器114提供輸出。
先前描述的各種方法可以在控制器100的控制下執(zhí)行??刂破?00的實現(xiàn)可以是控制器電路??刂破?00可以僅在硬件中實現(xiàn),在包括固件的軟件中具有特定方面,或者可以是硬件和軟件(包括固件)的組合。
如圖5所示,控制器100可以使用通過以下方式啟用硬件功能的指令實現(xiàn):例如通過在通用或專用處理器120中使用可存儲在計算機可讀存儲介質(磁盤、存儲器等)上以便由此類處理器120執(zhí)行的可執(zhí)行計算機程序指令132來啟用硬件功能。
處理器120被配置為對存儲器130執(zhí)行讀寫操作。處理器120還可以包括處理器120輸出數(shù)據(jù)和/或指令時使用的輸出接口,以及將數(shù)據(jù)和/或命令輸入到處理器120時使用的輸入接口。
存儲器130存儲計算機程序132,其中包括加載到處理器120中時控制裝置102的操作的計算機程序指令(計算機程序代碼)。計算機程序132的計算機程序指令提供使得裝置能夠執(zhí)行圖1到圖3、圖8、圖9到14所示的方法的邏輯和例程。處理器120通過讀取存儲器130能夠加載并執(zhí)行計算機程序132。
因此,裝置102包括:
至少一個處理器120;以及
至少一個存儲器130,其包括計算機程序代碼132
所述至少一個存儲器130和所述計算機程序代碼132被配置為與所述至少一個處理器120一起使得所述裝置102至少執(zhí)行以下操作:
導致在顯示圖像中的第一目標位置處顯示圖像的第一部分;以及
導致響應于定義的用戶動作,進行到所述圖像的第二部分的非線性圖像內容相關導航,以將所述顯示圖像更改為在所述顯示圖像中的第二目標位置處包括所述圖像的第二部分,其中所述圖像的所述第二部分依賴于所述圖像的內容。
如圖6所示,計算機程序132可以經由任何合適的發(fā)送機制140到達裝置102。發(fā)送機制140可以是例如非瞬時性計算機可讀存儲介質、計算機程序產品、存儲器件、諸如光盤只讀存儲器(cd-rom)或數(shù)字通用盤(dvd)之類的記錄介質、有形地體現(xiàn)計算機程序132的制品。發(fā)送機制可以是被配置為可靠地傳送計算機程序132的信號。裝置102可以將計算機程序132作為計算機數(shù)據(jù)信號傳播或發(fā)送。
雖然存儲器130被示為單個組件/電路,但是其可以被實現(xiàn)為一個或多個單獨的組件/電路,其部分或全部可以被集成/可移除和/或可以提供永久/半永久/動態(tài)/緩存的存儲裝置。
雖然處理器120被示為單個組件/電路,但是其可以被實現(xiàn)為一個或多個單獨的組件/電路,其部分或全部可以被集成/可移除。處理器120可以是單核或多核處理器。
對“計算機可讀存儲介質”、“計算機程序產品”、“有形體現(xiàn)的計算機程序”等或“控制器”、“計算機”、“處理器”等的引用應被理解為不僅包括具有不同架構(例如單/多處理器架構和順序(馮諾依曼)/并行架構)的計算機,而且還包括諸如現(xiàn)場可編程門陣列(fpga)、專用電路(asic)、信號處理設備和其它處理電路的專用電路。對計算機程序、指令、代碼等的引用應該被理解為包含用于可編程處理器的軟件或固件,例如硬件設備的可編程內容,無論是用于處理器的指令,還是用于固定功能設備、門陣列或可編程邏輯器件等的配置設定。
如本申請中所使用的,術語“電路”指以下所有內容:
(a)僅硬件電路實現(xiàn)(例如僅在模擬和/或數(shù)字電路中的實現(xiàn))和
(b)電路和軟件(和/或固件)的組合,例如(如適用):(i)處理器的組合或(ii)處理器/軟件的一部分(包括數(shù)字信號處理器)、軟件和存儲器,它們一起工作以使諸如移動電話或服務器的裝置執(zhí)行各種功能,以及
(c)需要軟件或固件才能運行的諸如微處理器或微處理器的一部分的電路,即使該軟件或固件在物理上不存在。
“電路”的這一定義適用于本申請中的這一術語的所有使用,包括在任何權利要求中的所有使用。作為進一步的實例,如本申請中所使用的,術語“電路”還將涵蓋僅處理器(或多個處理器)的實現(xiàn)或處理器的一部分及它(或它們)附帶的軟件和/或固件的實現(xiàn)。術語“電路”還將覆蓋—例如并且如果適用于特定權利要求要素—用于移動電話的基帶集成電路或應用處理器集成電路,或服務器、蜂窩網絡設備或其它網絡設備中的類似集成電路。
圖中所示的方框可以表示方法中的步驟和/或計算機程序132中的代碼段。方框的特定順序的圖示并不一定意味著存在所需或優(yōu)選的方框順序,并且方框的順序和排列可以變化。此外,可以省略一些方框。
本文中使用的術語“包括”具有包含而非排他的含義。也就是說,對包括y的x的任何引用指示x可以僅包括一個y,或者可以包括一個以上的y。如果旨在使用具有排他含義的“包括”,則通過提及“僅包括一個”或通過使用“由...構成”來在上下文中進行明確。
在本簡短描述中,已經參考了各種實例。與實例相關的特征或功能的描述表明在該實例中存在這些特征或功能。在本文中使用術語“實例”或“例如”或“可能”表示—無論是否明確表示—這些特征或功能至少存在于所描述的實例中,無論是否被描述為實例,并且表示它們可以但不一定存在于部分或全部其它實例中。因此,“實例”,“例如”或“可能”指一類實例中的特定實例。實例的屬性可以只是該實例的屬性,也可以是該類的屬性或該類的子類的屬性,該類的子類包括該類中的部分而非全部實例。因此,隱含地公開了參考一個實例而不是參考另一實例描述的特征可以在可能的情況下用于該另一個實例,但不一定必須在該另一個實例中使用。
盡管已經參考各種實例在前面的段落中描述了本發(fā)明的實施例,但是應當理解,在不脫離所要求保護的本發(fā)明的范圍的情況下,可以對給出的實例進行修改。
與用于顯示某些圖像20的窗口(顯示圖像10)相比,這些圖像20具有較大的尺寸。例如,全景圖像具有非常寬的視野,從而導致較大的寬高縱橫比。所描述的實例改善了用戶可以在這樣的“超大”圖像20內導航到諸如感興趣的對象的圖像內容的方式。
所描述的實例使得用戶能夠導航圖像20,其被觀看時的比例明顯大于用于顯示圖像的顯示尺寸。所述導航是非線性的并且依賴于圖像內容。所述導航不會例如通過在顯示圖像中逐像素組滾動圖像而以線性方式發(fā)生,相反,用戶更快地導航到圖像的最感興趣的部分。
在各實例中,圖像可以是寬視野圖像。寬視野圖像的寬度至少比其高度大三倍。寬視野圖像的一個實例是全景圖像。
在各實例中,可以通過將從不同的偏移視野捕獲的圖像拼接在一起來創(chuàng)建圖像20。這些圖像可以由一個或多個相機拍攝。如果使用單個相機,則可以將圖像拍攝為序列,并且如果使用多個相機,則可以同時或按順序拍攝圖像。
在這些實例中,圖像20可以是靜止圖像,也可以是視頻圖像。靜止圖像是固定的并且不隨時間變化,而視頻圖像隨時間變化。
可以在除明確描述的組合之外的組合中使用在前述說明中描述的特征。
雖然已經參考某些特征描述了功能,但是這些功能可以由其它特征(無論是否被描述)來執(zhí)行。
雖然已經參考某些實施例描述了特征,但是這些特征也可以存在于其它實施例(無論是否被描述)中。
盡管在前述說明書中著重描述被認為特別重要的本發(fā)明的那些特征,但是應當理解,申請人要求保護此前在附圖中被提及和/或示出的任何可專利的特征或特征的組合(無論是否已經特別強調這些特征)。