專利名稱：用于優(yōu)化場景的系統(tǒng)和方法
用于優(yōu)化場景的系統(tǒng)和方法相關(guān)專利申請的交叉引用本專利申請要求2008年10月3日提交的美國臨時專利申請No. 61/102625的優(yōu)先權(quán)。相關(guān)專利申請本專利申請還涉及2008年10月3日提交的美國臨時專利申請No. 61/1(^618和 2008年10月3日提交的美國臨時專利申請No. 61/1(^670。
背景技術(shù)：
人類視覺系統(tǒng)是容量有限的系統(tǒng)，因為其在任何特定時間只能處理較少數(shù)量的對象。盡管事實上在任何特定時間有許多對象可以觀察到，但情況確實如此。人類視覺系統(tǒng)在任何特定時間將只注意或處理來自人類可見對象的陣列中的一個(或極少數(shù))對象。當人觀察圖像或場景時，其視覺系統(tǒng)將讓注意力(和心智處理)從一對象轉(zhuǎn)移到另一對象。在人類視覺注意領(lǐng)域已有大量的研究。該項研究已產(chǎn)生許多針對理解人類視覺注意行為的研究成果，以及許多視覺注意的計算模型。這些計算模型(有時稱為視覺注意模型、眼球凝視預測模型、注意模型或顯著性模型)在給定視覺刺激物(例如，圖片或場景) 下預測人將讓其視覺注意或凝視分配在何處。這些模型提供對場景內(nèi)將吸引視覺注意的對象或區(qū)域的預測。然而，典型的真實世界場景常常是高度動態(tài)的。當(例如)人的有利位置改變、場景內(nèi)的對象改變位置或定向、或者照明改變(投射不同陰影)時，投射到人的圖像將隨之改變。此外，觀察者自身會將不確定性引入預測(觀察者會心不在焉或者說是傾向于特定的注意模式)。從場景投射圖像的任何變動或觀察者的變動、或者甚至場景本身的微小改變都會顯著地改變這些模型作出的預測。在將視覺注意模型用于應(yīng)用裝置時會由此而產(chǎn)生問題。

發(fā)明內(nèi)容
用于優(yōu)化場景內(nèi)對象的特性以實現(xiàn)視覺目標的系統(tǒng)和方法。在示例性實施例中， 成本與場景的可容許的變化相關(guān)，然后基于允許變化的范圍生成多個場景。這些多個場景隨后使用視覺注意模型進行分析以確定符合視覺目標的場景以及可能的與引起多個場景的變化相關(guān)的成本。在其他示例性實施例中，回饋可以與特定視覺目標以及由在最大化回饋的同時最小化成本的多個場景構(gòu)成的搜索相關(guān)。在多視角背景下，回饋可以從潛在觀察者應(yīng)當看見對象的有利位置方面來定義。在一些示例性實施例中，穩(wěn)健性(robustness)可以用于場景優(yōu)化程序。例如，視覺目標可以從穩(wěn)健性方面來定義(希望特定對象穩(wěn)健)，或者可以隨后評估確定符合特定視覺目標的場景的穩(wěn)健性(例如，偏倚向著符合視覺目標的穩(wěn)健性場景。)在另外更多示例性實施例中，可以通過場景優(yōu)化系統(tǒng)來考慮對象可見的時間量。在一個實施例中，描述了一種計算機實施的方法，其包括定義場景的至少一個視覺目標，場景由多個對象構(gòu)成，視覺目標指示所述場景中的被期望由視覺注意模型預測為被注意到的至少一個對象；接收定義場景的可容許的變化的輸入；將成本估計至少分配給一些可容許的變化；自動修改與定義的可容許的變化相一致的多個對象中的一些，以便產(chǎn)生經(jīng)修改的場景；用視覺注意模型評估經(jīng)修改的場景；以及基于評估確定實現(xiàn)場景的至少一個視覺目標的經(jīng)修改的場景中的至少一些。在另一個實施例中，描述了一種計算機實施的方法，其中包括定義場景的至少一個視覺目標，場景由多個對象構(gòu)成，視覺目標指示場景中的被期望未由視覺注意模型預測為被注意到的至少一個對象；接收定義場景的可容許的變化的輸入，該輸入定義多個對象中的至少一些可被如何變化以實現(xiàn)目標；將成本估計分配到可容許的變化的至少一些；自動修改與所定義可容許的變化相一致的多個對象中的一些，以便產(chǎn)生經(jīng)修改的場景；用視覺注意模型評估經(jīng)修改的場景；以及基于評估確定經(jīng)修改的場景中的哪些實現(xiàn)了場景的至少一個視覺目標。在另一個實施例中，計算機系統(tǒng)包括處理器和存儲器；場景優(yōu)化模塊，其可操作用于至少(1)接收定義場景的至少一個視覺目標的輸入，該場景由多個對象構(gòu)成，對象具有特性；( 接收定義可容許的變化的輸入，該輸入定義特性能夠被如何變化；C3)將可容許的變化與成本估計相關(guān)聯(lián)；(4)通過修改與可容許的變化一致的對象的特性來生成經(jīng)修改的場景( 與視覺注意模塊交互以確定哪些經(jīng)修改的場景符合視覺目標；以及(6)確定與經(jīng)修改的場景中的至少一些相關(guān)的成本；視覺注意模塊，其可操作以評估場景并預測所述場景內(nèi)的易于吸引視覺注意的對象。


圖1是示出代表性視覺注意模塊的高級功能的流程圖。圖2是代表性場景的草圖。圖3A是視覺注意模塊輸出的藝術(shù)效果圖。圖;3B是視覺注意模塊輸出的藝術(shù)效果圖。圖4是示出兩個實例對象的特性的曲線圖。圖5示出廣告牌對象可以如何以不同背景場景為背景來設(shè)定。圖6是用于評估場景或場景內(nèi)對象的穩(wěn)健性的系統(tǒng)中功能模塊的示意圖。圖7是示出實例場景修改的具體說明。圖8示出視覺注意穩(wěn)健性評估系統(tǒng)的一個替代實施例，其中視覺注意穩(wěn)健性評估系統(tǒng)另外包括網(wǎng)絡(luò)服務(wù)器模塊。圖9是說明視覺注意穩(wěn)健性評估系統(tǒng)評估場景內(nèi)對象或場景本身的穩(wěn)健性可采用的流程的一個實施例的高級流程圖。圖10是示出場景優(yōu)化的高級流程的流程圖。圖11是說明與注意掃視所關(guān)注對象的連續(xù)位置有關(guān)的兩種不同回饋結(jié)構(gòu)的曲線圖。圖12是場景優(yōu)化系統(tǒng)中的功能模塊的示意圖。圖13A和圖1 各自為一個場景的藝術(shù)效果圖。圖14A和圖14B各自為一個場景的藝術(shù)效果圖。圖15是示出多視角場景分析的高級流程圖。
圖16是會議室的示意圖。圖17A和圖17B示出會議室的不同視角。圖18是說明對會議室中各種對象進行的三個不同實例分析的圖。圖19是多視角場景分析系統(tǒng)的示意圖。
具體實施例方式視覺灃意樽型視覺注意模型確定場景內(nèi)區(qū)域在其將吸引視覺注意或吸引眼球運動的可能性方面相異的程度。場景是經(jīng)視覺注意模型評估的任何輸入形式(例如，圖形圖像)，并可以是 (例如)數(shù)碼照片、虛擬3D場景、網(wǎng)頁、文件或視頻。對象的視覺注意模型傾向是指視覺注意的模型如何表征場景內(nèi)對象的相對顯著性。例如，一些視覺注意模型將在所預測對象周圍疊加跡線。其他視覺注意模型將生成可以在圖像上疊加或與圖像分開看的熱圖。還有一些模型可以生成并分配一個值到特定對象和/或區(qū)域，該值相對地代表對象的顯著性。在跡線的語境中，對象的傾向可以認為是由模型“選定”(加跡線時)或“未選定”。在熱圖的語境中，對象的傾向是算法已選定對象(或未選定對象)的程度。而在顯著性數(shù)字的語境中，對象的傾向可以是顯著性數(shù)字本身。有許多視覺注意模型可預測人類視覺注意會被分配到場景內(nèi)的何處。通常，這些視覺注意模型采用環(huán)境的單幅圖像作為輸入，并生成對注意將分配在該場景內(nèi)何處的預測。實驗方法使人類受試者接觸到場景，并跟蹤其眼球移動。然而，該實驗方法是資源密集型的，所以已經(jīng)開發(fā)出多個數(shù)學模型以通過至少部分地分析場景來預測注意。那就是說實驗方法還可以用作本文所述系統(tǒng)和方法的一部分，并如本文所用，實驗方法被認為是視覺注意建模的一種類型。圖1表示這些模型之一的基本方法論，其由Itti，L. & Koch，C (2000)在 "A saliency-based search mechanism for overt and covert shifts of visual attention (基于顯著性的視覺注意明顯和隱蔽轉(zhuǎn)移的搜索機制)”(Vision Research (《視覺研究》)，第40卷，1489-1506頁)中所提出。在高標準下，圖1示出如何通過評估“由下而上”的特征(例如，顏色、運動、亮度、邊緣等)來進行視覺注意的預測。所述特征用作傳達人類視覺的一些方面的視覺表現(xiàn)的構(gòu)成要素。首先，將數(shù)碼照片形式的場景提供給Itti & Koch模型的計算機實施版本(步驟10)。接著，特征提取過程分析數(shù)碼照片的顏色、強度、 取向或其他場景線索，例如運動、接點、明暗界線、立體視差和從明暗恢復形狀(步驟11)。 特征提取過程產(chǎn)生多幅特征映射(步驟12)，所述特征映射相結(jié)合以產(chǎn)生顯著性映射(步驟 13)。就Itti & Koch模型而言，將顯著性數(shù)據(jù)作為原始數(shù)碼照片的效果圖提供給使用者， 其中“最亮的”對象為模型已預測將下一個被分配視覺注意的對象。這種所預測的對象在 “贏者通吃(wirmer-take-all) ”算法(步驟15)中被辨認為視覺顯著的(步驟14)，并且此過程隨后重復，直到多個對象被模型辨認。圖2是場景201的藝術(shù)效果圖，其可以提供給視覺注意模型，例如Itti & Koch。 該場景是簡化場景，僅為了說明而包含于此；在實施過程中，場景常常是真實數(shù)碼照片或視頻，并且要復雜得多。圖2包括許多場景內(nèi)的對象，例如五角星202、花朵203、臉204、五角星205、箭頭206和杯子207。
圖3A是表示Itti & Koch模型的輸出如何被表示的藝術(shù)效果圖。突出的(且在該代表性圖示中，圈繞的)對象是模型預測將為視覺顯著的那些。例如，圖中的五角星202 在突出邊界208內(nèi)；花朵203在邊界209內(nèi)；臉204在邊界210內(nèi)；五角星205在邊界211 內(nèi)；箭頭206在邊界212內(nèi)；并且杯子207在邊界213內(nèi)。因而此實例中的模型已確定六個相對于其他對象更為視覺顯著的對象。這個特定的模型還預測注意將在確定為在某一視覺顯著性閾值之上的對象中如何移動。例如，視覺注意路徑301、302、303、304和305顯示所預測的視覺注意路徑。圖:3B是示出另一方式的第二藝術(shù)效果圖，該方式中Itti & Koch模型的輸出有時被表示。除了圖3A所示的內(nèi)容以外，圖;3B包括所預測視覺注意的順序。例如，五角星202 標為“1”(注意序號214)，花朵203標為“2”(注意序號215)等等。當然，圖3A和圖;3B僅為視覺注意預測可被傳達到使用者的一種方式；不同模型以不同的方法表示這種信息(或這種信息的某一子集)。例如，雖然可以通過確定具有最高視覺顯著性水平的對象，然后排除該對象并尋找下一最高視覺顯著性水平的對象等等，來得出這種注意序列，但并非每個模型都確定所預測的注意序列。Itti & Koch’ s模型代表了一種“由下而上”視覺注意模型，因為該模型基于場景的細節(jié)分析進行其預測。其他由下而上視覺顯著性模型描述于以下這些參考文獻feo， Mahadevan 禾口 Vesconcelos(2008)。除了由下而上模型以外，有另一類模型被稱為視覺注意的“由上而下”模型。相比于“由下而上”模型，這些模型以場景和明確任務(wù)(例如，避開障礙和收集對象)或?qū)⒂绊懽⒁庠谔囟ㄋ阉魅蝿?wù)期間將分配在何處的對于世界的現(xiàn)有知識(例如，椅子往往會在地面而不是在天花板)開始。這種知識(既基于任務(wù)又基于場景的)與“由下而上”特征結(jié)合使用來將注意指向所觀察場景內(nèi)的對象。在Rothkopf，C.A.，Ballard, D. H. & Hayhoe, Μ. Μ. (2007)的“任務(wù)和環(huán)境確定你看向何處”(Task and context Determine Where You Look) (Journal of Vision 7(14) :16,1-20)；以及還在 iTorralba, A.的“目標顯著性的環(huán)境調(diào)制，，(Contextual Modulation of Target Saliency) (Adv. in Neural Information Processing Systems 14 (NIPS), (2001)MIT Press, 2001)中描述了一些示例性的“由上而下”模型。例如，視覺注意的Torralba’ s模型具有關(guān)于包括特定類型的對象的特征的現(xiàn)有知識以及關(guān)于場景內(nèi)這些對象的絕對及相對位置的信息。這種現(xiàn)有知識對場景內(nèi)特定目標的搜索提供“由上而下”的影響。本領(lǐng)域已發(fā)展為包括既有“由下而上”又有“由上而下”設(shè)計特征的混合視覺注意模型，并已適應(yīng)模型將接觸到的場景類型的差異(例如，視頻對靜止圖像，室外圖像對網(wǎng)頁
寸寸J。穩(wěn)健性穩(wěn)健性是指從視覺注意模型輸出的預測對以下任一者或其組合的靈敏度(a)場景視覺特性內(nèi)的變化和/或變動，其包括(例如)場景內(nèi)對象的布置，對象的照明、對象的顏色等(稱為“外部變動”)；或(b)觀察者或觀察模型的變化和/或變動(稱為“內(nèi)部變動”)。如本文所用的術(shù)語“對象”是指場景內(nèi)的物件、范圍或區(qū)域，視情況而定，或通過視覺注意模型分析的場景內(nèi)的區(qū)域。術(shù)語“對象”視情況而定可與“范圍”或“區(qū)域”互換使用。兩種類型的變化(a)和(b)被總體稱為內(nèi)部或外部或IE變化，引入然后評估這類變化的各種方法在下面進一步討論。穩(wěn)健性評估是一種用于測量IE變化對注意將分配在場景內(nèi)何處的影響的方法。 然后，場景內(nèi)對象的穩(wěn)健性是特定對象的視覺注意模型預測的傾向變化或未變化的程度 (不管IE變化)。一組對象的穩(wěn)健性為超過一個對象(一個對象的集合)的視覺注意模型的傾向隨著IE變化變化或未變化的程度。場景的穩(wěn)健性是對場景中對象的視覺注意模型的傾向?qū)⒆兓蛭醋兓某潭鹊臏y量(不管IE變化)。例如，如果視覺注意模型預測將對場景內(nèi)相同的四個對象進行注意或注視，并且雖然有IE變化，但這四個對象往往會仍然被視覺注意模型預測，則該場景往往會比所述四個對象隨著IE變化而變化的場景更具穩(wěn)健性。視覺灃意穩(wěn)健件評估系統(tǒng)圖6是顯示視覺注意穩(wěn)健性評估系統(tǒng)403中示例性功能模塊的示意圖，該系統(tǒng)是用于評估場景的穩(wěn)健性、場景內(nèi)對象的穩(wěn)健性或多個場景內(nèi)對象的穩(wěn)健性的系統(tǒng)。當然，也可以手動實踐這些方法。在圖6所示的實施例中，視覺注意穩(wěn)健性評估系統(tǒng)在計算機系統(tǒng) 408內(nèi)。計算機系統(tǒng)408可以是任何通用或?qū)Ｓ玫挠嬎銠C或裝置。其可以是單獨的膝上型計算機或多個聯(lián)網(wǎng)的計算機。另外，計算機系統(tǒng)408可以是手持式計算機、數(shù)字照相機或平板電腦或甚至移動電話。在一個實施例中，計算機系統(tǒng)408具有包括操作系統(tǒng)的各種功能模塊(圖6中未示出)。這樣的操作系統(tǒng)便于視覺注意穩(wěn)健性評估系統(tǒng)進入計算機系統(tǒng)資源。計算機系統(tǒng)408具有處理器和存儲器以及各種傳統(tǒng)的輸入/輸出接口。視覺注意模塊403是任何視覺注意模型或模型組合的任何實施例。如前所述，有不同類型的視覺注意模型，但在一定程度上，其全都預測視覺注意往往將會分配到的場景內(nèi)對象或范圍。在圖6中視覺注意模塊403示出為視覺注意穩(wěn)健性評估系統(tǒng)402的一部分， 但在另一個實施例中，視覺注意模塊403作為單獨的計算機處理或甚至作為在任何類型的計算機網(wǎng)絡(luò)(例如萬維網(wǎng))上提供在遠程計算機的服務(wù)而工作。VAM修改模塊404是視覺注意模塊修改模塊。VAM修改模塊404修改視覺注意模塊的參數(shù)或架構(gòu)的一些方面。這種修改可以根據(jù)視覺注意模塊403的執(zhí)行以許多方法來實現(xiàn)。例如，視覺注意模塊403本身可以支持對視覺注意模塊如何工作的一些方面進行修改的函數(shù)調(diào)用。在一個實施例中，視覺注意模塊403可以支持對給予場景某些方面(例如亮度)的權(quán)重進行修改的函數(shù)調(diào)用。在另一個實施例中，如果視覺注意模塊經(jīng)由命令行調(diào)用， 則可以使用各種開關(guān)來改變視覺注意模塊內(nèi)的變量?；蛘撸绻曈X注意模塊403嵌入腳本或程序代碼中，則IE修改模塊可以修改腳本或程序代碼本身。在另一個實施例中，整個視覺注意模型被另一視覺注意模型替換。下面進一步討論VAM修改模塊404修改視覺注意模塊403的基礎(chǔ)視覺注意模型(或這樣的模型于場景的應(yīng)用)的特定方法，但一個實例可能將修改與用來生成顯著性映射的多個特征映射相關(guān)的權(quán)重。這可以通過將基于可接受值的分布修改這些值的函數(shù)調(diào)用來實現(xiàn)。場景修改模塊405修改將提供給視覺注意模塊403用于分析的場景。場景變化是與模擬環(huán)境動態(tài)特性的外部環(huán)境相關(guān)的變化。這樣的外部變動可以包括(例如)場景內(nèi)的移動對象(例如，行人的位置)、由于照明方向變化引起的陰影變化、或者大氣條件變化(例如，空氣中的粉塵)。這種變動可用許多方法產(chǎn)生。一種方法是將攝影機放在場景內(nèi)，并在不同時刻捕獲圖像。這樣可捕獲真實場景的自然變動。另一方法是捕獲場景的單幅圖像，并規(guī)定對該場景內(nèi)單個元素和對象進行的可能變化。這樣的技術(shù)的具體說明如圖7所示。場景801表示的是原始場景。場景802示出用場景變動元素替換的場景801的對象，所述場景變動元素例如陰影和其他對象(例如，汽車或鳥類等任何可以放在場景內(nèi)的對象)。場景 803、804、805和806示出原始場景801與場景變動元素的不同組合。本領(lǐng)域技術(shù)人員會知道有無數(shù)種不同的方法來修改場景，例如使用市售的圖像編輯軟件，例如Adobe Systems (San Jose, California)以商品名“Wiotoshop”市售的軟件。本文僅作為非限制性實例示出了幾種。場景修改模塊405將外部變動添加到場景，這又會產(chǎn)生場景或場景實例的多個版本。在一個實施例中，場景實例的集合留存場景內(nèi)的變動。為了測量對象的穩(wěn)健性或場景的穩(wěn)健性，各場景實例被提交到視覺注意模塊403以產(chǎn)生關(guān)于視覺注意將分配在各個場景實例內(nèi)何處(也就是說，分配到哪個對象)的預測。從屬于各次預測的信息保存在數(shù)據(jù)庫 407中，然后穩(wěn)健性評估模塊409遍及這些不同的實例(并如前文進一步詳述)對數(shù)據(jù)進行評估，以生成基于將被分配模型預測的注意的對象的統(tǒng)計。圖形用戶接口模塊406有助于與使用者401的交互。圖形用戶接口模塊406可以 (例如)訪問(計算機系統(tǒng)408的)操作系統(tǒng)資源來構(gòu)建圖形用戶接口以請求用戶401的輸入。在一個實施例中，這種輸入包括場景的位置以及視覺注意穩(wěn)健性評估系統(tǒng)的其他操作參數(shù)。在一個實施例中，這種輸入將規(guī)定評估中用戶401感興趣的場景內(nèi)的區(qū)域和/或位置。除了規(guī)定這類位置以外，用戶401可以規(guī)定何種類型的變動將被視覺注意模塊403 考慮。這可以包括普通或特定內(nèi)部變動、或普通或特定外部變動。例如，一種特定類型的外部變動可能是由于照明方向的變化而改變圖像。隨著光線變化，產(chǎn)生的陰影將變化。這是一種特定類型的外部變動，因為其不會考慮如動態(tài)對象、大氣析光差等的其他因素。普通內(nèi)部變動的一個實例可以是其中各特征映射的權(quán)重被允許獨立變化的狀況。特定內(nèi)部變動的一個實例是在一組特征映射的權(quán)重(例如，亮度)變化但其他未變化時的情況。圖形用戶接口模塊406也有助于(可能從用戶)獲得有關(guān)應(yīng)該從哪個地方獲取場景的圖像的輸入可能的地方包括(例如)數(shù)據(jù)庫或平面文件。穩(wěn)健性評估模塊409控制其他模塊的交互，以評估場景內(nèi)對象的穩(wěn)健性或場景本身的穩(wěn)健性。例如，穩(wěn)健性評估模塊409必要時調(diào)用視覺注意模塊403以及VAM修改模塊 404和場景修改模塊405。穩(wěn)健性評估模塊409調(diào)用各種模塊的方式可以通過來自用戶401 經(jīng)由(例如)圖形用戶接口模塊406提供給穩(wěn)健性評估模塊409的輸入來修改。穩(wěn)健性評估模塊409必要時還評估由其他模塊提供的數(shù)據(jù)并生成報告。數(shù)據(jù)庫407處理視覺注意穩(wěn)健性評估系統(tǒng)402的數(shù)據(jù)存儲需求。除了別的以外， 數(shù)據(jù)庫407可以保留場景的圖像。數(shù)據(jù)庫407可以是任何計算機存儲器。其可以是隨機存取存儲器或平面文件、或在一個或多個數(shù)據(jù)庫服務(wù)器上執(zhí)行的一個或多個數(shù)據(jù)庫管理系統(tǒng)(DBMS)。數(shù)據(jù)庫管理系統(tǒng)可以是關(guān)系(RDBMS)、分層(HDBMS)、多維(MDBMS)、面向?qū)ο?(0DBMS或00DBMQ或?qū)ο箨P(guān)系(0RDBMQ數(shù)據(jù)庫管理系統(tǒng)。例如，數(shù)據(jù)庫407可以是單一關(guān)系數(shù)據(jù)庫，例如Microsoft Corporation的SQL服務(wù)器。
用戶401是視覺注意穩(wěn)健性評估系統(tǒng)的任何用戶。在一些實施例中，視覺注意穩(wěn)健性評估系統(tǒng)402非常容易使用，使得不熟悉視覺顯著性理論的人員可以使用該系統(tǒng)來評估對象、區(qū)域或場景的穩(wěn)健性。用戶401可以是評估標牌和非標牌對象在它們的環(huán)境內(nèi)的定位的商業(yè)實體雇用的顧問或為其工作的雇員。用戶401還可以是對評估其中頁面的視覺特性可以改變的網(wǎng)頁上的數(shù)字對象(例如廣告)的設(shè)計和布局感興趣的內(nèi)容設(shè)計者。圖8是視覺注意穩(wěn)健性評估系統(tǒng)的一個替代實施例，其中視覺注意穩(wěn)健性評估系統(tǒng)另外包括網(wǎng)絡(luò)服務(wù)器模塊501。為方便起見，網(wǎng)絡(luò)服務(wù)器模塊501示出為視覺注意穩(wěn)健性評估系統(tǒng)402的一部分。然而，網(wǎng)絡(luò)服務(wù)器模塊可以具體化為計算機系統(tǒng)408上運行的在單獨存儲空間中的軟件模塊?；蛘呔W(wǎng)絡(luò)服務(wù)器模塊501可以在經(jīng)由網(wǎng)絡(luò)連接到視覺注意穩(wěn)健性評估系統(tǒng)402的獨立計算機系統(tǒng)上。Web服務(wù)器模塊501提供用戶401可以經(jīng)其通過客戶端計算機503并通過網(wǎng)絡(luò)502 與視覺注意穩(wěn)健性評估系統(tǒng)402溝通的界面。在一種配置中，web模塊501執(zhí)行網(wǎng)頁服務(wù)器軟件，例如Microsoft Corporation (Redmond, Washington)的互聯(lián)網(wǎng)信息月艮務(wù)器(Internet Information Server) 0網(wǎng)絡(luò)服務(wù)器模塊501通過使用(例如)動態(tài)服務(wù)器頁面(Active Server Pages)、超文本標記語言(HTML)或動態(tài)HTML編寫的網(wǎng)頁、Active X模塊、Lotus腳本、Java腳本、Java小程序、分布式組件對象模塊(DCOM)等等來提供與遠程用戶401交互的機制。盡管舉例說明為在由計算機系統(tǒng)408提供的操作環(huán)境內(nèi)執(zhí)行的“服務(wù)器端”軟件模塊，但包括視覺注意穩(wěn)健性評估系統(tǒng)402的功能模塊可以容易地實現(xiàn)為在由用戶401使用的諸如客戶端計算機503之類的計算設(shè)備上執(zhí)行的“客戶端”軟件模塊。視覺注意穩(wěn)健性評估系統(tǒng)402可以(例如)實現(xiàn)為由網(wǎng)頁瀏覽器執(zhí)行的Active X模塊，所述網(wǎng)頁瀏覽器在客戶端計算機503上執(zhí)行。網(wǎng)絡(luò)502可以是任何類型的網(wǎng)絡(luò)(公共網(wǎng)絡(luò)或?qū)Ｓ镁W(wǎng)絡(luò))。在一個實施例中，網(wǎng)絡(luò) 502是互聯(lián)網(wǎng)。圖7和圖8中的用戶401可以是互聯(lián)網(wǎng)的任何用戶。在一個實施例中，用戶401 可以經(jīng)許可預先安排訪問視覺注意穩(wěn)健性評估系統(tǒng)的功能。圖9是說明視覺注意穩(wěn)健性評估系統(tǒng)402評估場景內(nèi)對象或場景本身的穩(wěn)健性可采用的流程的一個實施例的高級流程圖。首先，調(diào)用視覺注意模塊，并向其提供場景輸入 (步驟601)。然后從視覺注意模塊接收場景內(nèi)所預測的對象(步驟60 。然后，模型預測具有較高相對顯著性的位置/對象/區(qū)域的一些指示被存儲到數(shù)據(jù)庫(步驟60 。確切地說，存儲在數(shù)據(jù)庫中的內(nèi)容很大程度上取決于從步驟602中視覺注意模塊接收的輸出類型。在一個實施例中，數(shù)據(jù)庫存儲關(guān)于到達閾值顯著性值的對象的信息。在另一個實施例中，數(shù)據(jù)庫存儲值的矩陣(圖像中辨認的每個對象一個值)，并存儲(例如)對象到達閾值顯著性值的次數(shù)。然后，進行檢查以查看處理是否完成(步驟60 。在一個實施例中，這種檢查可以確定當前迭代是否已超出由用戶401最初設(shè)置的迭代次數(shù)。在另一個實施例中， 迭代次數(shù)可以由算法確定。在又一個實施例中，迭代次數(shù)可以由場景的特性或者由關(guān)于穩(wěn)健性測量的統(tǒng)計數(shù)據(jù)確定。例如，如果嘗試確定在特定場所兩副廣告中哪副更好，則可以運行該算法，直到兩幅廣告的穩(wěn)健性值之間有統(tǒng)計學上可靠的效果。如果穩(wěn)健性評估未完成(步驟605 “否”)，則將IE變化引入視覺注意模塊的視覺注意模型或場景輸入。IE變化可以分為兩類結(jié)構(gòu)化的和隨機的。隨機變動是不相關(guān)的變動。例如，場景中的隨機變動可以包括各個像素顏色和/或亮度的隨機變化。在這種情況下，像素變化是不相關(guān)的。相比之下，結(jié)構(gòu)化變動在正被修改的元素之間具有相關(guān)性。例如，通過模擬場景內(nèi)對象的運動或添加或移除場景內(nèi)對象而修改的場景將構(gòu)成結(jié)構(gòu)化場景變動。在這種情況下，像素修改的變化是相關(guān)的。隨機內(nèi)部變化可以包括被視覺注意模塊利用的注意模型中的隨機變化。在另一方面，結(jié)構(gòu)化變動可以是注意映射的一部分中相比于另一部分中的注意的程序性偏倚產(chǎn)生變動的方法類型匯總于表1。引入IE變化的子處理在下面進一步詳細說明。
內(nèi)部外部結(jié)構(gòu)化有許多方法來產(chǎn)生內(nèi)部結(jié)構(gòu)化變動。這種類型的變動由映射或空間區(qū)域上的共變限定。一種方法將是改變不同的特征映射對顯著性映射的權(quán)重。加權(quán)值可以因不同試驗而略微變化，從而模擬對顏色、取向、亮度等的個人偏好或預期。 另一方法是讓模型偏置顯著性映射的一個區(qū)域(例如，下半球)，其中所有位置都給予顯著性“提高”。像素集合共變的圖像中的變動。這種共變可以通過限定圖像內(nèi)的一個區(qū)域(或多個區(qū)域)并修改該區(qū)域內(nèi)的RGB值而產(chǎn)生。特定區(qū)域內(nèi)的所有像素可被修改至相同的程度。因區(qū)域不同或試驗不同而變化的量可以通過高斯分布的標準偏差來設(shè)置。第二參數(shù)可以是可共變區(qū)域的“大小”。隨機化在視覺注意模型確定注意將被分配在何處之前，將隨機變化添加到顯著性映射的輸出。變動可以是任何概率分布的形式，但一個實例中實際使用的是高斯分布，其中高斯型曲線的平均值設(shè)置在所期望的顯著性值，并且高斯型曲線的寬度由適當?shù)臉藴势顏碓O(shè)置。其中RGB值被隨機修改的逐像素變化。修改的程度可以由高斯分布的標準偏差來規(guī)定，其中高斯型曲線的平均值設(shè)置在“真實” RGB值上。還可以使用其他用于變動的方法。表權(quán)利要求
1.一種計算機實施的方法，包括定義場景的至少一個視覺目標，所述場景由多個對象構(gòu)成，所述視覺目標指示所述場景中的被期望由視覺注意模型預測為被注意到的至少一個對象；接收定義所述場景的可容許的變化的輸入；將成本估計分配到所述可容許的變化中的至少一些中；自動修改與所定義的所述可容許的變化相一致的所述多個對象中的一些，以便產(chǎn)生經(jīng)修改的場景；利用視覺注意模型評估所述經(jīng)修改的場景；以及基于所述評估確定實現(xiàn)所述場景的所述至少一個視覺目標的所述經(jīng)修改的場景中的至少一些。
2.根據(jù)權(quán)利要求1所述的計算機實施的方法，還包括接收定義受試者將觀看所述場景的大致持續(xù)期間的輸入；以及使用所述大致持續(xù)時間來確定考慮所述大致持續(xù)時間，實現(xiàn)所述場景的所述至少一個視覺目標的所述經(jīng)修改的場景中的哪些將繼續(xù)實現(xiàn)所述場景的所述至少一個視覺目標。
3.根據(jù)權(quán)利要求1所述的計算機實施的方法，還包括接收定義實現(xiàn)至少一個視覺目標的回饋的輸入，并確定實現(xiàn)所述場景的所述至少一個視覺目標的所述經(jīng)修改的場景中的哪些還具有最高回饋。
4.根據(jù)權(quán)利要求3所述的計算機實施的方法，還包括計算與已確定未實現(xiàn)所述場景的至少一個視覺目標的所述經(jīng)修改的場景中的至少一些相關(guān)的成本；確定具有最高成本效益測量的至少一個經(jīng)修改的場景，所述成本效益測量是與實現(xiàn)所述至少一個視覺目標的回饋相比變化的成本。
5.根據(jù)權(quán)利要求1所述的計算機實施的方法，其中所述場景的可容許的變化定義所述多個對象中的至少一些會如何變化以實現(xiàn)所述目標。
6.根據(jù)權(quán)利要求1所述的計算機實施的方法，還包括計算與已被確定為實現(xiàn)所述場景的至少一個視覺目標的所述經(jīng)修改的場景中的至少一些相關(guān)的成本。
7.根據(jù)權(quán)利要求1所述的計算機實施的方法，還包括計算與已被確定為未實現(xiàn)所述場景的至少一個視覺目標的所述經(jīng)修改的場景中的至少一些相關(guān)的成本。
8.根據(jù)權(quán)利要求1所述的計算機實施的方法，還包括確定最具成本效益的經(jīng)修改的場景，其為實現(xiàn)具有最低成本的所述場景的所述至少一個視覺目標的經(jīng)修改的場景。
9.根據(jù)權(quán)利要求8所述的計算機實施的方法，還包括向客戶推薦引起所述經(jīng)修改的場景的所述可容許的變化。
10.根據(jù)權(quán)利要求9所述的計算機實施的方法，其中所述可容許的變化涉及所述場景內(nèi)對象的定位。
11.根據(jù)權(quán)利要求9所述的計算機實施的方法，其中所述可容許的變化涉及所述場景內(nèi)對象的顏色。
12.根據(jù)權(quán)利要求1所述的計算機實施的方法，其中所述視覺目標另外包括對象將被預測為被注意到的順序。
13.根據(jù)權(quán)利要求1所述的計算機實施的方法，其中所述成本估計以貨幣面值指示。
14.一種計算機實施的方法，包括定義場景的至少一個視覺目標，所述場景由多個對象構(gòu)成，所述視覺目標指示所述場景中的被期望未由視覺注意模型未預測為被注意到的至少一個對象；接收定義所述場景的可容許的變化的輸入，該輸入定義所述多個對象中的至少一些會如何變化以實現(xiàn)所述目標；將成本估計分配到所述可容許的變化中的至少一些；自動修改與所定義的可容許的變化相一致的所述多個對象中的一些，以便產(chǎn)生經(jīng)修改的場景；利用視覺注意模型評估所述經(jīng)修改的場景；以及，基于所述評估來確定所述經(jīng)修改的場景中的哪些實現(xiàn)了所述場景的所述至少一個視覺目標。
15.一種計算機系統(tǒng)，包括處理器和存儲器；場景優(yōu)化模塊，其可操作用于至少(1)接收定義場景的至少一個視覺目標的輸入，所述場景由多個對象構(gòu)成，所述對象具有特性；(2)接收定義可容許的變化的輸入，該輸入定義特性能夠被如何變化；(3)將可容許的變化與成本估計相關(guān)聯(lián)；(4)通過修改與所述可容許的變化一致的對象的所述特性來生成經(jīng)修改的場景；(5)與視覺注意模塊交互以確定哪些經(jīng)修改的場景符合所述視覺目標；以及，(6)確定與所述經(jīng)修改的場景中的至少一些相關(guān)的成本；視覺注意模塊，其可操作以評估場景并預測所述場景內(nèi)的易于吸引視覺注意的對象。
16.根據(jù)權(quán)利要求15所述的計算機系統(tǒng)，所述場景優(yōu)化模塊進一步可操作用于(7)將回饋與所述場景的至少一個視覺目標相關(guān)聯(lián)，然后確定與所述經(jīng)修改的場景中的至少一些相關(guān)聯(lián)的回饋值。
17.根據(jù)權(quán)利要求16所述的計算機系統(tǒng)，其中所述場景優(yōu)化模塊還可操作用于確定其關(guān)聯(lián)成本低于另一經(jīng)修改的場景的關(guān)聯(lián)成本的至少一個經(jīng)修改的場景。
18.根據(jù)權(quán)利要求16所述的計算機系統(tǒng)，其中所述可容許的變化定義對象的所述特性中的至少一些可被如何變化以實現(xiàn)所述視覺目標。
19.根據(jù)權(quán)利要求16所述的計算機系統(tǒng)，還包括用戶接口模塊，其可操作用于向用戶提供指示經(jīng)修改的場景成本的信息。
20.根據(jù)權(quán)利要求16所述的計算機系統(tǒng)，還包括用戶接口模塊，其可操作用于向用戶提供指示促成特定經(jīng)修改的場景的所述容許變化的信息。
全文摘要
本發(fā)明涉及用于優(yōu)化場景內(nèi)對象的特性或?qū)崿F(xiàn)視覺目標的系統(tǒng)和方法。
文檔編號G06T11/60GK102239505SQ200980148605
公開日2011年11月9日 申請日期2009年10月1日 優(yōu)先權(quán)日2008年10月3日
發(fā)明者布拉因·J·斯坦凱維奇, 布賴恩·E·布魯克斯, 布賴恩·L·林茲, 戴維·K·麥斯米爾, 格蘭·E·卡斯納爾, 納森·J·安德森, 蒂莫西·J·加德納, 邁克爾·凱利·卡那萬 申請人:3M創(chuàng)新有限公司