專(zhuān)利名稱(chēng)：圖像數(shù)據(jù)的分割的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理圖像數(shù)據(jù)的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù)：
諸如3D電視那樣的三維觀(guān)看設(shè)備的供應(yīng)正在增加。這樣的設(shè)備往往總地屬于兩 種類(lèi)別之一。第一類(lèi)別是立體視覺(jué)(sterioscopic)設(shè)備類(lèi)別，其允許用戶(hù)通過(guò)戴上專(zhuān)門(mén)的 眼鏡而感知三維圖像。用戶(hù)所戴的眼鏡保證每個(gè)眼睛看到不同的圖像，它們是視點(diǎn)間隔 很短距離的情況下的相同場(chǎng)景的稍微不同的視圖，該短距離模仿用戶(hù)的眼睛間隔開(kāi)的距 離。用戶(hù)的大腦處理這兩個(gè)圖像，以創(chuàng)建三維圖像。第二類(lèi)別顯示設(shè)備包括自動(dòng)立體視 覺(jué)顯示設(shè)備，其在用戶(hù)不必戴任何專(zhuān)門(mén)的眼鏡的情況下產(chǎn)生三維效果。這些設(shè)備通過(guò)從 顯示器投射多個(gè)視圖而工作，這再次保證了用戶(hù)的每個(gè)眼睛看見(jiàn)不同的圖像?？梢赃_(dá)到 這一點(diǎn)的一個(gè)方式是令透鏡光學(xué)陣列覆蓋在傳統(tǒng)的顯示設(shè)備上，以便產(chǎn)生圖像的多個(gè)視 圖。供自動(dòng)立體視覺(jué)顯示設(shè)備使用的內(nèi)容的可提供性，對(duì)于它的市場(chǎng)接受程度來(lái)說(shuō) 是重要的。為了讓自動(dòng)立體視覺(jué)顯示設(shè)備產(chǎn)生滿(mǎn)意的視頻輸出，對(duì)于視頻中的每一幀， 需要能得到深度圖(depthmap)。深度圖和原始幀被使用來(lái)生成自動(dòng)立體視覺(jué)顯示器所需 要的多個(gè)視圖。因?yàn)橐曨l序列每秒包括許多幀，例如，PAL方案具有每秒25幀的幀速 率，所以為圖像序列產(chǎn)生所需要的深度圖并不是微不足道的任務(wù)。高質(zhì)量的3D視頻的可提供性對(duì)于3D電視的成功是重要的。現(xiàn)在，多個(gè)不同的公司正在研究三維視頻捕獲以及通過(guò)加上深度而把現(xiàn)有的或新獲得的2D視頻轉(zhuǎn)換到 3D視頻。熟知的轉(zhuǎn)換方法是經(jīng)由圖形編輯器通過(guò)使用人工輸入在關(guān)鍵幀上指定深度，然 后，在視頻鏡頭(典型地幾秒)的持續(xù)時(shí)間內(nèi)自動(dòng)傳播這個(gè)深度信息。自動(dòng)傳播可快速 地完成，但(使用編輯器)人工地在關(guān)鍵幀上指定深度仍舊較慢(用戶(hù)典型地畫(huà)出為其規(guī) 定深度分布的多邊形)，并因而是費(fèi)時(shí)的。在關(guān)鍵幀上指定深度，當(dāng)前常常是使用普通的圖形編輯器來(lái)完成的。極常見(jiàn)的 是只使用多邊形畫(huà)圖工具來(lái)選擇對(duì)其指定恒定深度或深度分布的區(qū)域。由于用戶(hù)必須使 用鼠標(biāo)來(lái)把光標(biāo)放置在對(duì)象輪廓附近，所以這個(gè)過(guò)程是緩慢的。典型地，需要許多次鼠 標(biāo)點(diǎn)擊來(lái)使曲線(xiàn)精確地對(duì)齊對(duì)象。在圖像處理的另一個(gè)領(lǐng)域中，提出了自動(dòng)分割來(lái)輔助選擇，“Understanding Synthetic Aperture Radar Images" , C.Oliver, S.Quegan, Artech-House, 1998。這禾中選 擇方法可被使用來(lái)把圖像劃分成方形區(qū)域，然后通過(guò)使用區(qū)域擬合來(lái)使區(qū)域邊緣自動(dòng)對(duì) 齊對(duì)象邊界。這個(gè)技術(shù)非常類(lèi)似于在“Pattern Classification”，Richard O.Duda, Peter E.Hart 和 David G.Stork，John Wiley 和 Sons，Inc., New York, 2001 中所顯示的數(shù)據(jù)的聚 類(lèi)，但不同之處在于，它在全局最佳化準(zhǔn)則中并入了邊界規(guī)則性。這使得更容易避免由 于噪聲而造成的不規(guī)則邊緣。用光標(biāo)選擇區(qū)域，然后給區(qū)域指定深度是一種明顯的方式，其中自動(dòng)生成的分 割可以幫助產(chǎn)生深度圖。然而，在分割時(shí)選擇區(qū)域的數(shù)目是困難的。為了避免漏掉重要的輪廓，需要許多小的區(qū)域。另一方面，大的區(qū)域允許更快速的深度指定。由于選擇最好的可能的分割依然是一個(gè)問(wèn)題，所以仍舊廣泛地使用選擇的人工分界。
發(fā)明概要本發(fā)明的目的是對(duì)已知的技術(shù)加以改進(jìn)，以及改進(jìn)選擇過(guò)程。按照本發(fā)明的第一方面，提供了一種處理圖像數(shù)據(jù)的方法，包括使用第一準(zhǔn) 則和第一參數(shù)而對(duì)圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建圖像數(shù)據(jù)的第一已分割視圖；使用第一準(zhǔn) 則或第二準(zhǔn)則和第二參數(shù)而對(duì)圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建圖像數(shù)據(jù)的第二已分割視圖； 顯示圖像數(shù)據(jù)的第一已分割視圖；接收一個(gè)或多個(gè)選擇用戶(hù)輸入，用來(lái)選擇如在第一已 分割視圖中顯示的該圖像數(shù)據(jù)的一個(gè)或多個(gè)分段(segment)；顯示圖像數(shù)據(jù)的第二已分割 視圖；以及接收一個(gè)或多個(gè)另外的選擇用戶(hù)輸入，用來(lái)選擇如在第二已分割視圖中顯示 的該圖像數(shù)據(jù)的一個(gè)或多個(gè)分段。按照本發(fā)明的第二方面，提供了一種用于處理圖像數(shù)據(jù)的系統(tǒng)，包括處理 器，被安排來(lái)使用第一準(zhǔn)則和第一參數(shù)而對(duì)圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建圖像數(shù)據(jù)的第一 已分割視圖，和使用第一準(zhǔn)則或第二準(zhǔn)則和第二參數(shù)而對(duì)圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建圖 像數(shù)據(jù)的第二已分割視圖；顯示設(shè)備，被安排來(lái)顯示圖像數(shù)據(jù)的第一和第二已分割視 圖；以及用戶(hù)接口，被安排來(lái)接收一個(gè)或多個(gè)選擇用戶(hù)輸入，用來(lái)選擇如在第一已分割 視圖中顯示的該圖像數(shù)據(jù)的一個(gè)或多個(gè)分段，和接收一個(gè)或多個(gè)另外的選擇用戶(hù)輸入， 用來(lái)選擇如在第二已分割視圖中顯示的該圖像數(shù)據(jù)的一個(gè)或多個(gè)分段。按照本發(fā)明的第三方面，提供了一種在計(jì)算機(jī)可讀介質(zhì)上的、用于處理圖像數(shù) 據(jù)的計(jì)算機(jī)程序產(chǎn)品，該產(chǎn)品包括指令用于通過(guò)使用第一準(zhǔn)則和第一參數(shù)而對(duì)圖像數(shù) 據(jù)進(jìn)行分割，以創(chuàng)建圖像數(shù)據(jù)的第一已分割視圖；通過(guò)使用第一準(zhǔn)則或第二準(zhǔn)則和第二 參數(shù)而對(duì)圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建圖像數(shù)據(jù)的第二已分割視圖；顯示圖像數(shù)據(jù)的第一 已分割視圖；接收一個(gè)或多個(gè)選擇用戶(hù)輸入，用來(lái)選擇如在第一已分割視圖中顯示的該 圖像數(shù)據(jù)的一個(gè)或多個(gè)分段；顯示圖像數(shù)據(jù)的第二已分割視圖；以及接收一個(gè)或多個(gè)另 外的選擇用戶(hù)輸入，用來(lái)選擇如在第二已分割視圖中顯示的該圖像數(shù)據(jù)的一個(gè)或多個(gè)分 段。由于本發(fā)明，有可能提供一種可被使用來(lái)(諸如從視頻幀或靜止圖像中)選擇圖 像數(shù)據(jù)的已分割區(qū)域的工具。該方法和系統(tǒng)通過(guò)給出在不同的區(qū)域合并級(jí)別上的多個(gè)分 割而對(duì)用戶(hù)提供幫助。雖然本發(fā)明可以基于兩個(gè)預(yù)定的合并級(jí)別而結(jié)合兩個(gè)已分割視圖 被使用，但優(yōu)選地，用戶(hù)可以交互地調(diào)節(jié)合并級(jí)別，以防止單個(gè)區(qū)域包含不同的對(duì)象。 本發(fā)明可用于的應(yīng)用的類(lèi)型包括使用單視場(chǎng)(monoscopic)的(2D)視頻作為輸入的、3D 視頻的半自動(dòng)產(chǎn)生，以及使用2D靜止圖像的3D靜止圖像的生成。另外，本發(fā)明也可以 被使用來(lái)為用于交互(基于像素的)圖像處理的普通圖像編輯軟件提供選擇工具。本發(fā) 明有效地提供了一種從那里選擇最適合特定選擇的分割的方式，而不是試圖以對(duì)于選擇 的最佳方式對(duì)圖像進(jìn)行分割。優(yōu)選地，所述方法還包括組合來(lái)自第一已分割視圖的一個(gè)或多個(gè)選擇的分段與來(lái)自第二已分割視圖的一個(gè)或多個(gè)選擇的分段?；镜乃枷胧?，允許用戶(hù)首先基于第一 已分割視圖選擇要被添加到所述選擇中的、或要從所述選擇中減去的分段。例如，通過(guò)左點(diǎn)擊分段而把它加到選擇中，通過(guò)右點(diǎn)擊而把它從選擇中移除。隨后，這個(gè)選擇可以通過(guò)基于第二已分割視圖把分段添加到所述選擇中、或從所述選擇中減去而被修改。例如，通過(guò)左點(diǎn)擊分段而把它加到選擇中，通過(guò)右點(diǎn)擊而把 它從選擇中移除。最終得到的選擇的選擇邊界可以與來(lái)自第一已分割視圖的部分或全部 分段邊界以及第二已分割視圖的部分或全部分段邊界一致。優(yōu)選地，所述過(guò)程還包括接收一個(gè)或多個(gè)深度用戶(hù)輸入，所述的或每個(gè)深度 用戶(hù)輸入與各自的選擇用戶(hù)輸入有關(guān)；以及據(jù)此創(chuàng)建用于圖像數(shù)據(jù)的深度圖。所述系統(tǒng) 可以被進(jìn)一步安排成把深度圖顯示在圖像數(shù)據(jù)的已分割視圖的旁邊。本發(fā)明所提供的系 統(tǒng)和方法非常好地適合于用于創(chuàng)建深度圖的開(kāi)發(fā)工具。優(yōu)選地，所述過(guò)程還包括在從第一已分割視圖選擇分段后接收定義的用戶(hù)輸 入，該定義的用戶(hù)輸入觸發(fā)顯示第二已分割視圖。這樣，用戶(hù)可以在不同的分割級(jí)別和/ 或分割準(zhǔn)則之間切換，以及可以按照他們的要求選擇在不同的視圖中的分段。由于還沒(méi) 有分割算法產(chǎn)生過(guò)用戶(hù)希望看到的、用于創(chuàng)建深度圖的精確的分割，所以本工具提供了 通過(guò)允許用戶(hù)選擇適當(dāng)?shù)姆指罴?jí)別和/或分割準(zhǔn)則而創(chuàng)建深度圖的簡(jiǎn)單且有效的方法。有利地，當(dāng)?shù)谝缓偷诙逊指钜晥D都是基于第一準(zhǔn)則時(shí)，所述方法還包括使 用第二準(zhǔn)則和第三參數(shù)而對(duì)圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建圖像數(shù)據(jù)的第三已分割視圖；接 收另外的定義的用戶(hù)輸入；顯示圖像數(shù)據(jù)的第三已分割視圖；以及接收一個(gè)或多個(gè)另 外的選擇用戶(hù)輸入，用來(lái)選擇如在第三已分割視圖中顯示的該圖像數(shù)據(jù)的一個(gè)或多個(gè)分 段。這樣，本發(fā)明有效地允許在數(shù)據(jù)的分割級(jí)別之間以及在數(shù)據(jù)的分割準(zhǔn)則之間進(jìn)行切 換。這個(gè)概念通過(guò)考慮兩個(gè)這樣的分割準(zhǔn)則——即顏色和運(yùn)動(dòng)——而被最好地舉例 說(shuō)明。如果圖像數(shù)據(jù)按顏色被分割，則用戶(hù)在完成諸如創(chuàng)建深度圖那樣的任務(wù)時(shí)能夠調(diào) 節(jié)分割的級(jí)別。然而，用戶(hù)也可以把分割視圖切換到“運(yùn)動(dòng)”而不是“顏色”，這將 按照這個(gè)準(zhǔn)則對(duì)圖像進(jìn)行分割。例如，圖像中的運(yùn)動(dòng)的足球?qū)凑疹伾指畋桓叨鹊胤?害!]，但當(dāng)切換到“運(yùn)動(dòng)”分割時(shí)，足球?qū)⒉辉俦桓叨鹊胤指?，因?yàn)樗菃蝹€(gè)運(yùn)動(dòng)對(duì)象。 因?yàn)閷?duì)象的像素典型地具有類(lèi)似的深度值，所以這種選擇方式使得用戶(hù)能夠通過(guò)使用小 數(shù)目或最小數(shù)目的用戶(hù)輸入來(lái)選擇對(duì)象的所有的像素。這樣，給對(duì)象注解深度值可被大 大地簡(jiǎn)化?？杀皇褂脕?lái)進(jìn)行分割的準(zhǔn)則的例子是顏色、分段尺寸(例如，把小于固定閾 值的分段與在顏色上最相似的相鄰的分段進(jìn)行合并)、亮度、色度、運(yùn)動(dòng)和紋理，所有的 這些可以容易地從圖像中提取。附圖簡(jiǎn)述現(xiàn)在參照附圖，僅僅通過(guò)例子，來(lái)描述本發(fā)明的實(shí)施例，其中

圖1是用于處理圖像數(shù)據(jù)的系統(tǒng)的示意圖，圖2是圖像數(shù)據(jù)的幀的示意圖，圖3是顯示圖2的圖像數(shù)據(jù)的幀的三個(gè)不同分割視圖的示意圖，圖4是顯示另外的圖像數(shù)據(jù)的三個(gè)不同分割視圖的示意圖，圖5是處理圖像數(shù)據(jù)的方法的流程圖，圖6是顯示不同的分割視圖之間的關(guān)系的圖，圖7是顯示在圖6的視圖之間導(dǎo)航的圖，
圖8是圖像數(shù)據(jù)的兩個(gè)測(cè)試幀的圖，圖9是圖8的圖像數(shù)據(jù)的八個(gè)分割視圖的圖，以及圖10是圖8的圖像數(shù)據(jù)的示意圖和對(duì)應(yīng)的深度圖。實(shí)施例詳細(xì)說(shuō)明圖1顯示可被使用來(lái)處理圖像數(shù)據(jù)的系統(tǒng)。該系統(tǒng)包括處理器10、顯示設(shè)備12和用戶(hù)接口，用戶(hù)接口包括鍵盤(pán)14和標(biāo)度盤(pán)(dial) 16 (其功能將在下面更詳細(xì)地解釋)。 用戶(hù)接口還可包括顯示設(shè)備12的觸摸屏部件，它允許分段的高效的選擇。圖1的系統(tǒng)可 以被配置在傳統(tǒng)的臺(tái)式PC、桌面PC、帶有內(nèi)建顯示器的觸摸書(shū)寫(xiě)板的周?chē)?，或者可以?專(zhuān)門(mén)被配置用于處理圖像數(shù)據(jù)的任務(wù)的專(zhuān)業(yè)(圖形)工作站。該系統(tǒng)是對(duì)操控圖像數(shù)據(jù) 的用戶(hù)提供幫助的工具。處理器10執(zhí)行圖像數(shù)據(jù)的分割，以便用戶(hù)在他們當(dāng)前的應(yīng)用中 利用。在以下的描述中，將在用戶(hù)正使用本工具來(lái)幫助創(chuàng)建深度圖的基礎(chǔ)上舉例說(shuō)明一 個(gè)例子。為了解釋分割的概念，圖2顯示了圖像數(shù)據(jù)18的高度風(fēng)格化(stylised)的幀。圖 像數(shù)據(jù)18顯示藍(lán)天、綠草地、白色門(mén)柱和多色的足球，足球是該圖像的唯一處在運(yùn)動(dòng)中 的部分。顯然，圖像幀18代表靜止的單個(gè)場(chǎng)景，但幀18將包括組成視頻信號(hào)的一系列 幀中的一個(gè)幀，足球?qū)⑾鄬?duì)于它在前一個(gè)幀中的位置移動(dòng)。記錄圖像幀18的攝像機(jī)是靜 止的。通過(guò)由處理器(諸如該處理系統(tǒng)的處理器10)運(yùn)行的算法可以對(duì)圖像進(jìn)行分割。 有兩個(gè)與分割有關(guān)的概念，它們是所采用的分割準(zhǔn)則和所應(yīng)用的分割參數(shù)(其可以是閾 值)。包括顏色、分段尺寸、亮度、色度、運(yùn)動(dòng)和紋理在內(nèi)的許多不同的準(zhǔn)則是可能的。 所有的這些準(zhǔn)則可以在形成圖像幀18的數(shù)據(jù)中被檢測(cè)到。例如，如果顏色被用作為數(shù)據(jù) 18的分割準(zhǔn)則，使用閾值作為分割參數(shù)，則在圖像數(shù)據(jù)18內(nèi)的具有相同或相似的顏色的 像素將被認(rèn)為是處在相同區(qū)域中。所應(yīng)用的閥值確定兩個(gè)鄰近的像素是否被認(rèn)為是相似 的。假設(shè)兩個(gè)鄰近的像素具有相同的藍(lán)色和綠色值，但它們的紅色值相差10，則閾值確 定它們是否被判斷為屬于相同的區(qū)域。閾值設(shè)置為高或低確定了圖像數(shù)據(jù)18是被分割成 較少數(shù)目的區(qū)域還是較大數(shù)目的區(qū)域。技術(shù)人員應(yīng)清楚，像這樣的分割并不被限于RGB 色空間。設(shè)想了許多不同的分割參數(shù)，范圍從對(duì)于所有亮度值的單個(gè)閾值、到亮度相關(guān) 的閾值、到對(duì)于一個(gè)個(gè)顏色分量的有區(qū)分的閾值。使用單個(gè)分割準(zhǔn)則來(lái)獲得一系列分割 的簡(jiǎn)單方式是使用特定的準(zhǔn)則創(chuàng)建細(xì)?；?finegrained)的分割，隨后合并分段以獲得 更粗的分段。隨后的從已分割視圖的范圍內(nèi)選擇已分割視圖可以是基于表明合并級(jí)別的 參數(shù)。瀏覽這樣的分段的用戶(hù)將把所選擇的視圖感知為是對(duì)圖像數(shù)據(jù)18的分割視圖中存 在的分段進(jìn)行合并或分裂的結(jié)果。由圖1的系統(tǒng)實(shí)行的處理圖像數(shù)據(jù)18的方法包括接收?qǐng)D像數(shù)據(jù)18，然后對(duì)圖 像數(shù)據(jù)18進(jìn)行分割。圖3顯示圖2的圖像數(shù)據(jù)18的三個(gè)不同的已分割視圖20a、20b和 20c。這些視圖將在顯示設(shè)備12上一次一個(gè)地顯示給用戶(hù)，用戶(hù)能夠按希望的那樣在視 圖之間切換。替換地，視圖20可以被同時(shí)顯示給用戶(hù)，用戶(hù)能夠通過(guò)適當(dāng)?shù)挠脩?hù)接口動(dòng) 作在當(dāng)前的分割視圖20之間進(jìn)行切換。處理器10已經(jīng)使用第一準(zhǔn)則和第一閾值對(duì)圖像數(shù)據(jù)18進(jìn)行分割，以創(chuàng)建圖像數(shù)據(jù)18的第一已分割視圖20a;使用第一準(zhǔn)則和第二閾值對(duì)圖像數(shù)據(jù)18進(jìn)行分割，以創(chuàng)建 圖像數(shù)據(jù)18的第二已分割視圖20b ；以及使用第二準(zhǔn)則和第三閾值對(duì)圖像數(shù)據(jù)18進(jìn)行 分 害!]，以創(chuàng)建圖像數(shù)據(jù)18的第三已分割視圖20c。在本例中，第一準(zhǔn)則是顏色，第二準(zhǔn)則 是運(yùn)動(dòng)。第二已分割視圖20b可以通過(guò)按照參數(shù)級(jí)別把視圖20a的分段合并在一起而被創(chuàng)建。正如從圖3中將看到的，已分割視圖20中沒(méi)有一個(gè)能獨(dú)自地提供圖像數(shù)據(jù)18的 理想的分割。向用戶(hù)提供以無(wú)縫的方式組合來(lái)自多個(gè)已分割視圖20的信息的能力，為用 戶(hù)提供了以正確的粒度訪(fǎng)問(wèn)(access)不同部分的有效方法?；旧希趫D像數(shù)據(jù)18內(nèi)有 四個(gè)對(duì)象，地面、天空、足球和門(mén)柱。用戶(hù)希望創(chuàng)建用于這個(gè)圖像數(shù)據(jù)18的深度圖，他 需要能夠指定四個(gè)不同的深度值，每個(gè)對(duì)象一個(gè)。在現(xiàn)有技術(shù)的解決方案中，或者用戶(hù) 通過(guò)使用軟件在圖像數(shù)據(jù)18中創(chuàng)建區(qū)域而人工地指定深度值，或者執(zhí)行單個(gè)分割，然后 再由用戶(hù)修改它。然而，由處理器10產(chǎn)生的不同的視圖20支持用戶(hù)以比當(dāng)前可以達(dá)到的更容易和 更精確的方式創(chuàng)建深度圖。第一已分割視圖20a是基于顏色準(zhǔn)則的分割，具有低閾值。 在這個(gè)視圖上，球被深度地(heavily)分割，綠草地也被過(guò)分割(over-segmented)(意味著 閾值已檢測(cè)草地內(nèi)的不同的綠色陰影)。實(shí)際上，在草地內(nèi)由于分割而產(chǎn)生的區(qū)域不是 規(guī)則的矩形；這是被使用來(lái)舉例說(shuō)明分割成區(qū)域的概念。然而，需要第一視圖20a來(lái)區(qū) 分天空與門(mén)柱。正如在第二分割視圖20b中可以看到的，該第二分割視圖使用顏色來(lái)分 害!]，但具有較高的閾值，草地現(xiàn)在被合并成單個(gè)區(qū)域，但天空和門(mén)柱也被組合成單個(gè)區(qū) 域。球仍舊被深度地分割。在提供對(duì)基于多個(gè)分割準(zhǔn)則的多個(gè)已分割視圖的順序訪(fǎng)問(wèn)的 系統(tǒng)中，用戶(hù)具有改變到第二分割準(zhǔn)則(在這里是運(yùn)動(dòng))的選項(xiàng)，這是圖20c的視圖。在 這種情形下，唯一的運(yùn)動(dòng)對(duì)象——球，是單個(gè)區(qū)域。通過(guò)移動(dòng)通過(guò)不同的視圖20，用戶(hù)可以創(chuàng)建深度圖。實(shí)際上，這是通過(guò)以下操 作而達(dá)到的顯示圖像數(shù)據(jù)18的第一已分割視圖20a ；接收一個(gè)或多個(gè)選擇用戶(hù)輸入， 用來(lái)選擇如在第一已分割視圖20中顯示的該圖像數(shù)據(jù)18的一個(gè)或多個(gè)分段(例如，首先 選擇天空，然后選擇門(mén)柱)；接收定義的用戶(hù)輸入以切換視圖；顯示圖像數(shù)據(jù)18的第二 已分割視圖20b;以及接收一個(gè)或多個(gè)另外的選擇用戶(hù)輸入，用來(lái)選擇如在第二已分割 視圖20b中顯示的該圖像數(shù)據(jù)的一個(gè)或多個(gè)分段(地面)。使用第二準(zhǔn)則(運(yùn)動(dòng))和第三 閾值而對(duì)圖像數(shù)據(jù)18進(jìn)行分割，以創(chuàng)建圖像數(shù)據(jù)18的第三已分割視圖20c ；在接收用來(lái) 切換視圖的另外的定義的用戶(hù)輸入后，顯示圖像數(shù)據(jù)18的第三已分割視圖20c;以及用 戶(hù)接口接收一個(gè)或多個(gè)另外的選擇用戶(hù)輸入，用來(lái)選擇如在第三已分割視圖20c中顯示的 該圖像數(shù)據(jù)18的一個(gè)或多個(gè)分段(球)。由于不能產(chǎn)生原始圖像數(shù)據(jù)18的“最佳的”分割，所以該系統(tǒng)向深度編輯器 的用戶(hù)給出一種快速選擇機(jī)制，用來(lái)在多個(gè)預(yù)先計(jì)算出的分割之間切換。通過(guò)在相同位 置顯示多個(gè)可供選擇的已分割視圖，用戶(hù)可以把焦點(diǎn)集中在對(duì)象或圖像的一個(gè)特定的部 分，并且切換分割，直至找到匹配的分段為止。與其中多個(gè)分割被同時(shí)顯示在不同位置 的情景相比較，這代表了很大的改進(jìn)。另一方面，并行地可視化多個(gè)已分割視圖在評(píng)估哪個(gè)特定的分割對(duì)于這樣的注 解提供良好的起點(diǎn)方面是有用的。因此，并行地顯示基于不同的分割準(zhǔn)則的多個(gè)分割提供了其它的好處。在圖3上，僅僅有兩個(gè)不同的分割視圖20a和20b是用顏色的準(zhǔn)則計(jì)算的，然 而，這僅僅是示例性的，實(shí)際上，有更大數(shù)目的已分割視圖來(lái)從中選擇可能是有用的。 這被圖 示于圖4，其中顯示了圖像數(shù)據(jù)18的分割視圖22a、22b和22c。在圖4上，顯示 了所建議的、用于深度圖創(chuàng)建的編輯器的示例性使用。視圖22a到22c是在不同的區(qū)域 合并級(jí)別上的分割。通過(guò)選擇在不同的合并級(jí)別上的區(qū)域、并調(diào)節(jié)每個(gè)區(qū)域或區(qū)域組的 深度值，恒定的深度被指定給畫(huà)面上的人。中央的視圖22b可被認(rèn)為是圖像數(shù)據(jù)18的缺省視圖，用戶(hù)可以使用鍵盤(pán)14上的 左箭頭鍵來(lái)觀(guān)看左面的圖像22a，以類(lèi)似的方式，用戶(hù)可以使用鍵盤(pán)14上的右箭頭鍵來(lái) 觀(guān)看右面的圖像22c。這樣，簡(jiǎn)單又直接的選擇機(jī)制被呈現(xiàn)給深度編輯器的用戶(hù)。中間 的畫(huà)面22b將被使用來(lái)指定深度給圓形區(qū)，因?yàn)樗亲钣行У?僅僅三個(gè)區(qū)域需要被選 擇)。通過(guò)按壓右箭頭鍵(一)，具有類(lèi)似顏色的區(qū)域被合并(圓形區(qū)與另一個(gè)對(duì)象合 并)。通過(guò)按壓左箭頭鍵(一)，合并的區(qū)域被分成多個(gè)部分(選擇該圓形區(qū)需要選擇五 個(gè)區(qū)域)。用戶(hù)因此可以使用適當(dāng)?shù)牧６葋?lái)把深度指定給對(duì)象。實(shí)際上，特別是對(duì)于被 使用于分割的諸如顏色那樣的準(zhǔn)則，有可能使用數(shù)量較大的不同視圖，用戶(hù)可以循環(huán)通 過(guò)它們。為此，提供了圖1的標(biāo)度盤(pán)16，這允許用戶(hù)“調(diào)諧”到對(duì)于他們當(dāng)前正在執(zhí)行 的任務(wù)(或子任務(wù))來(lái)說(shuō)正確的粒度水平。為了提供視圖20和22以供該工具使用，通過(guò)使用例如區(qū)域擬合(如在以上提到 的Oliver的文章中描述的)而做出初始分割。這個(gè)初始分割S1包含許多小的區(qū)域，以保 證所有重要的深度不連續(xù)性與區(qū)域邊緣相一致。隨后的分割S2，...Sltl是通過(guò)逐漸地合并 S1的區(qū)域而被創(chuàng)建的。第一個(gè)合并的分割S2是通過(guò)合并S1中所有這樣的鄰近區(qū)域(R1, Rj)而被創(chuàng)建的，對(duì)于這些鄰近區(qū)域Ir-rjl+lg-gjl+lb-bjl < T1其中(Γι，gl, b)和(η，g」，bp分別是區(qū)域R1和Rj的平均顏色矢量。合并閾 值的典型值是T1 = 10?，F(xiàn)在對(duì)于合并的區(qū)域計(jì)算新的平均顏色矢量。第二個(gè)合并的分 割S3是使用相同的過(guò)程、但使用合并的閾值T2而從S2計(jì)算出來(lái)的。這個(gè)過(guò)程繼續(xù)進(jìn)行 直至分割Sltl被創(chuàng)建為止。在一個(gè)實(shí)施例中，對(duì)于每個(gè)新的合并級(jí)別，閾值增加10。在 這種情形下，Tltl =100。這個(gè)分割過(guò)程可以先于用戶(hù)的任何工作來(lái)實(shí)行，或者當(dāng)用戶(hù)正 在通過(guò)按壓左和右箭頭鍵而選擇新視圖時(shí)，可以動(dòng)態(tài)地(on the fly)實(shí)行(在圖4的實(shí)施 例中)。事實(shí)上，如果沒(méi)有視圖適合于用戶(hù)當(dāng)前正在進(jìn)行的工作，則用戶(hù)可以請(qǐng)求實(shí)行 中間的分割，例如用于在圖4的22a與22b之間的新的視圖。這個(gè)新的視圖22在那里被 創(chuàng)建，然后通過(guò)使用相對(duì)于兩個(gè)視圖22a和22b被使用的那些閾值中間的新閾值而實(shí)行分 割。圖4顯示如何使用三個(gè)不同的分割合并級(jí)別，來(lái)由用戶(hù)例如利用屏幕上的光標(biāo) 選擇分段而產(chǎn)生深度圖。在視圖22c中，大的分段可以通過(guò)單個(gè)鼠標(biāo)點(diǎn)擊而被選擇。然 而，部分背景可能被錯(cuò)誤地放置在前景中。這可以通過(guò)移動(dòng)到在較低合并級(jí)別上的分割 而在視圖22b中被部分地校正。然而，可能仍舊是這樣的情形小部分的背景仍舊被放 置在前景中。這個(gè)錯(cuò)誤通過(guò)選擇具有更低的合并級(jí)別的分割(視圖22a)而被校正。圖5顯示對(duì)于具有交互式分段合并的深度編輯器的操作的流程圖。在虛線(xiàn)以上是對(duì)于用戶(hù)不可見(jiàn)的離線(xiàn)處理。在虛線(xiàn)以下是系統(tǒng)的交互部分。輸入到編輯器的是將為其構(gòu)建深度圖d的圖像數(shù)據(jù)I。在離線(xiàn)部分，計(jì)算區(qū)域顏色分割Si。 優(yōu)選地，這是所謂的過(guò)分割 (over-segmentation),意思是在圖像中有比場(chǎng)景中的對(duì)象更多的分段。這個(gè)最基本的顏色 分割S1然后基于區(qū)域?qū)傩?，諸如區(qū)域尺寸、區(qū)域平均顏色、區(qū)域紋理、區(qū)域運(yùn)動(dòng)等等， 而被遞歸地合并。第一合并步驟的結(jié)果是合并的分割s2?；趕2，重新計(jì)算區(qū)域?qū)傩裕?諸如區(qū)域尺寸、區(qū)域平均顏色、區(qū)域紋理、區(qū)域運(yùn)動(dòng)等等，并且計(jì)算出新的合并的分割 S20這個(gè)過(guò)程被重復(fù)進(jìn)行，直至達(dá)到給定的數(shù)目K為止。所有的分割S1到Sk被存儲(chǔ)。 緊跟在這些分割后，還計(jì)算和存儲(chǔ)K個(gè)邊緣圖，這些邊緣圖將在在線(xiàn)部分中被使用于實(shí) 時(shí)邊緣顯示。在線(xiàn)部分通過(guò)選擇初始合并級(jí)別分割和初始背景深度圖來(lái)開(kāi)始。初始合并級(jí)別 將默認(rèn)為中間合并級(jí)別。初始背景深度圖是恒定的背景值，或是作為畫(huà)面上高度的函數(shù) 而線(xiàn)性地改變深度的梯度。然后顯示圖像數(shù)據(jù)，通過(guò)使用恒定的顏色、或加亮初始合并級(jí)別的其它方法而 指示分割邊緣，從而提供分割視圖。接著，用戶(hù)通過(guò)在屏幕上指點(diǎn)并點(diǎn)擊左鼠標(biāo)按鈕而 選擇區(qū)域。然后通過(guò)在顯示器上將藍(lán)色畫(huà)面通道設(shè)置為255而將所選擇的區(qū)域變?yōu)榭煽?見(jiàn)的。所述區(qū)域被自動(dòng)加到當(dāng)前的已選擇區(qū)域組中。如果用戶(hù)希望的話(huà)，他們可以改變 合并級(jí)別和/或選擇新的區(qū)域。通過(guò)按壓左箭頭鍵，用戶(hù)選擇更精細(xì)的分割；通過(guò)按壓 右箭頭鍵，用戶(hù)選擇更粗略的分割。用戶(hù)可以通過(guò)用左鼠標(biāo)按鈕點(diǎn)擊那個(gè)區(qū)域中已經(jīng)選 擇的像素而取消選定一個(gè)區(qū)域。當(dāng)用戶(hù)已完成區(qū)域選擇過(guò)程時(shí)，他們可以通過(guò)按壓鍵盤(pán)上的跳格鍵(Tabkey)而 在相同的窗口中顯示深度圖而不是圖像。然后，把當(dāng)前的深度圖與以綠色畫(huà)出的選擇區(qū) 域一起顯示。用戶(hù)然后可以選擇深度級(jí)別，這個(gè)深度級(jí)別可通過(guò)如下方式提供，即通過(guò) 按壓空格鍵(Spacebar)而從五個(gè)深度級(jí)別中選出一個(gè)深度級(jí)別。初始深度值是255，每 次用戶(hù)按壓空格鍵，深度級(jí)別減小50。當(dāng)深度級(jí)別是5時(shí)，則下一個(gè)級(jí)別變?yōu)?55。用 戶(hù)可以通過(guò)按壓回車(chē)鍵(Enter)而完成所述過(guò)程，這將清空當(dāng)前的區(qū)域選擇，并且還把深 度圖存儲(chǔ)到例如盤(pán)。切換回圖像是通過(guò)按壓跳格鍵而完成的，在那之后用戶(hù)可以作出新 的選擇。正如上面提到的，可向用戶(hù)提供通過(guò)使用基于運(yùn)動(dòng)的合并而創(chuàng)建的一個(gè)或多個(gè) 視圖20。當(dāng)兩個(gè)接連的圖像幀是可提供的時(shí)候，運(yùn)動(dòng)估計(jì)可以幫助聚合多半屬于同一個(gè) 對(duì)象的分段。達(dá)到這一點(diǎn)的一個(gè)方式是首先通過(guò)使用16x16像素的非重疊塊和33x33 像素的搜索窗口來(lái)估計(jì)運(yùn)動(dòng)。對(duì)于每個(gè)塊，選擇導(dǎo)致最小的絕對(duì)差的和值(絕對(duì)差在紅 色、綠色和藍(lán)色分量上求和)的運(yùn)動(dòng)矢量。然后，產(chǎn)生運(yùn)動(dòng)矢量的、具有尺寸33x33的 二維直方圖。直方圖中的每個(gè)倉(cāng)(bin)包含發(fā)現(xiàn)對(duì)應(yīng)的矢量是對(duì)于特定塊的最佳匹配的次 數(shù)的計(jì)數(shù)。從這個(gè)直方圖，然后有可能選擇在該直方圖中具有Nm。dds個(gè)最大計(jì)數(shù)的Nnrodds個(gè) 運(yùn)動(dòng)矢量。在一個(gè)實(shí)現(xiàn)中，希望使用Nm。dds = 3，但對(duì)于Nnrodds的更大的值也給出有用的輸 出。然后，這Nnrodds個(gè)候選的運(yùn)動(dòng)矢量被使用來(lái)對(duì)必須基于運(yùn)動(dòng)而合并的輸入分割的每 個(gè)分段進(jìn)行分類(lèi)。更具體地，對(duì)于輸入分割中的每個(gè)分段，計(jì)算對(duì)于每個(gè)運(yùn)動(dòng)矢量的、在分段中的像素上的絕對(duì)顏色差的和值(絕對(duì)差在紅色、綠色和藍(lán)色分量上被求和)。導(dǎo)致絕對(duì)差的最小和值的運(yùn)動(dòng)模型將最好地匹配，因此它被指定給該分段。最后，為了創(chuàng) 建基于運(yùn)動(dòng)的合并的分割，具有相同的運(yùn)動(dòng)模型標(biāo)識(shí)符的、空間上相鄰的分段被合并成 輸出分割中的單個(gè)分段。使用有限數(shù)目的預(yù)定的候選運(yùn)動(dòng)模型的以上方法具有如下優(yōu)點(diǎn)解決方案被限 于有限數(shù)目的可能的運(yùn)動(dòng)。這在圖像具有均勻的顏色區(qū)域或噪聲的情況下，或者在分段 較小的情況下，是特別有用的。在那種情形下，不同的運(yùn)動(dòng)矢量可以給出類(lèi)似的小的絕 對(duì)差的和值，這導(dǎo)致有噪聲的運(yùn)動(dòng)場(chǎng)(field)，在此基礎(chǔ)上難以用可靠的方式來(lái)合并在空 間上鄰近的分段。使用運(yùn)動(dòng)和顏色作為分割準(zhǔn)則(具有適當(dāng)?shù)膮?shù)組)允許將兩個(gè)模態(tài) (modality)組合在單個(gè)合并圖上。本領(lǐng)域技術(shù)人員將清楚，可以使用與運(yùn)動(dòng)有關(guān)的信息 來(lái)作出其它分割。圖6圖示可以如何使用兩種合并模態(tài)來(lái)產(chǎn)生八個(gè)不同的分割。在本實(shí)施例中， 模態(tài)顏色和運(yùn)動(dòng)被使用來(lái)產(chǎn)生‘合并圖’。圖7圖示用戶(hù)可以如何在‘合并圖’中的不 同分割之間進(jìn)行切換。在圖6上，圖示了如何使用兩個(gè)不同的合并模態(tài)(在本例中，是顏 色和運(yùn)動(dòng))來(lái)創(chuàng)建在不同的合并級(jí)別上的分割?！喜D’中的每個(gè)圓代表分割視圖， 每個(gè)箭頭指向合并的分割的方向。開(kāi)始分割用閉合的圓表示。這個(gè)分割被使用顏色合并 一次(在χ軸方向)，第二次使用運(yùn)動(dòng)來(lái)合并(在y軸方向)。最終得到的、基于顏色的 合并的分割然后被使用顏色合并一次，第二次使用運(yùn)動(dòng)來(lái)合并，等等。在圖7上，顯示了用戶(hù)可以如何通過(guò)使用鍵盤(pán)上的四個(gè)箭頭鍵之一在‘合并 圖’中的兩個(gè)不同的分割視圖之間進(jìn)行切換。事實(shí)上，通過(guò)使用例如像數(shù)字小鍵盤(pán)那 樣安排的一組專(zhuān)用鍵，有可能實(shí)際上在更多的方向上導(dǎo)航，假若這樣的分割是可提供的 話(huà)。替換地或附加地，可以呈現(xiàn)合并圖的屏幕上顯示，以利于導(dǎo)航通過(guò)各種已分割視 圖。甚至更可替換地，鼠標(biāo)敲擊或鼠標(biāo)手勢(shì)可被用于導(dǎo)航。圖8顯示通過(guò)把前景對(duì)象(揚(yáng)聲器)合成到相同背景上而創(chuàng)建的兩個(gè)測(cè)試圖像 18。運(yùn)動(dòng)是通過(guò)以下方式來(lái)模擬，即把揚(yáng)聲器粘貼到背景上不同的空間位置(右面圖 像)而由此引入運(yùn)動(dòng)。在前景中的揚(yáng)聲器相對(duì)于暗的背景被照相，被分割出來(lái)，并被粘 貼到另一個(gè)畫(huà)面上。在第二個(gè)畫(huà)面上，揚(yáng)聲器相對(duì)于第一圖像被向右移動(dòng)。應(yīng)當(dāng)指出， 圖8上的左面圖像被呈現(xiàn)給用戶(hù)并被分割，而圖8上的右面圖像僅僅被用作為用于運(yùn)動(dòng)模 型計(jì)算和運(yùn)動(dòng)模型分類(lèi)的參考。它并沒(méi)有顯示給用戶(hù)。在使用圖像幀的視頻序列的例子 中，這兩個(gè)圖像18將是接連的幀。圖9顯示按照?qǐng)D7和圖8的合并圖配置的全部八個(gè)分割視圖20。這八個(gè)分割是 按照合并圖的顏色和運(yùn)動(dòng)軸進(jìn)行安排的。分段首先基于顏色在水平方向上被合并，然后 基于運(yùn)動(dòng)在垂直方向上被合并。向左、向右、向下和向上鍵被使用來(lái)在這八個(gè)分割之間 導(dǎo)航。顯然，分段沿正的顏色合并軸進(jìn)行合并，以及分段沿正的運(yùn)動(dòng)軸進(jìn)行合并。當(dāng)在 這八個(gè)分割之間進(jìn)行快速導(dǎo)航的時(shí)候，變得很明顯的是后面跟隨有基于運(yùn)動(dòng)的合并步 驟的兩個(gè)基于顏色的合并步驟，導(dǎo)致選擇揚(yáng)聲器的單個(gè)合并的分段。在任何分段區(qū)中的 一次鼠標(biāo)點(diǎn)擊會(huì)加亮該分段。在通過(guò)按壓鍵盤(pán)上的跳格鍵而改變到深度窗口之后，可以 通過(guò)按壓鍵盤(pán)上的空格鍵直至發(fā)現(xiàn)優(yōu)選的深度，來(lái)選擇深度值。圖10顯示所選擇的分段 視圖20 (左面)和最后的深度圖24 (右面)。
圖10圖示從輸入圖像18得到深度圖24的過(guò)程。圖上顯示了初始的合并級(jí)別20 和用戶(hù)選擇的全局深度分布圖，是深度圖24。顯示設(shè)備12被安排成把深度圖24顯示在 圖像數(shù)據(jù)18的已分割視圖20旁邊。已分割視圖20可被看作是一系列邊緣重疊的原始圖 像數(shù)據(jù)18。這些邊緣定義了作為分割算法的輸出的區(qū)域(或分段)。深度圖24開(kāi)始時(shí) 在它內(nèi)部沒(méi)有用戶(hù)定義的數(shù)據(jù)，至少是在該過(guò)程中的這一點(diǎn)。工具被提供來(lái)使得用戶(hù)能 夠容易構(gòu)建深度圖24。

用戶(hù)然后可以提供選擇用戶(hù)輸入，其選擇圖像數(shù)據(jù)18的分段。系統(tǒng)然后把該區(qū) 域26轉(zhuǎn)移到深度圖24，作為深度區(qū)域28。系統(tǒng)接收與區(qū)域26的相應(yīng)選擇用戶(hù)輸入有關(guān) 的深度用戶(hù)輸入，并據(jù)此創(chuàng)建用于圖像數(shù)據(jù)18的深度圖24。用戶(hù)為他們?cè)谝晥D20中已 選擇的區(qū)域選擇深度值。如果用戶(hù)希望的話(huà)，他們可以從視圖20選擇多個(gè)區(qū)域。所有的 被選擇的視圖然后將被轉(zhuǎn)移到深度圖24，用戶(hù)可以把深度值指定給那些區(qū)域。事實(shí)上， 可以為目前已被轉(zhuǎn)移到深度圖24中的不同的區(qū)域選擇不同的深度值。在定義的用戶(hù)輸入(諸如通過(guò)標(biāo)度盤(pán)16)之后，用戶(hù)可以切換到不同的分割視 圖。用戶(hù)可以改變到更粗略的合并級(jí)別(粒度)，這使得用戶(hù)能夠通過(guò)多次鼠標(biāo)點(diǎn)擊而選 擇圖像18的另外的部分，此后指定深度值。由用戶(hù)選擇的區(qū)域被轉(zhuǎn)化成深度圖24內(nèi)的 部分。用戶(hù)進(jìn)行深度輸入，把想要的深度指定給選擇的區(qū)域。這個(gè)過(guò)程將繼續(xù)進(jìn)行，用 戶(hù)在分割級(jí)別之間移動(dòng)，在當(dāng)前的視圖內(nèi)選擇一個(gè)或多個(gè)分段，然后把深度值指定給選 擇的區(qū)域，以便構(gòu)建深度圖d。當(dāng)用戶(hù)完成時(shí)，深度圖d將是該圖像數(shù)據(jù)處理的輸出。參照?qǐng)D10描述的系統(tǒng)和方法描述了 通過(guò)基于顏色距離來(lái)遞歸地合并鄰近的區(qū) 域而創(chuàng)建合并的分割。然而，這個(gè)分割準(zhǔn)則確實(shí)限制了區(qū)域?qū)傩缘倪x擇?？梢允褂貌煌?于顏色距離的其它準(zhǔn)則。例如，稍微更精巧一點(diǎn)的辦法是選擇10%最小的區(qū)域，并把這 些區(qū)域的每個(gè)區(qū)域與它們的在顏色上最相似的相鄰區(qū)域合并。相對(duì)于第二圖像的運(yùn)動(dòng)信 息也可以被使用來(lái)創(chuàng)建合并的分割。然后，可以按運(yùn)動(dòng)相似性合并分段。圖像分割是已知的技術(shù)。以上的文本給出了對(duì)Richard O.Duda、Peter E.Hart禾口 David G. Stork 的"Pattern Classification" , JohnWiley and Sons, Inc., New York, 2001 禾口 C.Oliver, S.Quegan 的"Understanding Synthetic Aperture Radar Images” 中描述的區(qū)域擬 合分割算法的參考。Duda參考文獻(xiàn)在第548和549頁(yè)推導(dǎo)了當(dāng)一個(gè)樣本在迭代擬合過(guò) 程期間從一個(gè)分段移動(dòng)到另一個(gè)分段時(shí)用于簡(jiǎn)單且有效地更新誤差準(zhǔn)則的方程式。這個(gè) 迭代擬合方法可以被應(yīng)用來(lái)在以上的過(guò)程中生成第一(未合并的)分割。應(yīng)當(dāng)指出，使 用在Oliver參考文獻(xiàn)中給出的措施，該區(qū)域擬合也迫使分段邊界是光滑的。具有邊界光 滑性的迭代區(qū)域擬合給出可接受的結(jié)果。然而，有時(shí)沿模糊的對(duì)象邊緣形成長(zhǎng)度被拉長(zhǎng) 的區(qū)域。所以，這種分割可以通過(guò)在兩個(gè)區(qū)域擬合步驟之間使用“偽邊緣去除”而被改 進(jìn)。在兩個(gè)區(qū)域擬合步驟之間使用偽邊緣去除的思想是在標(biāo)題為“Method and apparatus for removing false edges from asegmented image，，的早先的專(zhuān)利申請(qǐng)公開(kāi) WO 2004/051573 中描述的。作為一般規(guī)則，可以使用任何適當(dāng)?shù)?、把原始圖像數(shù)據(jù)劃分成更小的分段/區(qū) 域的分割算法。所需要的全部便是分割的粒度可以通過(guò)參數(shù)調(diào)節(jié)而被調(diào)節(jié)成產(chǎn)生不 同的分割視圖。這些不同的視圖然后對(duì)于用戶(hù)是可提供的，用戶(hù)可以在它們之間進(jìn)行切 換，并選擇在不同級(jí)別上的不同分段，以用于他們當(dāng)前的任務(wù)，諸如創(chuàng)建深度圖。
如以上指明的，本發(fā)明也可以在諸如轉(zhuǎn)描(rotoscoping)、圖像恢復(fù)、電影著色
那樣的其它圖形應(yīng)用中，或在圖形編輯器中被使用于選擇對(duì)象、區(qū)域。為了使得所述選 擇可視化，所選擇的分段最好在選擇過(guò)程中被加上顏色和/或用對(duì)比色畫(huà)出輪廓。雖然以上內(nèi)容主要是針對(duì)來(lái)自圖像序列的圖像進(jìn)行解釋的，但本發(fā)明也可以同 樣有利地被使用于對(duì)靜止圖像注解深度圖。假若靜止圖像是從圖像序列得出的，就仍舊 有可能將運(yùn)動(dòng)線(xiàn)索用于分割。然而，應(yīng)當(dāng)指出，在只有單個(gè)靜止圖像可提供的情形下， 沒(méi)有運(yùn)動(dòng)線(xiàn)索，在這樣的情況下，可以使用諸如亮度、色度和/或紋理那樣的其它線(xiàn)索 來(lái)對(duì)圖像數(shù)據(jù)進(jìn)行分割。應(yīng)當(dāng)指出，上述的實(shí)施例是舉例說(shuō)明而不是限制本發(fā)明，以及本領(lǐng)域技術(shù)人員 將能夠設(shè)計(jì)出許多替換實(shí)施例，而不背離所附權(quán)利要求的范圍。在權(quán)利要求中，放置在括號(hào)之間的任何參考符號(hào)不應(yīng)當(dāng)被解釋為限制權(quán)利要 求。應(yīng)清楚，在本發(fā)明的框架內(nèi)，有可能存在許多變例。本領(lǐng)域技術(shù)人員將會(huì)意識(shí) 到，本發(fā)明并不受限于上文中具體地顯示和描述的內(nèi)容。本發(fā)明在于每一個(gè)新穎的特有 特征以及特有特征的每一個(gè)組合。在權(quán)利要求中的參考數(shù)字不限制它們的保護(hù)范圍。動(dòng)詞“包括”及其變化形式的使用不排除除了在權(quán)利要求中闡述的那些單元以 外的其它單元的存在。在單元之前的冠詞“一”或“一個(gè)”(“a”或“an” )的使用 不排除多個(gè)這樣的單元的存在。
權(quán)利要求
1.一種處理圖像數(shù)據(jù)的方法，包括使用第一準(zhǔn)則和第一參數(shù)來(lái)對(duì)圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建該圖像數(shù)據(jù)的第一已分割 視圖；使用第一準(zhǔn)則或第二準(zhǔn)則和第二參數(shù)來(lái)對(duì)該圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建該圖像數(shù)據(jù) 的第二已分割視圖；顯示該圖像數(shù)據(jù)的第一已分割視圖；接收一個(gè)或多個(gè)選擇用戶(hù)輸入，用來(lái)選擇如在第一已分割視圖中顯示的該圖像數(shù)據(jù) 的一個(gè)或多個(gè)分段；顯示該圖像數(shù)據(jù)的第二已分割視圖；以及接收一個(gè)或多個(gè)另外的選擇用戶(hù)輸入，用來(lái)選擇如在第二已分割視圖中顯示的該圖 像數(shù)據(jù)的一個(gè)或多個(gè)分段。
2.按照權(quán)利要求1的方法，還包括組合來(lái)自第一已分割視圖的一個(gè)或多個(gè)選擇的分段 與來(lái)自第二已分割視圖的一個(gè)或多個(gè)選擇的分段。
3.按照權(quán)利要求1或2的方法，還包括在從第一已分割視圖選擇分段之后接收定義的 用戶(hù)輸入，該定義的用戶(hù)輸入觸發(fā)顯示第二已分割視圖。
4.按照權(quán)利要求1或2的方法，還包括不斷地可視化在已分割視圖中被組合的所選擇 的圖像分段的輪廓。
5.按照權(quán)利要求1或2的方法，還包括接收一個(gè)或多個(gè)深度用戶(hù)輸入，所述的或每 個(gè)深度用戶(hù)輸入與各自的選擇用戶(hù)輸入有關(guān)，以及據(jù)此創(chuàng)建用于該圖像數(shù)據(jù)的深度圖。
6.按照權(quán)利要求5的方法，還包括把深度圖顯示在該圖像數(shù)據(jù)的已分割視圖旁邊。
7.按照權(quán)利要求1或2的方法，其中第二已分割視圖是基于第一準(zhǔn)則，并且還包括 通過(guò)使用第二準(zhǔn)則和第三參數(shù)而對(duì)該圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建該圖像數(shù)據(jù)的第三已分 割視圖；顯示該圖像數(shù)據(jù)的第三已分割視圖；以及接收一個(gè)或多個(gè)另外的選擇用戶(hù)輸 入，用來(lái)選擇如在第三已分割視圖中顯示的該圖像數(shù)據(jù)的一個(gè)或多個(gè)分段。
8.按照權(quán)利要求1或2的方法，還包括接收合并用戶(hù)輸入，以及合并由用來(lái)選擇該圖 像數(shù)據(jù)的分段的用戶(hù)輸入所定義的圖像數(shù)據(jù)的分段。
9.按照權(quán)利要求1或2的方法，其中所述準(zhǔn)則是從顏色、分段尺寸、亮度、色度、運(yùn) 動(dòng)和紋理中選擇的。
10.—種用于處理圖像數(shù)據(jù)的系統(tǒng)，包括處理器，被安排來(lái)通過(guò)使用第一準(zhǔn)則和第一參數(shù)而對(duì)圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建該 圖像數(shù)據(jù)的第一已分割視圖；以及通過(guò)使用第一準(zhǔn)則或第二準(zhǔn)則和第二參數(shù)而對(duì)該圖像 數(shù)據(jù)進(jìn)行分割，以創(chuàng)建圖像數(shù)據(jù)的第二已分割視圖，顯示設(shè)備，被安排來(lái)顯示該圖像數(shù)據(jù)的第一和第二已分割視圖，以及用戶(hù)接口，被安排來(lái)接收一個(gè)或多個(gè)選擇用戶(hù)輸入，用來(lái)選擇如在第一已分割視圖 中顯示的該圖像數(shù)據(jù)的一個(gè)或多個(gè)分段；以及接收一個(gè)或多個(gè)另外的選擇用戶(hù)輸入，用 來(lái)選擇如在第二已分割視圖中顯示的該圖像數(shù)據(jù)的一個(gè)或多個(gè)分段。
11.按照權(quán)利要求10的系統(tǒng)，其中該用戶(hù)接口還被安排來(lái)接收一個(gè)或多個(gè)深度用戶(hù)輸 入，所述的或每個(gè)深度用戶(hù)輸入與各自的選擇用戶(hù)輸入有關(guān)，以及該處理器還被安排來(lái) 據(jù)此創(chuàng)建用于該圖像數(shù)據(jù)的深度圖。
12.按照權(quán)利要求11的系統(tǒng)，其中該顯示設(shè)備還被安排來(lái)把深度圖顯示在該圖像數(shù)據(jù) 的已分割視圖旁邊。
13.按照權(quán)利要求10、11或12的系統(tǒng)，其中第二已分割視圖是基于第一準(zhǔn)則，并 且其中該處理器還被安排來(lái)使用第二準(zhǔn)則和第三參數(shù)而對(duì)該圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建 該圖像數(shù)據(jù)的第三已分割視圖，該顯示設(shè)備還被安排來(lái)顯示該圖像數(shù)據(jù)的第三已分割視 圖，以及該用戶(hù)接口還被安排來(lái)接收一個(gè)或多個(gè)另外的選擇用戶(hù)輸入，用來(lái)選擇如在第 三已分割視圖中顯示的該圖像數(shù)據(jù)的一個(gè)或多個(gè)分段。
14.一種在計(jì)算機(jī)可讀介質(zhì)上的、用于處理圖像數(shù)據(jù)的計(jì)算機(jī)程序產(chǎn)品，所述產(chǎn)品包 括指令用于通過(guò)使用第一準(zhǔn)則和第一參數(shù)而對(duì)圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建該圖像數(shù)據(jù)的第一已 分割視圖；通過(guò)使用第一準(zhǔn)則或第二準(zhǔn)則和第二參數(shù)而對(duì)該圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建該圖像 數(shù)據(jù)的第二已分割視圖；顯示該圖像數(shù)據(jù)的第一已分割視圖；接收一個(gè)或多個(gè)選擇用戶(hù)輸入，用來(lái)選擇如在第一已分割視圖中顯示的該圖像數(shù)據(jù) 的一個(gè)或多個(gè)分段；顯示該圖像數(shù)據(jù)的第二已分割視圖；以及接收一個(gè)或多個(gè)另外的選擇用戶(hù)輸入，用來(lái)選擇如在第二已分割視圖中顯示的該圖 像數(shù)據(jù)的一個(gè)或多個(gè)分段。
15.按照權(quán)利要求14的計(jì)算機(jī)程序產(chǎn)品，還包括指令用于接收一個(gè)或多個(gè)深度用 戶(hù)輸入，所述的或每個(gè)深度用戶(hù)輸入與各自的選擇用戶(hù)輸入有關(guān)，以及據(jù)此創(chuàng)建用于該 圖像數(shù)據(jù)的深度圖。
16.按照權(quán)利要求15的計(jì)算機(jī)程序產(chǎn)品，還包括用于把深度圖顯示在該圖像數(shù)據(jù)的已 分割視圖旁邊的指令。
17.按照權(quán)利要求14、15或16的計(jì)算機(jī)程序產(chǎn)品，其中第二已分割視圖是基于第一 準(zhǔn)則，并且還包括指令用于通過(guò)使用第二準(zhǔn)則和第三參數(shù)而對(duì)該圖像數(shù)據(jù)進(jìn)行分割， 以創(chuàng)建該圖像數(shù)據(jù)的第三已分割視圖；顯示該圖像數(shù)據(jù)的第三已分割視圖；以及接收一 個(gè)或多個(gè)另外的選擇用戶(hù)輸入，用來(lái)選擇如在第三已分割視圖中顯示的該圖像數(shù)據(jù)的一 個(gè)或多個(gè)分段。
18.按照權(quán)利要求14到17的任一項(xiàng)的計(jì)算機(jī)程序產(chǎn)品，還包括指令用于接收合 并用戶(hù)輸入，以及合并由用來(lái)選擇該圖像數(shù)據(jù)的分段的用戶(hù)輸入所定義的圖像數(shù)據(jù)的分 段。
全文摘要
一種處理圖像數(shù)據(jù)的方法，包括接收?qǐng)D像數(shù)據(jù)，使用第一準(zhǔn)則和第一閥值而對(duì)該圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建該圖像數(shù)據(jù)的第一已分割視圖；使用第一準(zhǔn)則和第二閥值而對(duì)該圖像數(shù)據(jù)進(jìn)行分割，以創(chuàng)建該圖像數(shù)據(jù)的第二已分割視圖；顯示該圖像數(shù)據(jù)的第一已分割視圖；接收一個(gè)或多個(gè)選擇用戶(hù)輸入，用來(lái)選擇如在第一已分割視圖中顯示的該圖像數(shù)據(jù)的一個(gè)或多個(gè)分段；接收定義的用戶(hù)輸入；顯示該圖像數(shù)據(jù)的第二已分割視圖；以及接收一個(gè)或多個(gè)另外的選擇用戶(hù)輸入，用來(lái)選擇如在第二已分割視圖中顯示的該圖像數(shù)據(jù)的一個(gè)或多個(gè)分段。這個(gè)方法可以在創(chuàng)建深度圖時(shí)被使用。在這種情形下，該過(guò)程還包括接收一個(gè)或多個(gè)深度用戶(hù)輸入，所述的或每個(gè)深度用戶(hù)輸入與各自的選擇用戶(hù)輸入有關(guān)；以及據(jù)此創(chuàng)建用于圖像數(shù)據(jù)的深度圖。
文檔編號(hào)G06T7/00GK102016917SQ200880121689
公開(kāi)日2011年4月13日 申請(qǐng)日期2008年12月15日 優(yōu)先權(quán)日2007年12月20日
發(fā)明者C·瓦雷坎普 申請(qǐng)人:皇家飛利浦電子股份有限公司