專利名稱：多媒體集成檢索裝置和多媒體集成檢索程序的存儲(chǔ)介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于在多媒體檢索中輔助用戶的技術(shù)。
背景技術(shù)：
已知的多媒體檢索技術(shù)包括文檔檢索技術(shù)，用于使用關(guān)鍵字作為搜索條件來(lái)檢 索文檔；相似圖像檢索技術(shù)，用于使用圖像作為搜索條件來(lái)檢索相似的圖像；以及音樂(lè)檢 索技術(shù)，用于使用哼唱(humming)作為搜索條件來(lái)檢索音樂(lè)的音樂(lè)檢索技術(shù)。這些技術(shù)在 以下論文中公開(kāi)由 KoujiKOMATSU、Keiei Ronsyu 投稿的 “Use of language Processing Techniquein Information Retrieval System”，pp. 105—144，Vol. 13，No. 1，2003 年 12 月； 由 Takemochi ISHII 撰寫的“Video Retrieval Technique IncreasingNeed thereof and Technical Innovation", Techno Current, No. 419,2006 ￥ 6 月 1 日；以 &由 Kazuhisa OONO、Yu SUZUKI 和 Kyoji KAWAG0E 撰寫的 “A Music Retrieval Method Based on Tendencies of Feature Valuethroughout A Music，，, Journal of the Database Society of Japan (DBSJ)，Vol. 7，No. 1，pp.233-238，2008。已知的多媒體檢索技術(shù)典型地允許檢索與作為搜索條件輸入的媒體同樣類型的 媒體。在本說(shuō)明書中，媒體統(tǒng)指文本、圖像、音樂(lè)等等。媒體中包括一種類型媒體的任何之 一被稱為單媒體，并且媒體中包括兩個(gè)或更多類型的媒體的任何之一被稱為組合媒體。例 如，包括圖像和音樂(lè)的運(yùn)動(dòng)圖像，包括文本和圖像的文檔，以及包括文本和圖像的Web頁(yè)都 稱為組合媒體。多媒體包括單媒體和組合媒體?，F(xiàn)在考慮使用關(guān)鍵字作為搜索條件檢索各種各樣的諸如圖像、音樂(lè)、運(yùn)動(dòng)圖像的 媒體的方法。檢索各種各樣的媒體也被稱為交叉媒體檢索。例如，執(zhí)行交叉媒體檢索的計(jì) 算機(jī)接收關(guān)鍵字輸入作為搜索條件，并經(jīng)過(guò)全文搜索提取任何包括該關(guān)鍵字的Web頁(yè)。然 后，交叉媒體檢索計(jì)算機(jī)輸出所提取的Web頁(yè)作為檢索結(jié)果。交叉媒體檢索起作用的前提 是包括在相同Web頁(yè)上的圖像和文本具有相似含義的概率高。例如，7-105070號(hào)日本未經(jīng) 審查的專利申請(qǐng)公報(bào)公開(kāi)了一種基于該前提的交叉媒體檢索技術(shù)。在典型的檢索處理中，搜索器可以分析檢索結(jié)果，使用新搜索條件執(zhí)行檢索操作， 并再次分析檢索結(jié)果。搜索器重復(fù)檢索操作直到獲得目標(biāo)信息。例如，在多媒體檢索處理 中，搜索器使用包括在根據(jù)先前的搜索操作獲得的Web頁(yè)中的圖像作為搜索條件重復(fù)進(jìn)行 檢索操作。在這種情況下，搜索器從該Web頁(yè)下載要用作搜索條件的圖像，將該圖像臨時(shí) 存儲(chǔ)在計(jì)算機(jī)上，然后輸入(即，加載)該下載的圖像作為新的搜索條件。如果檢索循環(huán) 的數(shù)目達(dá)到預(yù)定數(shù)目則可以管理并顯示搜索條件的歷史。這種技術(shù)公開(kāi)在以下文獻(xiàn)中 日本未經(jīng)審查的專利申請(qǐng)公報(bào) 6-301733 號(hào)；DegiYoung，Ben Shneiderman, "A graphicalfilter flow representation ofBoolean queries :A prototype implementation and evaluation，，，Journal ofthe American Society for Information Science, Vol. 44 (6), pp. 327-339,1993 ；Tomoyuki HANSAKI，Buntarou SHIZUKI，Kazuo MISUE，JiroTANAKA， "Visual Search Interface for Constructing Queries whiIeConfirming Results，，， The 19th Annual Conference of the Japanese Societyfor Artificial Intelligence， 2005 ；以及 Anselm Spoerri, "Visual searcheditor for composing meta searches”， Proceedings of the 67th AnnualMeeting of the American Society for Information Science and Technology，2004o

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一方面，一種多媒體集成檢索裝置，包括數(shù)據(jù)收集單元，經(jīng)由網(wǎng)絡(luò) 收集多個(gè)媒體數(shù)據(jù)；特征值提取單元，計(jì)算由數(shù)據(jù)收集單元收集的多件媒體數(shù)據(jù)中單媒體 數(shù)據(jù)的特征值，該特征值表示媒體類型；媒體信息存儲(chǔ)單元，與單媒體數(shù)據(jù)相關(guān)聯(lián)地存儲(chǔ)特 征值，并且將表示多個(gè)媒體數(shù)據(jù)中的多種媒體類型的組合媒體數(shù)據(jù)與包括在組合媒體數(shù)據(jù) 中的單媒體數(shù)據(jù)相關(guān)聯(lián)地存儲(chǔ)；檢索處理單元，訪問(wèn)媒體信息存儲(chǔ)單元，并且基于檢索指令 使用單媒體數(shù)據(jù)的特征值識(shí)別與單媒體數(shù)據(jù)相對(duì)應(yīng)的其它單媒體數(shù)據(jù)；檢索控制單元，從 用戶接收檢索單媒體數(shù)據(jù)的檢索指令，生成第一結(jié)構(gòu)體數(shù)據(jù)，第一結(jié)構(gòu)體數(shù)據(jù)包括指示單 媒體數(shù)據(jù)的第一節(jié)點(diǎn)、指示另一單媒體數(shù)據(jù)的第二節(jié)點(diǎn)以及將第一節(jié)點(diǎn)連接到第二節(jié)點(diǎn)的 第一鏈接，引用媒體信息存儲(chǔ)單元以確定是否存在包括另一單媒體數(shù)據(jù)的另一組合媒體數(shù) 據(jù)，并且，如果存在另一組合媒體數(shù)據(jù)，則組合媒體生成第二結(jié)構(gòu)體數(shù)據(jù)，第二結(jié)構(gòu)體數(shù)據(jù) 包括指示另一組合媒體數(shù)據(jù)的第三節(jié)點(diǎn)、將第三節(jié)點(diǎn)連接到第二節(jié)點(diǎn)的第二鏈接，以及第 一結(jié)構(gòu)體數(shù)據(jù)；以及顯示單元，顯示第二結(jié)構(gòu)體數(shù)據(jù)。本發(fā)明的目的和優(yōu)點(diǎn)將通過(guò)在權(quán)利要求中特別指出的元素和組合實(shí)現(xiàn)并獲得?？梢岳斫馍衔牡囊话阏f(shuō)明和下文的詳細(xì)說(shuō)明都是示例性和說(shuō)明性的并不是發(fā)明 的約束，正如所主張的那樣。



圖13A是多媒體集成檢索處理的流程圖，且圖13B是圖13A的流程圖的延續(xù)。圖14是檢索處理的流程圖。圖15是組合媒體提取處理的流程圖。圖16是展開(kāi)處理的流程圖。圖17A是“與”檢索處理的流程圖，且圖17B是圖17A的流程圖的延續(xù)。圖18是檢索屏幕顯示處理的流程圖。圖19是增強(qiáng)顯示處理的流程圖。圖20A到圖20C示出實(shí)施例的第一屏幕轉(zhuǎn)換過(guò)程。圖21示出實(shí)施例的第二屏幕轉(zhuǎn)換過(guò)程。圖22A到圖22C示出實(shí)施例的第三屏幕轉(zhuǎn)換過(guò)程。圖23A到圖23C示出實(shí)施例的第四屏幕轉(zhuǎn)換過(guò)程。圖24A和圖24B示出實(shí)施例的第五屏幕轉(zhuǎn)換過(guò)程。圖25A到圖25C示出實(shí)施例的第一增強(qiáng)顯示屏幕。圖26示出實(shí)施例的第二增強(qiáng)顯示屏幕。圖27A到圖27C示出實(shí)施例的第三增強(qiáng)顯示屏幕。圖28是計(jì)算機(jī)的功能框圖。
具體實(shí)施例方式如果重復(fù)檢索操作，則搜索者可能希望放寬過(guò)去的搜索條件。該搜索者可以設(shè)置 回顧過(guò)去的檢索結(jié)果的下一個(gè)搜索條件。該搜索條件和檢索結(jié)果被適當(dāng)?shù)爻尸F(xiàn)給搜索者。 例如，搜索者可能在搜索操作中間對(duì)針對(duì)設(shè)置為搜索條件的圖像獲得了什么搜索條件和檢 索結(jié)果變得迷惑。該搜索者可能無(wú)法認(rèn)出包括搜索條件和檢索結(jié)果的一系列搜索步驟。本發(fā)明的發(fā)明人已經(jīng)開(kāi)發(fā)了允許搜索者容易地掌握多媒體檢索處理中的檢索流 程的技術(shù)。參照?qǐng)D1至圖4A到圖4C，下面描述該技術(shù)的實(shí)施例。圖1示出多媒體檢索處理。 如圖1所示，作為搜索者的用戶操作個(gè)人計(jì)算機(jī)(PC)，并輸入搜索條件A(例如，圖1中的 圖像101和關(guān)鍵字“超級(jí)移動(dòng)PC”)以執(zhí)行檢索處理。用戶檢查作為檢索處理結(jié)果獲得的 Web頁(yè)110。該用戶下載圖像102，然后將圖像102臨時(shí)存儲(chǔ)在PC上。然后，用戶輸入圖像 102和關(guān)鍵字“超級(jí)移動(dòng)PC”作為搜索條件B，并再一次執(zhí)行檢索處理。用戶重復(fù)檢索處理 直到得到期望的信息。用戶可能希望通過(guò)返回到過(guò)去的搜索點(diǎn)之一放寬過(guò)去的搜索條件。為了滿足這種 期望，可以如圖2所示的相關(guān)技術(shù)中那樣，將搜索條件的歷史可視化。在檢索操作的重復(fù)期 間，用戶可能忘記包含在搜索條件B中的圖像102的來(lái)源，在該例子中是Web頁(yè)110。用戶 因此忘記為什么搜索條件A已經(jīng)更新為搜索條件B。僅僅是搜索條件歷史可能并不足以使 用戶掌握檢索步驟鏈。根據(jù)該實(shí)施例，在圖3和圖4A到圖4C中示出的結(jié)構(gòu)體顯示在由用戶操作的PC的 顯示器上。根據(jù)該實(shí)施例，使作為搜索條件的單媒體的來(lái)源能夠被認(rèn)出，以便用戶可以掌握 檢索步驟的流程。圖3示出組合媒體和包括在組合媒體中的單媒體之間的包含關(guān)系的例子。參照?qǐng)D
73，節(jié)點(diǎn)A是組合媒體A，并且節(jié)點(diǎn)Al至A5分別是單媒體Al至A5。同樣在圖3中，帶箭頭 的虛線示出組合媒體A包括單媒體Al至A5的包含關(guān)系。根據(jù)該實(shí)施例，如隨后將詳細(xì)描 述的，基于彈簧模型(spring model)顯示該結(jié)構(gòu)體?？梢曰谙嚓P(guān)技術(shù)產(chǎn)生彈簧模型。例如，在 Peter Eades 的"A Heuristics for Graph Drawing，，，Congressus Numerantium, Vol. 42，pp. 149-160，1984中公開(kāi)了一種技術(shù)。這種技術(shù)可以用于產(chǎn)生彈簧 模型。圖4A示出屏幕的例子，其中，用關(guān)鍵字⑴作為搜索條件執(zhí)行檢索操作。在圖4A 到圖4C中，每個(gè)帶箭頭的實(shí)線代表搜索條件和搜索結(jié)果之間的對(duì)應(yīng)關(guān)系。參照?qǐng)D4A，關(guān)鍵 字(1)的搜索結(jié)果是單媒體A4、單媒體B、單媒體C、單媒體D和單媒體E。隨后要討論的操作使得圖4B所示屏幕代替圖4A所示屏幕，在圖4B所示屏幕中， 顯示包括單媒體A4的組合媒體A。參照?qǐng)D4B，還顯示了包括在組合媒體A中的單媒體Al、 單媒體A2、單媒體A3和單媒體A5。圖4B中所示屏幕被圖4C中所示屏幕代替，其中，使用單媒體A3作為搜索條件再 一次執(zhí)行檢索操作。參照?qǐng)D4C，單媒體F、單媒體G和單媒體H是針對(duì)單媒體A3的檢索結(jié) 果。例如，如果將圖4C中所示結(jié)構(gòu)體顯示給用戶，則用戶可以容易地得知單媒體A3源自組 合媒體A。換句話說(shuō)，用戶可以容易地認(rèn)出搜索的流程。下面，作為本技術(shù)的一個(gè)實(shí)施例描 述多媒體集成檢索裝置3的處理。圖5是作為該技術(shù)的一個(gè)實(shí)施例的多媒體集成檢索裝置3的功能框圖。該多媒體 集成檢索裝置3包括數(shù)據(jù)收集單元31、檢索用戶接口單元32、媒體分析單元33、檢索處理單 元34、媒體信息存儲(chǔ)單元35和檢索結(jié)果存儲(chǔ)單元36。數(shù)據(jù)收集單元31經(jīng)由網(wǎng)絡(luò)1 (例如 因特網(wǎng))收集媒體數(shù)據(jù)，并將所收集的媒體數(shù)據(jù)輸出到媒體分析單元33。檢索用戶接口單 元32從用戶接收作為搜索條件的媒體數(shù)據(jù)或者特定的指令。然后，檢索用戶接口單元32 將媒體數(shù)據(jù)輸出到媒體分析單元33并將檢索指令輸出到檢索處理單元34。檢索用戶接口 單元32基于存儲(chǔ)在媒體信息存儲(chǔ)單元35和檢索結(jié)果存儲(chǔ)單元36上的數(shù)據(jù)，進(jìn)一步執(zhí)行處 理，以將上述結(jié)構(gòu)體顯示給用戶。當(dāng)從數(shù)據(jù)收集單元31和檢索用戶接口單元32之一接收 媒體數(shù)據(jù)時(shí)，媒體分析單元33執(zhí)行隨后論述的媒體分析處理。該媒體分析單元33將處理 結(jié)果存儲(chǔ)在媒體信息存儲(chǔ)單元35上。當(dāng)從檢索用戶接口單元32接收檢索指令時(shí)，檢索處 理單元34基于存儲(chǔ)在媒體信息存儲(chǔ)單元35上的數(shù)據(jù)執(zhí)行檢索處理。檢索處理單元34將 檢索結(jié)果存儲(chǔ)在檢索結(jié)果存儲(chǔ)單元36上。如圖6中所示，檢索用戶接口單元32包括檢索控制單元321、檢索歷史存儲(chǔ)單元 322以及顯示單元323。檢索控制單元321從用戶接收搜索條件或特定的指令。此外，檢索 控制單元321基于存儲(chǔ)在媒體信息存儲(chǔ)單元35和檢索結(jié)果存儲(chǔ)單元36上的數(shù)據(jù)，生成前 述的結(jié)構(gòu)體數(shù)據(jù)并將生成的數(shù)據(jù)存儲(chǔ)在檢索歷史存儲(chǔ)單元322上。使用檢索歷史存儲(chǔ)單元 322上存儲(chǔ)的結(jié)構(gòu)體數(shù)據(jù)，顯示單元323產(chǎn)生該結(jié)構(gòu)體的顯示數(shù)據(jù)，然后將顯示數(shù)據(jù)顯示給 用戶。 如圖7中所示，媒體分析單元33包括單媒體提取單元331和特征值提取單元332。 單媒體提取單元331從組合媒體中提取單媒體，并將提取的單媒體存儲(chǔ)在媒體信息存儲(chǔ)單 元35上。特征值提取單元332針對(duì)每件單媒體計(jì)算存儲(chǔ)在媒體信息存儲(chǔ)單元35上的單媒 體的單媒體特征值。特征值提取單元332將與單媒體相關(guān)聯(lián)的特征值存儲(chǔ)在媒體信息存儲(chǔ)單元35上。如圖8中所示，檢索處理單元34包括全文檢索單元341、相似圖像檢索單元342和 相似聲音檢索單元343。如果關(guān)鍵字或文本被作為搜索條件輸入，則全文檢索單元341基于 存儲(chǔ)在媒體信息存儲(chǔ)單元35上的數(shù)據(jù)執(zhí)行全文檢索處理。全文檢索單元341將檢索結(jié)果 存儲(chǔ)在檢索結(jié)果存儲(chǔ)單元36上。如果圖像被作為搜索條件輸入，則相似圖像檢索單元342 基于存儲(chǔ)在媒體信息存儲(chǔ)單元35上的數(shù)據(jù)執(zhí)行相似圖像檢索處理。然后，相似圖像檢索單 元342將檢索結(jié)果存儲(chǔ)在檢索結(jié)果存儲(chǔ)單元36上。如果哼唱或者聲音被作為搜索條件輸 入，則相似聲音檢索單元343基于存儲(chǔ)在媒體信息存儲(chǔ)單元35上的數(shù)據(jù)執(zhí)行相似聲音檢索 處理。然后，相似聲音檢索單元343將檢索結(jié)果存儲(chǔ)在檢索結(jié)果存儲(chǔ)單元36上。圖9A和圖9B示出存儲(chǔ)在媒體信息存儲(chǔ)單元35上的數(shù)據(jù)的例子。參照?qǐng)D9A，媒 體信息存儲(chǔ)單元35針對(duì)每件單媒體存儲(chǔ)單媒體的單媒體標(biāo)識(shí)(ID)、包括該單媒體的一件 組合媒體的組合媒體ID、單媒體的特征值、單媒體的類型(文本、圖像、聲音)和單媒體數(shù) 據(jù)。如果沒(méi)有包括該單媒體的組合媒體，則設(shè)置表明不存在包括該單一媒體的組合媒體的 數(shù)據(jù)。參照?qǐng)D9B，媒體信息存儲(chǔ)單元35還針對(duì)每件組合媒體存儲(chǔ)組合媒體的組合媒體ID 和組合媒體數(shù)據(jù)。圖10示出存儲(chǔ)在檢索結(jié)果存儲(chǔ)單元36上的數(shù)據(jù)的例子。參照?qǐng)D10，檢索結(jié)果存 儲(chǔ)單元36針對(duì)每件作為搜索條件的單媒體存儲(chǔ)該件單媒體的單媒體ID、檢索結(jié)果1、…、 檢索結(jié)果η。每一個(gè)檢索結(jié)果都包括檢索目標(biāo)媒體ID和相似性。作為對(duì)應(yīng)于搜索條件的檢 索結(jié)果的檢索目標(biāo)的一件單媒體的單媒體ID被設(shè)定在檢索目標(biāo)媒體ID中。相似性是指在 作為搜索條件的單媒體和作為檢索目標(biāo)的單媒體之間的相似度值。下面參考圖11至圖19描述多媒體集成檢索裝置3的處理。多媒體集成檢索裝置 3執(zhí)行在圖11中示出的多媒體檢索預(yù)處理。數(shù)據(jù)收集單元31經(jīng)由網(wǎng)絡(luò)1收集媒體數(shù)據(jù)并 將收集到的媒體數(shù)據(jù)輸出到媒體分析單元33 (圖11中的步驟Si)。在從數(shù)據(jù)收集單元31 接收到媒體數(shù)據(jù)時(shí)，媒體分析單元33識(shí)別未處理的媒體(步驟S3)。媒體分析單元33對(duì)識(shí) 別的媒體執(zhí)行媒體分析處理(步驟S5)。隨后說(shuō)明媒體分析處理。媒體分析單元33確定 是否處理了所有收集的媒體(步驟S7)。如果確定為不是所有收集的媒體都已處理(步驟 S7中為否)，則處理返回到步驟S3。如果確定為已經(jīng)處理了所有收集的媒體(步驟S7中為 是)，則處理結(jié)束。參考圖12描述媒體分析處理。圖12是媒體分析處理的流程圖。媒體分析單元33 中的單媒體提取單元331確定識(shí)別的媒體是否是單媒體(圖12中的步驟Sll)。如果確定 識(shí)別的媒體是單媒體(步驟Sll中為是)，則單媒體提取單元331將單媒體ID分配到每件 單媒體(步驟S12)。單媒體提取單元331將單媒體ID和單媒體的數(shù)據(jù)存儲(chǔ)在媒體信息存 儲(chǔ)單元35上(步驟S13)。如果所識(shí)別的媒體是單媒體，則單媒體提取單元331將表明不存 在組合媒體的數(shù)據(jù)存儲(chǔ)在媒體信息存儲(chǔ)單元35上。特征值提取單元332根據(jù)存儲(chǔ)在媒體信息存儲(chǔ)單元35上的單媒體數(shù)據(jù)計(jì)算該單 媒體的特征值(步驟S14)。特征值提取單元332將計(jì)算的與單媒體相關(guān)聯(lián)的特征值存儲(chǔ)在 媒體信息存儲(chǔ)單元35上(步驟S15)。如果單媒體是文本，則特征值提取單元332執(zhí)行詞法 分析處理，從而將文本分解為索引詞。特征值提取單元332通過(guò)詞頻-反文檔頻率(TF-IDF) 處理加權(quán)(weight)索引詞，從而得到特征值?？梢允褂糜?jì)算文本特征值的任何已知技術(shù)。例如，可以使用在題巨為“Use of Language ProcessingTechnique in Information Retrieval System”的論文中公開(kāi)的技術(shù)。如果單媒體是圖像，則可以提取諸如顏色或形狀的視覺(jué)特征值?？梢允?用任何已知的計(jì)算圖像特征值的技術(shù)。例如，可以使用在論文“VideoRetrieval Technique-Increasing Need thereof and Technical Irmovation，，中公開(kāi)白勺技術(shù)。可以 使用任何已知的計(jì)算聲音特征值的技術(shù)。例如，在題為“A Music Retrieval Method Based on Tendencies of Feature Valuethroughout A Music，，的ifet 中& Jf 的 *。聚 S15 之后，媒體分析處理結(jié)束。處理返回到圖11中的步驟S7。如果確定識(shí)別的媒體不是單媒體(步驟Sll中為否)，單媒體提取單元331將組合 媒體ID分配給該媒體(步驟S17)。單媒體提取單元331將該組合媒體的組合媒體ID和組 合媒體的數(shù)據(jù)存儲(chǔ)在媒體信息存儲(chǔ)單元35上(步驟S18)。單媒體提取單元331從組合媒 體中提取單媒體數(shù)據(jù)(步驟S19)。在這種情況下，單媒體提取單元331將組合媒體分解為 單媒體單元。在Web頁(yè)的情況下，單媒體提取單元331根據(jù)例如超文本標(biāo)記語(yǔ)言(HTML)標(biāo) 簽來(lái)分解Web頁(yè)。在文檔的情況下，單媒體提取單元331將文本分解為文本部分和圖像部 分以供提取。根據(jù)文本部分和圖像部分分級(jí)管理該文檔。在視頻的情況下，單媒體提取單 元331執(zhí)行已知的剪輯檢測(cè)處理并提取代表性的幀圖像。單媒體提取單元331分別對(duì)提取的各件單媒體中每一件分配單媒體ID(步驟 S20)。單媒體提取單元331將單媒體ID和單媒體數(shù)據(jù)彼此相關(guān)聯(lián)地存儲(chǔ)在媒體信息存儲(chǔ) 單元35上(步驟S21)。特征值提取單元332為存儲(chǔ)在媒體信息存儲(chǔ)單元35上的每一件單媒體數(shù)據(jù)計(jì)算 單媒體的特征值(步驟S22)。特征值提取單元332將計(jì)算出的特征值與單媒體數(shù)據(jù)相關(guān)聯(lián) 地存儲(chǔ)在媒體信息存儲(chǔ)單元35上(步驟S23)。單媒體的特征值計(jì)算處理與步驟S14中的 操作相同。媒介分析處理因此結(jié)束，并且處理返回到圖11中的步驟S7。通過(guò)步驟S17到S23中的處理，單媒體提取單元331將從組合媒體中提取的單媒 體存儲(chǔ)在媒體信息存儲(chǔ)單元35上。如圖3所示，多媒體集成檢索裝置3可以因此將組合媒 體和單媒體之間的包含關(guān)系可視化。如圖13A和圖13B所示，描述了實(shí)施例的多媒體集成檢索處理。用戶操作多媒體 集成檢索裝置3，從而在顯示單元323上顯示的檢索屏幕(未示出)上輸入作為搜索條件的 一件單媒體。用戶操作鍵盤輸入關(guān)鍵字。用戶操作鼠標(biāo)拖放存儲(chǔ)在特定文件夾中的單媒體 數(shù)據(jù)(諸如圖像文件或聲音文件)。用戶操作鼠標(biāo)和/或鍵盤適當(dāng)?shù)剌斎霗z索指令、組合媒體顯示指令、展開(kāi)顯示指 令、收縮顯示指令和/或“與”檢索指令。例如，用戶通過(guò)左鍵點(diǎn)擊檢索屏幕上的作為搜索 條件的單媒體的節(jié)點(diǎn)來(lái)輸入檢索指令。檢索指令包括選定的單媒體的ID。例如，用戶例如 通過(guò)在檢索屏幕上右鍵點(diǎn)擊要顯示的單媒體的節(jié)點(diǎn)來(lái)輸入組合媒體顯示指令。組合媒體顯 示指令包括選定單媒體的單媒體ID。例如，用戶通過(guò)左鍵點(diǎn)擊要在檢索屏幕上顯示的組合 媒體的節(jié)點(diǎn)來(lái)輸入展開(kāi)顯示指令。展開(kāi)顯示指令包括選定組合媒體的ID。例如，用戶通過(guò) 右鍵點(diǎn)擊要在檢索屏幕上折疊的單媒體節(jié)點(diǎn)來(lái)輸入收縮顯示指令。收縮顯示指令包括選定 的單媒體的ID。例如，用戶通過(guò)將要進(jìn)行“與”檢索的單媒體的節(jié)點(diǎn)拖到彼此靠近，在檢索 屏幕上輸入“與”檢索指令。該“與”檢索指令包括要進(jìn)行“與”檢索的各單媒體的ID。
檢索用戶接口單元32中的檢索控制單元321接收來(lái)自用戶的指令(圖13A中的 步驟S31)。檢索用戶接口單元32確定接收的指令是否是檢索指令(步驟S32)。如果接收 的指令是檢索指令(步驟S32中為是)，則檢索控制單元321將包括在檢索指令中的單媒體 ID輸出到檢索處理單元34。當(dāng)從檢索控制單元321接收到單媒體ID時(shí)，檢索處理單元34 對(duì)存儲(chǔ)在媒體信息存儲(chǔ)單元35上的數(shù)據(jù)執(zhí)行檢索處理(步驟S33)。當(dāng)檢索處理完成時(shí)，將關(guān)于在檢索處理中提取的單媒體的信息從檢索處理單元34 傳輸?shù)綑z索控制單元321。檢索控制單元321從檢索處理單元34接收關(guān)于單媒體的信息。檢索控制單元321把通過(guò)檢索處理提取的單媒體的節(jié)點(diǎn)加到存儲(chǔ)在檢索歷史存 儲(chǔ)單元322上的結(jié)構(gòu)體中(步驟S34)。檢索控制單元321把鏈接加到結(jié)構(gòu)體中，該鏈接將 具有在檢索指令中包括的單媒體ID的單媒體的節(jié)點(diǎn)連接到在步驟S34中所加的節(jié)點(diǎn)(步 驟S35)。如此產(chǎn)生的新的結(jié)構(gòu)體被登記在檢索歷史存儲(chǔ)單元322上(步驟S36)。處理經(jīng)由入口點(diǎn)A進(jìn)行到步驟S49 (圖13B)。如果沒(méi)有接收到檢索指令(步驟S32中為否)，檢索控制單元321確定接收的指 令是否是組合媒體顯示指令(步驟S37)。如果接收的指令是組合媒體顯示指令(步驟S37 中為是)，檢索控制單元321基于存儲(chǔ)在媒體信息存儲(chǔ)單元35上的數(shù)據(jù)執(zhí)行組合媒體提取 處理(步驟S39)。如果該組合媒體包括在組合媒體顯示指令中指定的某件單媒體，則組合 媒體提取處理包括提取組合媒體。組合媒體提取處理還包括把提取的組合媒體的節(jié)點(diǎn)加 到當(dāng)前結(jié)構(gòu)體中，并在檢索歷史存儲(chǔ)單元322上登記新結(jié)構(gòu)體的數(shù)據(jù)。組合媒體提取處理 在下文詳細(xì)描述。處理經(jīng)由入口點(diǎn)A進(jìn)行到步驟S49(圖13B)。如果接收到的指令不是組合媒體顯示指令(步驟S37中為否)，檢索控制單元321 確定接收到的指令是否是展開(kāi)顯示指令(步驟S40)。如果接收到的指令是展開(kāi)顯示指令 (步驟S40中為是)，則檢索控制單元321基于存儲(chǔ)在媒體信息存儲(chǔ)單元35上的數(shù)據(jù)執(zhí)行 展開(kāi)處理(步驟S41)。展開(kāi)處理包括提取在展開(kāi)顯示指令中指定的組合媒體中包括的單 媒體。展開(kāi)處理還包括把提取的單媒體的節(jié)點(diǎn)加到當(dāng)前結(jié)構(gòu)體中，并在檢索歷史存儲(chǔ)單 元322上登記新結(jié)構(gòu)體的數(shù)據(jù)。隨后詳細(xì)地描述該處理。處理經(jīng)由入口點(diǎn)A進(jìn)行到步驟 S49(圖 13B)。如果接收到的指令不是展開(kāi)顯示指令(步驟S40中為否)，檢索控制單元321確定 接收到的指令是否是收縮顯示指令(步驟S42)。如果接收到的指令是收縮顯示指令(步 驟S42中為是)，則檢索控制單元321刪除在收縮顯示指令中指定的單媒體的節(jié)點(diǎn)(步驟 S43)。然后，檢索控制單元321將刪除操作之后的結(jié)構(gòu)體數(shù)據(jù)作為新的結(jié)構(gòu)體數(shù)據(jù)登記在 檢索歷史存儲(chǔ)單元322上(步驟S44)。處理經(jīng)由入口點(diǎn)A進(jìn)行到步驟S49(圖13B)。如果接收到的指令不是收縮顯示指令(步驟S42中為否)，則檢索控制單元321確 定該接收到的指令是否是“與”檢索指令(步驟S45)。如果接收到的指令是“與”檢索指令 (步驟S45中為是)，檢索控制單元321基于存儲(chǔ)在媒體信息存儲(chǔ)單元35和檢索歷史存儲(chǔ) 單元322上的數(shù)據(jù)執(zhí)行“與”檢索處理(步驟S46)。如果如下文所述存在公共組合媒體，則 該“與”檢索處理包括提取公共組合媒體?！芭c”檢索處理還包括將提取的公共組合媒體加 到當(dāng)前結(jié)構(gòu)體，并將新結(jié)構(gòu)體的數(shù)據(jù)登記在檢索歷史存儲(chǔ)單元322上。該處理在下文中詳 細(xì)描述。處理經(jīng)由入口點(diǎn)A進(jìn)行到步驟49 (圖13B)。如果接收到的指令不是“與”檢索指令(步驟S45中為否)，處理經(jīng)由入口點(diǎn)A進(jìn)
11行到步驟S49(圖13B)。在圖13B中通過(guò)入口點(diǎn)A進(jìn)入，檢索用戶接口單元32中的顯示單元323基于存儲(chǔ) 在檢索歷史存儲(chǔ)單元322上的數(shù)據(jù)執(zhí)行檢索屏幕顯示處理(圖13B中的步驟S49)。檢索屏 幕顯示處理包括根據(jù)彈簧模型生成結(jié)構(gòu)顯示數(shù)據(jù)，并把結(jié)構(gòu)顯示數(shù)據(jù)顯示給用戶。該處理 在下文詳細(xì)描述。檢索控制單元32確定是否已經(jīng)從用戶接收到新的指令(步驟S51)。如果已經(jīng)接 收到新的指令(步驟S51中為是)，則處理經(jīng)由入口點(diǎn)B返回步驟S32。如果沒(méi)有接收到新的指令(步驟S51中為否)，顯示單元323確定當(dāng)前顯示的結(jié)構(gòu) 體的每個(gè)節(jié)點(diǎn)的位置是否已經(jīng)匯集到均衡位置(步驟S53)。在下文詳細(xì)描述均衡位置。如 果當(dāng)前顯示結(jié)構(gòu)體的每個(gè)節(jié)點(diǎn)的位置已經(jīng)匯集到均衡位置(步驟S53中為是)，處理終止。如果確定當(dāng)前顯示的結(jié)構(gòu)體的每個(gè)節(jié)點(diǎn)的位置沒(méi)有匯集到均衡位置(步驟S53中 為否)，則處理返回步驟S49。換句話說(shuō)，步驟S49將重復(fù)直到確定為當(dāng)前顯示的結(jié)構(gòu)體的 每個(gè)節(jié)點(diǎn)的位置已經(jīng)匯集到均衡位置。通過(guò)上述處理，用戶通過(guò)重復(fù)輸入檢索指令、組合媒體顯示指令、展開(kāi)顯示指令和 “與”檢索指令推進(jìn)檢索處理。通過(guò)觀察結(jié)構(gòu)體，用戶可以容易地掌握檢索處理的流程。由 于響應(yīng)于展開(kāi)顯示指令顯示包括在組合媒體中的單媒體，所以用戶可以容易地指定下一個(gè) 搜索條件。在下文參照?qǐng)D14A描述步驟S33(圖13A)中的檢索處理。檢索處理單元34基于 從檢索控制單元321接收的單媒體ID搜索媒體信息存儲(chǔ)單元35。檢索處理單元34檢索來(lái) 自媒體信息存儲(chǔ)單元35的關(guān)于指定為搜索條件的單媒體的信息。檢索處理單元34確定檢索的單媒體是否是文本(步驟S61)。如果檢索到的單媒體 是文本(步驟S61中為是)，則檢索處理單元34將具有作為搜索條件的單媒體的信息的全 文檢索指令輸出到全文檢索單元341。當(dāng)從檢索處理單元34接收到全文檢索指令時(shí)，全文 檢索單元341基于包括在全文檢索指令中的單媒體的信息執(zhí)行全文檢索處理(步驟S62)， 全文檢索單元341將檢索結(jié)果存儲(chǔ)在檢索結(jié)果存儲(chǔ)單元36上(步驟S63)。更具體地說(shuō)，該 全文檢索單元341基于作為搜索條件的單媒體的特征值從媒體信息存儲(chǔ)單元35提取與作 為搜索條件的單媒體文本相似的單媒體文本。全文檢索單元341將包括單媒體ID和針對(duì) 每件單媒體的相似度的檢索結(jié)果存儲(chǔ)在檢索結(jié)果存儲(chǔ)單元36上。全文檢索單元341提取 與作為搜索條件的單媒體文本的相似度值高于指定閾值的單媒體文本，或者如果單媒體按 相似度順序排序，則全文檢索單元341提取由高到低比指定等級(jí)高的單媒體。然后該處理 結(jié)束。如果確定指定為搜索條件的單媒體不是文本(步驟S61中為否)，檢索處理單元 34確定該單媒體是否是圖像(步驟S65)。如果該單媒體是圖像(步驟S65中為是)，檢索 處理單元34將具有關(guān)于作為搜索條件的單媒體的信息的相似圖像檢索指令輸出到相似圖 像檢索單元342。當(dāng)從檢索處理單元34接收到相似圖像檢索指令時(shí)，相似圖像檢索單元342 基于包括在相似圖像檢索指令中的單媒體的信息執(zhí)行相似圖像檢索處理(步驟S66)。相似 圖像檢索單元342將檢索結(jié)果存儲(chǔ)在檢索結(jié)果存儲(chǔ)單元36上(步驟S67)。更具體地說(shuō)，相 似圖像檢索單元342基于作為搜索條件的單媒體圖像的特征值從媒體信息存儲(chǔ)單元35提 取與作為搜索條件的單媒體圖像相似的單媒體圖像。相似圖像檢索單元342將包括單媒體
12ID和針對(duì)每件單媒體的相似度的檢索結(jié)果存儲(chǔ)在檢索結(jié)果存儲(chǔ)單元36上。相似圖像檢索 單元342提取與作為搜索條件的單媒體圖像的相似度值高于指定的閾值的單媒體圖像，或 者如果各單媒體按相似度順序排序，則相似圖像檢索單元342提取由高到低比指定等級(jí)高 的單媒體圖像。然后該處理結(jié)束。如果確定指定為搜索條件的單媒體不是圖像(步驟S65中為否)，則檢索處理單元 34確定該單媒體是否是聲音(步驟S69)。如果單媒體是聲音(步驟S69中為是)，檢索處 理單元34將具有關(guān)于作為搜索條件的單媒體的信息的相似聲音檢索指令輸出到相似聲音 檢索單元343。響應(yīng)于來(lái)自檢索處理單元34的相似聲音檢索指令，相似聲音檢索單元343 基于包括在相似聲音檢索指令中的單媒體的信息執(zhí)行相似聲音檢索處理(步驟S70)。相似 聲音檢索單元343將檢索結(jié)果存儲(chǔ)在檢索結(jié)果存儲(chǔ)單元36上(步驟S71)。更具體地說(shuō)，相 似聲音檢索單元343基于作為搜索條件的單媒體聲音的特征值從媒體信息存儲(chǔ)單元35提 取與作為搜索條件的單媒體聲音相似的單媒體聲音。相似聲音檢索單元343將包括單媒體 ID和針對(duì)每件單媒體的相似度的檢索結(jié)果存儲(chǔ)在檢索結(jié)果存儲(chǔ)單元36上。相似聲音檢索 單元343提取與作為搜索條件的單媒體聲音的相似度值高于指定的閾值的單媒體聲音，或 者如果各單媒體按相似度順序排序，則相似聲音檢索單元343提取由高到低比指定等級(jí)高 的單媒體聲音。然后該處理結(jié)束。如果確定為指定為搜索條件的單媒體不是聲音(步驟S69中為否)，該處理結(jié)束。通過(guò)上述處理，獲得響應(yīng)于搜索條件的檢索結(jié)果。參照?qǐng)D15，描述步驟S39(圖13A)中的組合媒體提取處理。檢索控制單元321響 應(yīng)于包括在組合媒體顯示指令中的單媒體的ID搜索媒體信息存儲(chǔ)單元35。檢索控制單元 321確定是否存在包括單媒體的組合媒體(圖15中的步驟S81)。更具體地說(shuō)，檢索控制單 元321確定對(duì)應(yīng)于該單媒體ID的組合媒體ID是否存儲(chǔ)在媒體信息存儲(chǔ)單元35中。如果 確定存在包括組合媒體顯示指令中包括的單媒體的組合媒體(步驟S81中為是)，則檢索控 制單元321把組合媒體的節(jié)點(diǎn)加到存儲(chǔ)在檢索歷史存儲(chǔ)單元322上的當(dāng)前結(jié)構(gòu)體中(步驟
582)。檢索控制單元321增加將單媒體的節(jié)點(diǎn)連接到增加的組合媒體的節(jié)點(diǎn)的鏈接(步驟
583)。增加之后的結(jié)構(gòu)體數(shù)據(jù)作為新結(jié)構(gòu)體的數(shù)據(jù)登記在檢索歷史存儲(chǔ)單元322上(步驟
584)。從而處理結(jié)束。如果確定不存在包括由組合媒體顯示指令指定的單媒體的組合媒體(步驟S81中 為否)，該處理結(jié)束。通過(guò)上述處理，顯示出由組合媒體顯示指令指定的包括單媒體的組合媒體的節(jié)點(diǎn)。參照?qǐng)D16，在下面描述步驟S41(圖13A)中的展開(kāi)處理。檢索控制單元321基于 包括在展開(kāi)顯示指令中的組合媒體ID搜索媒體信息存儲(chǔ)單元35。檢索控制單元321識(shí)別 包括在組合媒體中的單媒體(圖16中的步驟S91)。檢索控制單元321將所識(shí)別的單媒體的節(jié)點(diǎn)加到存儲(chǔ)在檢索歷史存儲(chǔ)單元322上 的當(dāng)前結(jié)構(gòu)體中(步驟S92)。檢索控制單元321增加將組合媒體的節(jié)點(diǎn)連接到增加的節(jié)點(diǎn) 的鏈接(步驟S93)。將增加之后的結(jié)構(gòu)體數(shù)據(jù)作為新結(jié)構(gòu)體的數(shù)據(jù)登記在檢索歷史存儲(chǔ) 單元322上(步驟S94)。處理于是結(jié)束。在圖18的步驟S131中顯示更新的結(jié)構(gòu)體數(shù)據(jù)。 如果使用組合媒體中的單媒體作為新搜索條件再次執(zhí)行檢索操作，可以容易地掌握單媒體的起源。通過(guò)上述處理，顯示由展開(kāi)顯示指令指定的組合媒體中包括的單媒體的節(jié)點(diǎn)。更 具體地說(shuō)，上述處理使組合媒體和包括在該組合媒體中的單媒體之間的包含關(guān)系可視化。下面參考圖17A與17B描述步驟S46(圖13A)中的“與”檢索處理。檢索控制單元 321識(shí)別由“與”檢索指令指定的第一件單媒體和第二件單媒體(圖17A中的步驟S101)。 檢索控制單元321從存儲(chǔ)在檢索歷史存儲(chǔ)單元322上的當(dāng)前結(jié)構(gòu)體中識(shí)別一件單媒體作為 第一件單媒體的檢索處理結(jié)果，并提取所識(shí)別的單媒體的節(jié)點(diǎn)作為第一節(jié)點(diǎn)(步驟S103)。 檢索控制單元321從當(dāng)前結(jié)構(gòu)體中識(shí)別一件單媒體作為第二件單媒體的檢索處理結(jié)果，并 提取所識(shí)別單媒體的節(jié)點(diǎn)作為第二節(jié)點(diǎn)(步驟S105)。檢索控制單元321確定是否存在公共組合媒體(步驟S107)。公共組合媒體包括 與第一節(jié)點(diǎn)相關(guān)的單媒體和與第二節(jié)點(diǎn)相關(guān)的單媒體。如果確定存在公共組合媒體(步驟 S107中為是)，檢索控制單元321將公共組合媒體的節(jié)點(diǎn)增加到存儲(chǔ)在檢索歷史存儲(chǔ)單元 322上的當(dāng)前結(jié)構(gòu)體中(步驟S108)。檢索控制單元321增加將第一節(jié)點(diǎn)連接到公共組合 媒體的節(jié)點(diǎn)的鏈接以及把第二節(jié)點(diǎn)連接到公共組合媒體的節(jié)點(diǎn)的鏈接(步驟S109)。檢索 控制單元321在檢索歷史存儲(chǔ)單元322上登記新的結(jié)構(gòu)體數(shù)據(jù)(步驟S110)。處理經(jīng)由入 口點(diǎn)C進(jìn)行到步驟Slll。如果確定為不存在公共組合媒體(步驟S107中為否)，處理經(jīng)由入口點(diǎn)C進(jìn)行到 步驟 Slll (圖 17B)。如圖17B所示，檢索控制單元321確定與第一節(jié)點(diǎn)相關(guān)的單媒體是否匹配與第二 節(jié)點(diǎn)相關(guān)的單媒體(步驟S111)。更具體地說(shuō)，檢索控制單元321搜索媒體信息存儲(chǔ)單元 35以確定這些單媒體ID是否彼此相似。如果確定與第一節(jié)點(diǎn)相關(guān)的單媒體匹配與第二節(jié) 點(diǎn)相關(guān)的單媒體(步驟Slll中為是)，檢索控制單元321把將第一節(jié)點(diǎn)連接到第二節(jié)點(diǎn)的 鏈接設(shè)置為長(zhǎng)度為零的彈簧(步驟S112)。檢索控制單元321還將第一節(jié)點(diǎn)和第二節(jié)點(diǎn)之 間的推斥力設(shè)置為零(步驟S113)。上面描述的產(chǎn)生的新結(jié)構(gòu)體的數(shù)據(jù)被登記在檢索歷史 存儲(chǔ)單元322上(步驟S114)。處理于是結(jié)束。該彈簧隨后進(jìn)一步討論。因?yàn)閷⒌谝还?jié)點(diǎn) 連接到第二節(jié)點(diǎn)的彈簧長(zhǎng)度是零，所以當(dāng)直觀顯示第一和第二節(jié)點(diǎn)時(shí)，這兩個(gè)節(jié)點(diǎn)被顯示 為單個(gè)節(jié)點(diǎn)。如果確定為與第一節(jié)點(diǎn)相關(guān)的單媒體和與第二節(jié)點(diǎn)相關(guān)的單媒體不匹配(步驟 Slll中為否)，處理結(jié)束。通過(guò)上述處理，在圖18的步驟S131中，多媒體集成檢索裝置3顯示包括作為第一 單媒體檢索處理的結(jié)果的單媒體和作為第二單媒體檢索處理的結(jié)果的單媒體的公共組合 媒體。用戶可以容易地掌握檢索結(jié)果之間的關(guān)系。在圖18的步驟S131中，如果作為第一 單媒體檢索處理的結(jié)果的單媒體與作為第二單媒體檢索處理的結(jié)果的單媒體非常相似或 相同，則多媒體集成檢索裝置3顯示這些節(jié)點(diǎn)，使得這兩個(gè)節(jié)點(diǎn)逐漸彼此接近。與兩個(gè)節(jié)點(diǎn) 以覆蓋方式直接顯示為一個(gè)節(jié)點(diǎn)的情況相比較，用戶可以更加容易地掌握這兩個(gè)節(jié)點(diǎn)的關(guān) 系。在圖18示出的步驟S131中，由于在特定彈簧模型中連接這些節(jié)點(diǎn)的彈簧長(zhǎng)度為零，多 媒體集成檢索裝置3可以在視頻中顯示這些逐漸接近彼此的節(jié)點(diǎn)。參照?qǐng)D18，描述步驟S49(圖13B)中的檢索屏幕顯示處理。在該實(shí)施例中彈簧模 型用來(lái)增加結(jié)構(gòu)體的可見(jiàn)性。上述已知的技術(shù)被用于產(chǎn)生彈簧模型。
14
顯示單元323識(shí)別在要顯示的結(jié)構(gòu)體中的每個(gè)節(jié)點(diǎn)的坐標(biāo)(圖18中的步驟121)。 顯示單元323計(jì)算這些節(jié)點(diǎn)之間的推斥力和吸引力(步驟S123)。顯示單元323根據(jù)計(jì)算 出的推斥力和吸引力計(jì)算節(jié)點(diǎn)的合力。顯示單元323根據(jù)節(jié)點(diǎn)的合力確定每個(gè)節(jié)點(diǎn)的位置 的坐標(biāo)(步驟S124)。顯示單元323產(chǎn)生結(jié)構(gòu)體的顯示數(shù)據(jù)，其中每個(gè)節(jié)點(diǎn)位于坐標(biāo)處，然 后將顯示數(shù)據(jù)存儲(chǔ)在臨時(shí)存儲(chǔ)設(shè)備上(步驟S125)。如果單媒體是圖像，則可以將圖像的縮 略圖作為節(jié)點(diǎn)顯示，并且如果單媒體是文檔，則可以將文檔的圖標(biāo)作為節(jié)點(diǎn)顯示。顯示單元323確定是否要執(zhí)行增強(qiáng)顯示(步驟S127)。例如是否要執(zhí)行增強(qiáng)顯示 可以由用戶預(yù)置。如果確定不執(zhí)行增強(qiáng)顯示(步驟S127中為否)，處理進(jìn)行到步驟S131。 如果確定要執(zhí)行增強(qiáng)顯示(步驟S127中為是)，顯示單元323執(zhí)行增強(qiáng)顯示處理(步驟 S129)。隨后詳細(xì)描述增強(qiáng)顯示處理。顯示單元323顯示存儲(chǔ)在臨時(shí)存儲(chǔ)設(shè)備上的結(jié)構(gòu)體 顯示數(shù)據(jù)(步驟S131)。從而處理結(jié)束。通過(guò)上述處理，在圖18的步驟S131中，多媒體集成檢索裝置3將這些節(jié)點(diǎn)顯示為 彼此相距一定距離。用戶可以以更高的可視性觀察結(jié)構(gòu)體。多媒體集成檢索裝置3可以靈 活地響應(yīng)節(jié)點(diǎn)數(shù)量的增加。參照?qǐng)D19描述增強(qiáng)顯示處理。顯示單元323從包括在結(jié)構(gòu)體顯示數(shù)據(jù)中的節(jié)點(diǎn) 中識(shí)別未經(jīng)處理的節(jié)點(diǎn)。顯示單元323識(shí)別這些未經(jīng)處理的節(jié)點(diǎn)的媒體(圖19中的步驟 S141)。顯示單元323確定所識(shí)別的媒體是否是組合媒體(步驟S143)。如果確定未經(jīng)處理 的媒體是組合媒體(步驟S143中為是)，顯示裝置323確定是否已經(jīng)接收到將組合媒體作 為所識(shí)別媒體顯示的展開(kāi)顯示指令(步驟S145)。如果確定沒(méi)有接收到所識(shí)別的媒體的展 開(kāi)顯示指令(步驟S145中為否)，則處理進(jìn)行到步驟S161。如果確定已經(jīng)接收到所識(shí)別媒體的展開(kāi)顯示指令(步驟S145中為是)，顯示裝置 323識(shí)別第一節(jié)點(diǎn)組，其包括所識(shí)別節(jié)點(diǎn)的節(jié)點(diǎn)和包括在所識(shí)別媒體中的某件單媒體的節(jié) 點(diǎn)(步驟S147)。因?yàn)樗R(shí)別的媒體是組合媒體，所以所識(shí)別媒體包括多件單媒體。例如， 顯示單元323更新結(jié)構(gòu)體顯示數(shù)據(jù)，從而顯示圍繞第一節(jié)點(diǎn)組的輪廓，或者從而用第一顏 色增強(qiáng)由該輪廓圍繞的區(qū)域(步驟S149)。例如，可以用貝塞爾曲線繪制圍繞第一節(jié)點(diǎn)組的 輪廓。處理進(jìn)行到步驟S161。如果在步驟S143中確定所識(shí)別的媒體不是組合媒體(步驟S143中為否)，例如， 所識(shí)別的媒體是單媒體，則處理進(jìn)行到步驟S151。在步驟S151中，顯示單元323確定是否 存在單媒體作為使用所識(shí)別媒體作為搜索條件進(jìn)行檢索處理的結(jié)果。如果確定不存在單媒 體作為檢索處理結(jié)果(步驟S151中為否)，則處理進(jìn)行到步驟S161。如果確定存在單媒體作為檢索處理的結(jié)果(步驟S151中為是)，則顯示單元323 識(shí)別第二節(jié)點(diǎn)組，其包括所識(shí)別節(jié)點(diǎn)的節(jié)點(diǎn)和作為檢索處理結(jié)果的單媒體的節(jié)點(diǎn)(步驟 S153)。顯示單元323確定是否包括在第二節(jié)點(diǎn)組中的任何節(jié)點(diǎn)被連接到未展開(kāi)的組合媒 體的節(jié)點(diǎn)(步驟S155)。如果確定包括在第二節(jié)點(diǎn)組中的節(jié)點(diǎn)連接到未展開(kāi)組合媒體的節(jié) 點(diǎn)(步驟S155中為是)，顯示單元323將未展開(kāi)組合媒體的節(jié)點(diǎn)加到第二節(jié)點(diǎn)組(步驟 S157)。如果確定包括在第二節(jié)點(diǎn)組中的節(jié)點(diǎn)不連接到未展開(kāi)組合媒體的一個(gè)節(jié)點(diǎn)(步驟 S155中為否)，處理進(jìn)行到步驟S159。例如，顯示單元323更新結(jié)構(gòu)體顯示數(shù)據(jù)，從而用輪廓圍繞第二節(jié)點(diǎn)組，或從而用 第二顏色增強(qiáng)被輪廓圍繞的區(qū)域(步驟S159)。例如，可以用貝塞爾曲線繪制圍繞第二節(jié)點(diǎn)組的輪廓。處理進(jìn)行到步驟S161。顯示單元323確定是否所有包括在結(jié)構(gòu)體顯示數(shù)據(jù)中的節(jié)點(diǎn)都已被處理(步驟 S161)。如果所有包括在結(jié)構(gòu)體顯示數(shù)據(jù)中的節(jié)點(diǎn)都沒(méi)有被處理(步驟S161中為否)，則處 理返回到步驟S141。如果所有包括在結(jié)構(gòu)體顯示數(shù)據(jù)中的節(jié)點(diǎn)都已經(jīng)被處理(步驟S161 中為是)，處理結(jié)束。通過(guò)上述處理，用戶可以更加容易地掌握作為搜索條件的單媒體和作為檢索處理 結(jié)果提取的單媒體之間的對(duì)應(yīng)關(guān)系，和單媒體與包括該單媒體的組合媒體之間的包含關(guān)系。圖20A到圖20C至圖26示出根據(jù)本實(shí)施例的屏幕轉(zhuǎn)換例子和增強(qiáng)顯示屏幕例子。 圖20A到圖20C與圖21示出對(duì)應(yīng)于檢索指令、組合媒體顯示指令和展開(kāi)顯示指令的屏幕轉(zhuǎn) 換例子。用戶可以輸入組合媒體作為搜索條件并輸入針對(duì)該組合媒體的展開(kāi)顯示指令。已 經(jīng)接收到展開(kāi)顯示指令的多媒體集成檢索裝置3顯示圖20A的屏幕。參照?qǐng)D20A，多媒體 集成檢索裝置3顯示組合媒體A的節(jié)點(diǎn)和包括在該組合媒體A中的各單媒體Al到A5的節(jié) 點(diǎn)ο用戶可以在圖20A的屏幕上輸入單媒體A3的檢索指令。接收到檢索指令的多媒 體集成檢索裝置3顯示圖20B的屏幕。參照?qǐng)D20B，將作為對(duì)單媒體A3的檢索處理結(jié)果提 取的單媒體B、單媒體C和單媒體D的各節(jié)點(diǎn)加入到圖20A的屏幕。用戶可以在圖20B的屏幕上輸入對(duì)于單媒體A2的檢索指令。接收到新的檢索指 令的多媒體集成檢索裝置3顯示圖20C的屏幕。提取單媒體E、單媒體F以及單媒體G作為 檢索結(jié)果。參照?qǐng)D20C，將單媒體E、單媒體F和單媒體G的各節(jié)點(diǎn)加到圖20B的屏幕上。用戶可以在圖20C的屏幕上輸入針對(duì)單媒體G的組合媒體顯示指令。接收到組合 媒體顯示指令的多媒體集成檢索裝置3顯示圖21的屏幕。把組合媒體X的節(jié)點(diǎn)加到圖20C 的屏幕上。圖22A到圖22C示出對(duì)應(yīng)于“與”檢索指令的屏幕轉(zhuǎn)換例子。用戶可以在圖22A的 屏幕上輸入針對(duì)單媒體A2和A3的“與”檢索指令。接收到“與”檢索指令的多媒體集成檢 索裝置3顯示圖22B的屏幕。組合媒體X包括單媒體B和單媒體G。參照?qǐng)D22B，將組合媒 體X加在圖22A的屏幕上。用戶可以在圖22B的屏幕上輸入展開(kāi)顯示指令。接收到展開(kāi)顯示指令的多媒體集 成檢索裝置3顯示圖22C的屏幕。除單媒體B和單媒體G之外，這里的組合媒體X還包括 單媒體XI、單媒體X2和單媒體X3。參照?qǐng)D22C，將單媒體Xl的節(jié)點(diǎn)、單媒體X2的節(jié)點(diǎn)和單 媒體X3的節(jié)點(diǎn)加到圖22B的屏幕上。圖23A和圖23B示出對(duì)應(yīng)于“與”檢索指令的另一個(gè)屏幕轉(zhuǎn)換例子。用戶可以在 圖23A的屏幕上輸入針對(duì)單媒體A2和A5的“與”檢索指令。已經(jīng)接收到該“與”檢索指令 的多媒體集成檢索裝置3顯示圖23B的屏幕。在此提取單媒體G、單媒體K和單媒體L作為
檢索結(jié)果。參照?qǐng)D23B，將連接單媒體G的各節(jié)點(diǎn)的線2401加到圖23A的屏幕上。由于各單 媒體G的各節(jié)點(diǎn)由長(zhǎng)度為零的彈簧連接，圖23A的屏幕按順序轉(zhuǎn)換為圖23C、圖24A和圖24B
的屏幕。多媒體集成檢索裝置3因此直觀顯示各單媒體的各節(jié)點(diǎn)如何彼此接近。最后，如圖24B中所示，把各單媒體G的各節(jié)點(diǎn)顯示為一個(gè)節(jié)點(diǎn)。示出為一個(gè)節(jié)點(diǎn)的各單媒體G被 分開(kāi)管理，例如，連接到單媒體A2的節(jié)點(diǎn)的一個(gè)和連接到單媒體A5的節(jié)點(diǎn)的另一個(gè)被分開(kāi)管理。例如，如果用戶雙擊單媒體A2，則多媒體集成檢索裝置3斷開(kāi)長(zhǎng)度為零的彈簧。通 過(guò)該操作，連接到單媒體A5的節(jié)點(diǎn)的單媒體G的節(jié)點(diǎn)此時(shí)在結(jié)構(gòu)體數(shù)據(jù)中顯示為兩個(gè)節(jié)
點(diǎn)ο圖25A到圖25C至圖27A到圖27C示出增強(qiáng)顯示屏幕轉(zhuǎn)換例子。圖25A到圖25C 示出分別加到圖20A到圖20C的屏幕的增強(qiáng)顯示效果。參照?qǐng)D25A，將輪廓2601加到圖20A 的屏幕。響應(yīng)于由用戶輸入的針對(duì)組合媒體A的展開(kāi)顯示指令，顯示輪廓2601。正如圖25A 中所示，輪廓2601圍繞組合媒體A的節(jié)點(diǎn)和包括在單媒體A中的各單媒體Al到A5的各節(jié)
點(diǎn)ο參照?qǐng)D25B，將輪廓2602 (虛線)增加到圖25A的屏幕。響應(yīng)于由用戶輸入的針對(duì) 單媒體A3的檢索指令顯示該輪廓2602。參照?qǐng)D25B，顯示輪廓2602，以圍繞單媒體A3的節(jié) 點(diǎn)以及作為對(duì)單媒體A3的檢索結(jié)果的各單媒體B、單媒體C和單媒體D的各節(jié)點(diǎn)。參照?qǐng)D 25C，進(jìn)一步將輪廓2603(虛線)加到圖25B的屏幕上。響應(yīng)于由用戶輸入的針對(duì)單媒體A2 的檢索指令顯示輪廓2603。顯示輪廓2603，以圍繞A2的節(jié)點(diǎn)以及作為對(duì)單媒體A2的檢索 結(jié)果的各單媒體E、單媒體F和單媒體G的各節(jié)點(diǎn)。圖26示出具有加在圖21的屏幕上的增強(qiáng)效應(yīng)的屏幕例子。參照?qǐng)D26，在圖21的 屏幕上進(jìn)一步添加輪廓2701、輪廓2702 (虛線)和輪廓2703 (虛線)。參照?qǐng)D26，響應(yīng)于由 用戶輸入的對(duì)單媒體G的組合媒體顯示指令顯示輪廓2703，以圍繞組合媒體X的節(jié)點(diǎn)。圖27A到圖27C示出具有分別加到圖22A到圖22C的屏幕的增強(qiáng)效果的屏幕例子。 正如圖27A所示，進(jìn)一步將輪廓2801、輪廓2802 (虛線)和輪廓2803 (虛線)加在圖22A的 屏幕上。正如圖27B所示，響應(yīng)于由用戶輸入的對(duì)單媒體A2和A3的檢索指令，在圖27A的 屏幕上分別顯示輪廓2802和輪廓2803圍繞組合媒體X。參照?qǐng)D27C，進(jìn)一步將輪廓2804加到圖27B的屏幕上。響應(yīng)于由用戶輸入的對(duì)組 合媒體X的展開(kāi)顯示指令顯示輪廓2804。正如圖27C中所示，顯示輪廓2804以圍繞組合媒體X的節(jié)點(diǎn)以及包括在組合媒體 X中的單媒體B、單媒體G、單媒體XI、單媒體X2和單媒體X3的各節(jié)點(diǎn)。響應(yīng)于由用戶輸入 的針對(duì)組合媒體X的展開(kāi)顯示指令，多媒體集成檢索裝置3顯示輪廓2802和輪廓2803外 面的組合媒體X的節(jié)點(diǎn)。已經(jīng)論述了該技術(shù)的實(shí)施例。該技術(shù)不局限于該實(shí)施例。例如，多媒體集成檢索 裝置3的功能框圖可能不必要對(duì)當(dāng)于實(shí)際的程序模塊結(jié)構(gòu)。上述數(shù)據(jù)結(jié)構(gòu)只是為了示例性目的進(jìn)行論述。數(shù)據(jù)結(jié)構(gòu)不局限于以上論述的一種 情況。屏幕例子只是出于示例性目的示出。可以使用呈現(xiàn)相似內(nèi)容的不同屏幕結(jié)構(gòu)。在上述處理流程中，如果處理結(jié)果保持不變，處理步驟可以按順序改變。上面描述 的處理步驟可以是并行執(zhí)行的。在以上討論中，多媒體集成檢索裝置3在輸入搜索條件之后等待后續(xù)指令。如果 單媒體被作為搜索條件輸入，則多媒體集成檢索裝置3可以在接收檢索指令之前執(zhí)行檢索 處理。如果組合媒體作為搜索條件輸入，則多媒體集成檢索裝置3可以在接收展開(kāi)顯示指
17令之前執(zhí)行展開(kāi)顯示處理。可以使用硬件結(jié)構(gòu)和程序?qū)崿F(xiàn)多媒體集成檢索裝置3。這種程序可以存儲(chǔ)在存儲(chǔ) 介質(zhì)以及存儲(chǔ)設(shè)備上，存儲(chǔ)介質(zhì)諸如是軟盤、CD-ROM、電光盤、半導(dǎo)體存儲(chǔ)器、硬盤等。中間 處理結(jié)果可以臨時(shí)存儲(chǔ)在記錄裝置上，例如主存儲(chǔ)器。如圖28所示，多媒體集成檢索裝置3包括存儲(chǔ)器2501 (記錄單元)、中央處理單元 (CPU) 2503 (處理器)、硬盤驅(qū)動(dòng)(HDD) 2505、連接到顯示器2509的顯示控制器2507、連接到 可移動(dòng)盤2511的驅(qū)動(dòng)2513、輸入單元2515、用于與網(wǎng)絡(luò)聯(lián)接的通信單元2517以及使這些 元件互聯(lián)的總線2519。包括操作系統(tǒng)(OS)和Web瀏覽器的應(yīng)用程序被存儲(chǔ)在HDD2505上。 當(dāng)由CPU 2503執(zhí)行應(yīng)用程序時(shí)，從HDD 2505將應(yīng)用程序讀取到存儲(chǔ)器2501。CPU 2503適 當(dāng)?shù)乜刂骑@示控制器2507、通信控制器2517以及驅(qū)動(dòng)2513。處理的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器2501 上。如有必要，處理的數(shù)據(jù)存儲(chǔ)在HDD 2505上。當(dāng)包括CPU 2503和存儲(chǔ)器2501的硬件結(jié) 構(gòu)與OS和應(yīng)用程序有機(jī)協(xié)作時(shí)，計(jì)算機(jī)執(zhí)行上面描述的各種處理。
權(quán)利要求
一種多媒體集成檢索裝置，包括數(shù)據(jù)收集單元，經(jīng)由網(wǎng)絡(luò)收集多個(gè)媒體數(shù)據(jù)；特征值提取單元，計(jì)算由所述數(shù)據(jù)收集單元收集的多個(gè)媒體數(shù)據(jù)中單媒體數(shù)據(jù)的特征值，所述特征值表示媒體類型；媒體信息存儲(chǔ)單元，與所述單媒體數(shù)據(jù)相關(guān)聯(lián)地存儲(chǔ)所述特征值，并且將表示所述多個(gè)媒體數(shù)據(jù)中的多個(gè)媒體類型的組合媒體數(shù)據(jù)與包括在所述組合媒體數(shù)據(jù)中的所述單媒體數(shù)據(jù)相關(guān)聯(lián)地存儲(chǔ)；檢索處理單元，訪問(wèn)所述媒體信息存儲(chǔ)單元，并且基于檢索指令使用所述單媒體數(shù)據(jù)的特征值識(shí)別與所述單媒體數(shù)據(jù)相對(duì)應(yīng)的其它單媒體數(shù)據(jù)；檢索控制單元，從用戶接收檢索所述單媒體數(shù)據(jù)的所述檢索指令，在第一生成操作中生成第一結(jié)構(gòu)體數(shù)據(jù)，所述第一結(jié)構(gòu)體數(shù)據(jù)包括指示所述單媒體數(shù)據(jù)的第一節(jié)點(diǎn)、指示所述另一單媒體數(shù)據(jù)的第二節(jié)點(diǎn)以及將所述第一節(jié)點(diǎn)連接到所述第二節(jié)點(diǎn)的第一鏈接，訪問(wèn)所述媒體信息存儲(chǔ)單元以確定是否存在包括所述另一單媒體數(shù)據(jù)的另一組合媒體數(shù)據(jù)，并且，如果存在所述另一組合媒體數(shù)據(jù)，則在第二生成操作中生成第二結(jié)構(gòu)體數(shù)據(jù)，所述第二結(jié)構(gòu)體數(shù)據(jù)包括指示所述另一組合媒體數(shù)據(jù)的第三節(jié)點(diǎn)、將所述第三節(jié)點(diǎn)連接到所述第二節(jié)點(diǎn)的第二鏈接，以及所述第一結(jié)構(gòu)體數(shù)據(jù)；以及顯示單元，顯示所述第二結(jié)構(gòu)體數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的多媒體集成檢索裝置，其中 所述顯示單元顯示所述第一結(jié)構(gòu)體數(shù)據(jù)；以及所述檢索控制單元從用戶接收顯示包括所述另一單媒體數(shù)據(jù)的所述另一組合媒體數(shù) 據(jù)的顯示指令，并且響應(yīng)于所述顯示指令在所述第二生成操作中生成所述第二結(jié)構(gòu)體數(shù) 據(jù)。
3.根據(jù)權(quán)利要求1所述的多媒體集成檢索裝置，其中所述檢索處理單元從用戶接收顯示所述其它組合媒體數(shù)據(jù)的展開(kāi)顯示指令，并且從所 述媒體信息存儲(chǔ)單元中提取包括在所述組合媒體數(shù)據(jù)中的內(nèi)含的單媒體數(shù)據(jù)；所述檢索控制單元生成第三結(jié)構(gòu)體數(shù)據(jù)，所述第三結(jié)構(gòu)體數(shù)據(jù)包括指示內(nèi)部單媒體數(shù) 據(jù)的第四節(jié)點(diǎn)、指示所述組合媒體數(shù)據(jù)的第五節(jié)點(diǎn)、將所述第四節(jié)點(diǎn)連接到所述第五節(jié)點(diǎn) 的第三鏈接，以及所述第二結(jié)構(gòu)體數(shù)據(jù)；以及 所述顯示單元顯示所述第三結(jié)構(gòu)體數(shù)據(jù)。
4.一種存儲(chǔ)多媒體集成搜索程序的存儲(chǔ)介質(zhì)設(shè)備，所述多媒體集成搜索程序使計(jì)算機(jī) 執(zhí)行經(jīng)由網(wǎng)絡(luò)收集多個(gè)媒體數(shù)據(jù)；計(jì)算在所述收集中收集的所述多件媒體數(shù)據(jù)中單媒體數(shù)據(jù)的特征值，所述特征值表示 媒體類型；將所述特征值與所述單媒體數(shù)據(jù)相關(guān)聯(lián)地存儲(chǔ)在媒體信息存儲(chǔ)單元中，所述媒體信息 存儲(chǔ)單元與包括在組合媒體數(shù)據(jù)中的所述單媒體數(shù)據(jù)相關(guān)聯(lián)地存儲(chǔ)所述組合媒體數(shù)據(jù)，所 述組合媒體數(shù)據(jù)表示所述多個(gè)媒體數(shù)據(jù)中的多個(gè)媒體類型； 從用戶接收檢索所述單媒體數(shù)據(jù)的檢索指令；訪問(wèn)所述媒體信息存儲(chǔ)單元，并且根據(jù)所述檢索指令使用所述單媒體數(shù)據(jù)的特征值識(shí)別與所述單媒體數(shù)據(jù)相對(duì)應(yīng)的另一單媒體數(shù)據(jù)；在第一生成操作中生成第一結(jié)構(gòu)體數(shù)據(jù)，所述第一結(jié)構(gòu)體數(shù)據(jù)包括指示所述單媒體數(shù) 據(jù)的第一節(jié)點(diǎn)、指示所述另一單媒體數(shù)據(jù)的第二節(jié)點(diǎn)以及將所述第一節(jié)點(diǎn)連接到所述第二 節(jié)點(diǎn)的第一鏈接；訪問(wèn)所述媒體信息存儲(chǔ)單元并確定是否存在包括所述另一單媒體數(shù)據(jù)的另一組合媒 體數(shù)據(jù)；如果存在所述另一組合媒體數(shù)據(jù)，則在第二生成操作中生成第二結(jié)構(gòu)體數(shù)據(jù)，所述第 二結(jié)構(gòu)體數(shù)據(jù)包括指示所述另一組合媒體數(shù)據(jù)的第三節(jié)點(diǎn)、將所述第三節(jié)點(diǎn)連接到所述第 二節(jié)點(diǎn)的第二鏈接，以及所述第一結(jié)構(gòu)體數(shù)據(jù)；以及 顯示所述第二結(jié)構(gòu)體數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的存儲(chǔ)介質(zhì)設(shè)備，其中，一種類型的單媒體數(shù)據(jù)包括文本數(shù)據(jù)、 圖像數(shù)據(jù)以及聲音數(shù)據(jù)之一，并且所述組合媒體數(shù)據(jù)包括所述各類型的單媒體數(shù)據(jù)的至少之二。
6.根據(jù)權(quán)利要求4所述的存儲(chǔ)介質(zhì)設(shè)備，其中，所述多媒體集成搜索程序使計(jì)算機(jī)進(jìn) 一步執(zhí)行在所述第一生成操作之后顯示所述第一結(jié)構(gòu)體數(shù)據(jù)；以及從用戶接收顯示包括所述另一單媒體數(shù)據(jù)的所述另一組合媒體數(shù)據(jù)的顯示指令。
7.根據(jù)權(quán)利要求4所述的存儲(chǔ)介質(zhì)設(shè)備，其中，所述多媒體集成搜索程序使所述計(jì)算 機(jī)進(jìn)一步執(zhí)行從用戶接收展開(kāi)所述組合媒體數(shù)據(jù)的顯示的展開(kāi)顯示指令；通過(guò)訪問(wèn)所述媒體信息存儲(chǔ)單元提取包括在所述組合媒體數(shù)據(jù)中的內(nèi)含的單媒體數(shù)據(jù)；在第三生成操作中，生成第三結(jié)構(gòu)體數(shù)據(jù)，所述第三結(jié)構(gòu)體數(shù)據(jù)包括指示內(nèi)含的單媒 體數(shù)據(jù)的第四節(jié)點(diǎn)、指示所述組合媒體數(shù)據(jù)的第五節(jié)點(diǎn)、將所述第四節(jié)點(diǎn)連接到所述第五 節(jié)點(diǎn)的第三鏈接，以及所述第二結(jié)構(gòu)體數(shù)據(jù)；以及 顯示所述第三結(jié)構(gòu)體數(shù)據(jù)。
8.一種存儲(chǔ)多媒體集成搜索程序的存儲(chǔ)介質(zhì)設(shè)備，使計(jì)算機(jī)執(zhí)行 經(jīng)由網(wǎng)絡(luò)收集多個(gè)媒體數(shù)據(jù)；計(jì)算所收集的所述多個(gè)媒體數(shù)據(jù)中單媒體數(shù)據(jù)的特征值，所述特征值表示媒體類型； 將所述特征值與所述單媒體數(shù)據(jù)相關(guān)聯(lián)地存儲(chǔ)在媒體信息存儲(chǔ)單元中，所述媒體信息 存儲(chǔ)單元與包括在組合媒體數(shù)據(jù)中的所述單媒體數(shù)據(jù)相關(guān)聯(lián)地存儲(chǔ)所述組合媒體數(shù)據(jù)，所 述組合媒體數(shù)據(jù)表示所述多個(gè)媒體數(shù)據(jù)中的多個(gè)媒體類型； 從用戶接收檢索第一單媒體數(shù)據(jù)的檢索指令；訪問(wèn)所述媒體信息存儲(chǔ)單元，并且在第一識(shí)別操作中，對(duì)應(yīng)于所述檢索指令，使用所述 第一單媒體數(shù)據(jù)的特征值識(shí)別與所述單媒體數(shù)據(jù)相對(duì)應(yīng)的第二單媒體數(shù)據(jù)； 從用戶接收檢索第三單媒體數(shù)據(jù)的另一檢索指令；訪問(wèn)所述媒體信息存儲(chǔ)單元，并在第二識(shí)別操作中，對(duì)應(yīng)于所述另一檢索指令，使用所 述第三單媒體數(shù)據(jù)的特征值識(shí)別與所述第三單媒體數(shù)據(jù)相對(duì)應(yīng)的第四單媒體數(shù)據(jù)；訪問(wèn)所述媒體信息存儲(chǔ)單元，并確定是否存在包括所述第二單媒體數(shù)據(jù)和所述第四單媒體數(shù)據(jù)的另一組合媒體數(shù)據(jù)；如果存在所述另一組合媒體數(shù)據(jù)，則生成結(jié)構(gòu)體數(shù)據(jù)，所述結(jié)構(gòu)體數(shù)據(jù)包括指示所 述第二單媒體數(shù)據(jù)的節(jié)點(diǎn)、指示所述第四單媒體數(shù)據(jù)的節(jié)點(diǎn)、指示所述另一組合媒體數(shù)據(jù) 的節(jié)點(diǎn)、將指示所述第二單媒體數(shù)據(jù)的節(jié)點(diǎn)連接到指示所述另一組合媒體數(shù)據(jù)的節(jié)點(diǎn)的鏈 接，以及將指示所述第四單媒體數(shù)據(jù)的節(jié)點(diǎn)連接到指示所述另一組合媒體數(shù)據(jù)的節(jié)點(diǎn)的鏈 接；以及顯示所述結(jié)構(gòu)體數(shù)據(jù)。
9.根據(jù)權(quán)利要求8所述的存儲(chǔ)介質(zhì)設(shè)備，其中，所述多媒體集成搜索程序使所述計(jì)算 機(jī)進(jìn)一步執(zhí)行在所述第二識(shí)別操作之后，生成其它結(jié)構(gòu)體數(shù)據(jù)，其包括指示所述第一單媒體數(shù)據(jù)的 節(jié)點(diǎn)、指示所述第二單媒體數(shù)據(jù)的節(jié)點(diǎn)、將指示所述第一單媒體數(shù)據(jù)的節(jié)點(diǎn)連接到指示所 述第二組合媒體數(shù)據(jù)的節(jié)點(diǎn)的第一鏈接、指示所述第三單媒體數(shù)據(jù)的節(jié)點(diǎn)、指示所述第四 單媒體數(shù)據(jù)的節(jié)點(diǎn)，以及將指示所述第三單媒體數(shù)據(jù)的節(jié)點(diǎn)連接到指示所述第四單媒體數(shù) 據(jù)的節(jié)點(diǎn)的第二鏈接；顯示所述其它結(jié)構(gòu)體數(shù)據(jù)；以及在第三接收操作中，接收對(duì)所述第二單媒體數(shù)據(jù)和所述第四單媒體數(shù)據(jù)進(jìn)行“與”檢索 的“與”檢索指令。
10.根據(jù)權(quán)利要求8所述的存儲(chǔ)介質(zhì)設(shè)備，其中，所述多媒體集成搜索程序使計(jì)算機(jī)進(jìn) 一步執(zhí)行當(dāng)顯示所述結(jié)構(gòu)體數(shù)據(jù)時(shí)，與所述結(jié)構(gòu)體數(shù)據(jù)一起顯示圍繞指示所述第一單媒體數(shù)據(jù) 的節(jié)點(diǎn)和指示所述第二單媒體數(shù)據(jù)的節(jié)點(diǎn)的輪廓。
11.根據(jù)權(quán)利要求8所述的存儲(chǔ)介質(zhì)設(shè)備，其中，所述多媒體集成搜索程序使所述計(jì)算 機(jī)進(jìn)一步執(zhí)行確定所述第二單媒體數(shù)據(jù)是否與所述第四單媒體數(shù)據(jù)相同；如果確定為所述第二單媒體數(shù)據(jù)與所述第四單媒體數(shù)據(jù)相同，在第二生成操作中，生 成其它結(jié)構(gòu)體數(shù)據(jù)，所述其它結(jié)構(gòu)體數(shù)據(jù)包括所述結(jié)構(gòu)體數(shù)據(jù)，以及將所述第二單媒體數(shù) 據(jù)的節(jié)點(diǎn)連接到所述第四媒體數(shù)據(jù)的節(jié)點(diǎn)的第三鏈接；以及在第二顯示操作中，顯示所述另一結(jié)構(gòu)體數(shù)據(jù)。
12.根據(jù)權(quán)利要求11所述的存儲(chǔ)介質(zhì)設(shè)備，其中，所述多媒體集成搜索程序使所述計(jì) 算機(jī)進(jìn)一步執(zhí)行在所述第二顯示操作中，將其它結(jié)構(gòu)體數(shù)據(jù)顯示為視頻，其隨時(shí)間縮短將所述第二單 媒體的節(jié)點(diǎn)連接到所述第四單媒體的節(jié)點(diǎn)的所述第三鏈接的長(zhǎng)度。
全文摘要
本發(fā)明提供一種多媒體集成檢索裝置和多媒體集成檢索程序的存儲(chǔ)介質(zhì)。多媒體集成檢索裝置包括特征值提取單元，計(jì)算單媒體數(shù)據(jù)的特征值；媒體信息存儲(chǔ)單元，存儲(chǔ)該特征值并與該單媒體數(shù)據(jù)相聯(lián)地存儲(chǔ)組合媒體數(shù)據(jù)；檢索處理單元，識(shí)別對(duì)應(yīng)于該單媒體數(shù)據(jù)的其它單媒體數(shù)據(jù)；檢索控制單元，生成結(jié)構(gòu)體數(shù)據(jù)，該結(jié)構(gòu)體數(shù)據(jù)包括指示單媒體數(shù)據(jù)的第一節(jié)點(diǎn)，指示另一單媒體數(shù)據(jù)的第二節(jié)點(diǎn)、將第一節(jié)點(diǎn)連接到第二節(jié)點(diǎn)的第一鏈接，如果存在包括該另一單媒體數(shù)據(jù)的另一組合媒體數(shù)據(jù)，則還包括指示另一組合媒體數(shù)據(jù)的第三節(jié)點(diǎn)以及將第三節(jié)點(diǎn)連接到第二節(jié)點(diǎn)的第二鏈接；以及顯示結(jié)構(gòu)體數(shù)據(jù)的顯示單元。
文檔編號(hào)G06F17/30GK101916251SQ201010155668
公開(kāi)日2010年12月15日 申請(qǐng)日期2010年3月25日 優(yōu)先權(quán)日2009年3月26日
發(fā)明者上原祐介, 增本大器, 椎谷秀一, 石原正樹, 遠(yuǎn)藤進(jìn), 長(zhǎng)田茂美, 馬場(chǎng)孝之 申請(qǐng)人:富士通株式會(huì)社