用于使用觸摸控制的基于圖像的搜索的技術(shù)的制作方法
【專利說(shuō)明】用于使用觸摸控制的基于圖像的搜索的技術(shù)
【背景技術(shù)】
[0001] 基于觸摸的設(shè)備，諸如智能電話、個(gè)人數(shù)字助理（PDA)和平板正越來(lái)越多地用于 多種多樣的任務(wù)。特別地，通過(guò)將屏幕用于輸入和輸出二者而使得可能的相對(duì)大的屏幕尺 寸已經(jīng)使得在基于觸摸的設(shè)備上觀看媒體成為實(shí)際且流行的。然而，之前使用鍵盤(pán)和/或 鼠標(biāo)執(zhí)行的任務(wù)在基于觸摸的設(shè)備上可能沒(méi)有清楚的相似情況。并行地，基于圖像的搜索 已經(jīng)發(fā)展成日益流行的工具。基于圖像的搜索允許用戶使用圖像，而不是文本，作為用于因 特網(wǎng)搜索的基礎(chǔ)。然而，基于圖像的搜索依賴于鍵盤(pán)和鼠標(biāo)控制用于其實(shí)現(xiàn)，使得其在移動(dòng) 設(shè)備上不可用或不便利。因而，用于使用觸摸控制的基于圖像的搜索的解決方案是合期望 的。正是關(guān)于這些以及其它的考慮而需要本改進(jìn)的。
【附圖說(shuō)明】
[0002] 圖1圖示了用于使用觸摸控制的基于圖像的搜索的系統(tǒng)的實(shí)施例。
[0003] 圖2圖示了用于在計(jì)算設(shè)備上的視頻回放的示例接口。
[0004] 圖3圖示了在圖2的計(jì)算設(shè)備上對(duì)基于觸摸的命令的示例接收。
[0005] 圖4圖示了基于圖3的基于觸摸的命令的選擇區(qū)域的生成。
[0006] 圖5圖示了選擇區(qū)域的生成的第二視圖。
[0007] 圖6圖示了圖像部分的提取。
[0008] 圖7圖示了使用所提取的圖像部分的搜索結(jié)果的生成。
[0009] 圖8圖示了在圖2的計(jì)算設(shè)備上的對(duì)基于觸摸的命令的第二示例接收。
[0010] 圖9圖示了基于圖8的基于觸摸的命令的選擇區(qū)域的生成。
[0011] 圖10圖示了用于在計(jì)算設(shè)備上的視頻回放的第二示例接口。
[0012] 圖11圖示了在圖10的第二示例接口上的選擇區(qū)域。
[0013] 圖12圖示了圖像部分的提取，其中從圖像部分中排除疊覆的用戶接口元素。
[0014] 圖13圖示了用于圖1的系統(tǒng)的邏輯流的實(shí)施例。
[0015] 圖14圖示了計(jì)算架構(gòu)的實(shí)施例。
[0016] 圖15圖示了通信架構(gòu)的實(shí)施例。
【具體實(shí)施方式】
[0017] 各種實(shí)施例目的在于用于使用觸摸控制的基于圖像的搜索的技術(shù)。傳統(tǒng)的、基于 文本的因特網(wǎng)搜索取一個(gè)或多個(gè)文本字段作為其用戶輸入，它將所述文本字段用于生成其 搜索結(jié)果。相反，基于圖像的因特網(wǎng)搜索取圖像作為其用戶輸入中的至少一個(gè)，它將所述圖 像用于生成其搜索結(jié)果。僅圖像的因特網(wǎng)搜索是將圖像用作用于其搜索的僅有用戶輸入的 因特網(wǎng)搜索。在該上下文中，"用戶輸入"指的是由用戶，或者從另一個(gè)視角，由代表用戶而 起作用的應(yīng)用提交到搜索系統(tǒng)的信息。這區(qū)別特定于給定用戶的搜索的輸入與一般由搜索 系統(tǒng)使用的、系統(tǒng)從其得到其搜索結(jié)果的關(guān)于因特網(wǎng)資源而收集的信息。由于搜索系統(tǒng)已 經(jīng)引入了基于圖像的搜索并擴(kuò)展了其有用性，用戶已經(jīng)對(duì)執(zhí)行基于圖像的搜索產(chǎn)生了日益 增加的興趣。
[0018] 隨著智能電話、平板和PDA的上漲的流行性，用戶越來(lái)越多地在觸敏屏幕上通過(guò) 使用基于觸摸的控制而執(zhí)行多種多樣的任務(wù)。基于觸摸的控制是這樣的用戶控制：其中應(yīng) 用通過(guò)用戶在操作以檢測(cè)用戶觸摸的計(jì)算設(shè)備的一部分上按壓一個(gè)或多個(gè)手指來(lái)接收用 戶命令。典型的用戶輸入包括一個(gè)或多個(gè)輕擊和劃刷（swipe)，其中輕擊對(duì)應(yīng)于不滑動(dòng)跨過(guò) 計(jì)算設(shè)備的觸敏部分的按壓，并且劃刷對(duì)應(yīng)于滑動(dòng)跨過(guò)計(jì)算設(shè)備的觸敏部分的按壓。觸敏 屏幕是能夠?qū)⑾嗤谋砻婕扔米黠@示器又用作觸敏輸入端的硬件組件。通過(guò)將輸入和輸出 組合到相同表面中，能夠使得用于輸入和輸出中每一個(gè)的面積比如果二者未重疊的情況下 更大。此外，由于用戶通過(guò)使用顯示器而錄入命令，命令的輕擊和劃刷的定位可以直接對(duì)應(yīng) 于用戶接口元素和所顯示內(nèi)容的屏幕上定位。因而，基于觸摸的用戶命令可以以響應(yīng)于它 們之下顯示的內(nèi)容的方式進(jìn)行解釋。
[0019] 具有觸敏屏幕的設(shè)備的相對(duì)大的顯示區(qū)域使得它們對(duì)于顯示媒體內(nèi)容（諸如靜 止圖像和視頻）是特別適當(dāng)和流行的。此外，觀看這樣的內(nèi)容的用戶可以期望接收關(guān)于所 顯示的圖像或視頻的某個(gè)元素的信息。然而，現(xiàn)有接口并不充分適于向用戶提供這樣的功 能性。因而，合期望的是具有單個(gè)用戶命令來(lái)選擇所顯示的圖像或視頻的一部分并自動(dòng)地 實(shí)例化基于圖像的搜索。這樣的命令使圖像或視頻的觀看者能夠容易地請(qǐng)求關(guān)于所顯示的 圖像或視頻的一部分的更多信息。結(jié)果，實(shí)施例能夠改進(jìn)具有觸敏屏幕的設(shè)備的效用。
[0020] -般地參考本文所用的符號(hào)和命名，下面的詳細(xì)描述可以在計(jì)算機(jī)或計(jì)算機(jī)網(wǎng)絡(luò) 上執(zhí)行的程序過(guò)程方面來(lái)呈現(xiàn)。本領(lǐng)域技術(shù)人員使用這些過(guò)程性描述和呈現(xiàn)以將他們的工 作的實(shí)質(zhì)最有效地傳達(dá)給本領(lǐng)域其他技術(shù)人員。
[0021] 過(guò)程在此并且一般地被設(shè)想成導(dǎo)致所期望的結(jié)果的操作的自相一致的序列。這些 操作是需要對(duì)物理量進(jìn)行物理操縱的那些操作。通常，盡管不是必要地，這些量采取能夠被 存儲(chǔ)、傳遞、組合、比較和以其它方式操縱的電學(xué)、磁性或光學(xué)信號(hào)的形式。主要出于常見(jiàn)使 用的原因，將這些信號(hào)稱為位、值、元素、符號(hào)、字符、項(xiàng)、數(shù)字等有時(shí)經(jīng)證明是便利的。然而， 應(yīng)當(dāng)注意的是，所有這些和類似的術(shù)語(yǔ)將與適當(dāng)?shù)奈锢砹肯嚓P(guān)聯(lián)并且僅僅是應(yīng)用到那些量 的便利標(biāo)簽。
[0022] 此外，經(jīng)常用通常與人類操作員執(zhí)行的智力操作相關(guān)聯(lián)的術(shù)語(yǔ)（諸如添加或比 較）來(lái)提及所執(zhí)行的操縱。在本文描述的、形成一個(gè)或多個(gè)實(shí)施例的部分的任何操作中，沒(méi) 有任何這樣的人類操作員能力是必要的或在大多數(shù)情況下合期望的。相反，操作是機(jī)器操 作。用來(lái)執(zhí)行各種實(shí)施例的操作的有用機(jī)器包括通用數(shù)字計(jì)算機(jī)或類似設(shè)備。
[0023] 各種實(shí)施例還涉及用于執(zhí)行這些操作的裝置或系統(tǒng)。該裝置可以是為所需目的而 特別構(gòu)造的或者它可以包括如由存儲(chǔ)在計(jì)算機(jī)中的計(jì)算機(jī)程序選擇性地激活或重配置的 通用計(jì)算機(jī)。本文呈現(xiàn)的過(guò)程并不固有地有關(guān)于特定計(jì)算機(jī)或其它裝置?？梢栽诟鶕?jù)本文 的教導(dǎo)所編寫(xiě)的程序的情況下使用各種通用機(jī)器，或者構(gòu)造更專門(mén)化的裝置用于執(zhí)行所需 方法步驟可以經(jīng)證明是便利的。用于各種的這些機(jī)器的所需結(jié)構(gòu)將從給定的描述中顯現(xiàn)。
[0024] 現(xiàn)在參考附圖，其中同樣的參考標(biāo)號(hào)貫穿全文用于指代同樣的元件。在下面的描 述中，出于解釋的目的，闡述了眾多特定的細(xì)節(jié)以便提供其透徹的理解。然而，可以顯然的 是，可以在沒(méi)有這些特定細(xì)節(jié)的情況下實(shí)踐新穎的實(shí)施例。在其它實(shí)例中，為了便于其描 述，眾所周知的結(jié)構(gòu)和設(shè)備以框圖形式示出。意圖是覆蓋與要求保護(hù)的主題一致的所有修 改、等同物和替換方案。
[0025] 圖1圖示了用于使用觸摸控制的基于圖像的搜索的系統(tǒng)100的框圖。在一個(gè)實(shí)施 例中，系統(tǒng)100可以包括計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)100,所述計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)100包括一個(gè)或多 個(gè)組件。盡管圖1中所示的系統(tǒng)100具有以某個(gè)拓?fù)涞挠邢迶?shù)目的元件，但是可以領(lǐng)會(huì)的 是，在可替換的拓?fù)渲邢到y(tǒng)100可以包括更多或更少的元件，如對(duì)于給定的實(shí)現(xiàn)所期望的 那樣。
[0026] 系統(tǒng)100可以包括觸敏屏幕105。觸敏屏幕105通?？梢圆僮鞒稍谙嗤砻嫔霞?向用戶顯示輸出又從用戶接收觸摸命令。觸敏屏幕105可以操作成接收?qǐng)D像113以用于顯 示在屏幕上并且將圖像113顯示為整個(gè)顯示區(qū)域或者顯示在顯示區(qū)域的一部分中。觸敏屏 幕105可以操作成檢測(cè)定位于觸敏屏幕105的表面上的對(duì)象，諸如人類手指。觸摸命令可 以包括一個(gè)或多個(gè)觸摸點(diǎn)，所述觸摸點(diǎn)對(duì)應(yīng)于系統(tǒng)100的用戶在觸敏屏幕105上的一個(gè)或 多個(gè)基本上同時(shí)的手指按壓的位置。觸摸命令可以包括一個(gè)或多個(gè)觸摸點(diǎn)跨觸敏屏幕105 的一個(gè)或多個(gè)基本上同時(shí)的劃刷。觸敏屏幕105可以操作成基于所檢測(cè)的觸摸命令而提供 手勢(shì)（gesture)信息 1〇7〇
[0027] 系統(tǒng)100可以包括顯示組件110。顯示組件110通常可以操作成在觸敏屏幕105 上顯示圖像113。在觸敏屏幕105上顯示圖像113的顯示組件110對(duì)應(yīng)于將圖像113傳輸 到觸敏屏幕105以供顯示（作為一部分或整個(gè)的觸敏屏幕105顯示）的顯示組件110。在 一些實(shí)施例中，圖像113可以包括來(lái)自視頻的幀，圖像113呈現(xiàn)為視頻回放的部分。視頻的 回放可以由應(yīng)用或運(yùn)行在應(yīng)用（諸如web瀏覽器）內(nèi)的插件來(lái)實(shí)施，應(yīng)用或插件在觸敏屏 幕105上呈現(xiàn)視頻。
[0028] 系統(tǒng)100可以包括手勢(shì)組件120。手勢(shì)組件120通?？梢圆僮鞒蓮娘@示圖像113 的觸敏屏幕105接收手勢(shì)信息107。手勢(shì)組件120可以操作成基于接收的手勢(shì)信息107而 識(shí)別抓取（scratch)手勢(shì)。手勢(shì)組件120可以操作成生成與手勢(shì)信息107對(duì)應(yīng)的選擇區(qū)域 125。手勢(shì)組件120可以操作成生成與抓取手勢(shì)對(duì)應(yīng)的選擇區(qū)域125。
[0029] 抓取手勢(shì)指的是特定的基于觸摸的用戶命令，其指示這樣的用戶意圖：將圖像 113的一部分用作用于基于圖像的搜索的輸入。在各種實(shí)施例中，指示屏幕區(qū)域的不同的基 于觸摸的用戶命令可以用作抓取手勢(shì)。然而，在一些實(shí)施例中，抓取手勢(shì)可以包括跨觸敏屏 幕105向下的多個(gè)觸摸點(diǎn)的基本上平行、基本上同時(shí)的劃刷。如果觸摸點(diǎn)的行進(jìn)路徑不以 超過(guò)預(yù)定義閾值（諸如5°、10°、25°或30° )的角度而不同，那么觸摸點(diǎn)的劃刷可以說(shuō) 成是基本上平行的。由于作為用戶拖拉手指跨過(guò)觸敏屏幕105的結(jié)果，給定劃刷在一段時(shí) 間上發(fā)生。如果在其期間記錄了多個(gè)劃刷的多個(gè)時(shí)間段彼此重疊，那么多個(gè)觸摸點(diǎn)的劃刷 可以說(shuō)成是基本上同時(shí)的。如果每個(gè)觸摸點(diǎn)的行進(jìn)路徑對(duì)應(yīng)于從觸敏屏幕105的頂部到底 部的、在預(yù)定義閾值（諸如5°、10°、25°或30° )內(nèi)的方向，那么多個(gè)觸摸點(diǎn)的劃刷可以 說(shuō)成是向下的。將領(lǐng)會(huì)到，由于一些觸敏設(shè)備慮及以各種取向進(jìn)行觀看，所以對(duì)應(yīng)于觸敏屏 幕105的頂部和底部的方向可以取決于設(shè)備的取向。通常，計(jì)算設(shè)備220的頂部可以對(duì)應(yīng) 于視頻220上方的設(shè)備的側(cè)邊。
[0030] 選擇區(qū)域125表示對(duì)于捕獲用戶手勢(shì)所意圖的主體的企圖。在一些實(shí)施例中，選 擇區(qū)域125可以包括矩形。矩形可以是對(duì)抓取手勢(shì)進(jìn)行劃界的最小化的矩形。在一些實(shí)施 例中，觸摸點(diǎn)的劃刷中的每一個(gè)可以由一對(duì)點(diǎn)表示，其中每個(gè)點(diǎn)包括X坐標(biāo)和y坐標(biāo)。這對(duì) 點(diǎn)可以對(duì)應(yīng)于針對(duì)每個(gè)劃刷的起始和結(jié)束所記錄的觸摸點(diǎn)。最小化的矩形可以計(jì)算為橫貫 (traverse)對(duì)觸摸點(diǎn)的劃刷進(jìn)行最小程度劃界的觸敏屏幕105的部分。最小化的矩形的水 平范圍從用于多個(gè)劃刷的點(diǎn)對(duì)的多個(gè)X坐標(biāo)中的最小X坐標(biāo)跨越到所述多個(gè)中的最大X坐 標(biāo)。最小化的矩形的豎直范圍從用于多個(gè)劃刷