圖像搜索方法及系統(tǒng)的制作方法
【專(zhuān)利摘要】本申請(qǐng)適用于圖像處理技術(shù)領(lǐng)域，提供了一種圖像搜索方法，包括步驟有：獲取圖像和待搜索的原始子圖；在所述圖像中生成與所述原始子圖大小相同的多個(gè)子圖搜索窗口，分別計(jì)算多個(gè)所述子圖搜索窗口與所述原始子圖的差異值；根據(jù)所述差異值和預(yù)定的圖像相似閾值，分析出與所述原始子圖匹配的所述子圖搜索窗口作為所述原始子圖對(duì)應(yīng)的目標(biāo)子圖。相應(yīng)地，本申請(qǐng)還提供一種圖像搜索系統(tǒng)。借此，本申請(qǐng)能夠搜索并識(shí)別并非在像素級(jí)別完全相同的、但是人眼感官相同的目標(biāo)子圖，并支持搜索并識(shí)別多張目標(biāo)子圖，從而使得圖像搜結(jié)果更符合用戶(hù)實(shí)際需求。
【專(zhuān)利說(shuō)明】
圖像搜索方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本申請(qǐng)?jiān)O(shè)及圖像處理技術(shù)領(lǐng)域，尤其設(shè)及一種圖像捜索方法及系統(tǒng)。
【背景技術(shù)】
[0002] 圖像捜索是一種非常有價(jià)值的應(yīng)用。尤其時(shí)在界面自動(dòng)化操作領(lǐng)域中，系統(tǒng)需要 在界面圖像上自動(dòng)捜索出需要操作的目標(biāo)子圖進(jìn)行操作，W取代人工操作界面的繁瑣，W 大大提升界面操作的處理效率。具體是在界面圖像上捜索是否存在與待操作的原始子圖相 同的目標(biāo)子圖，若存在，則對(duì)該目標(biāo)子圖進(jìn)行操作。所述界面自動(dòng)化操作包括自動(dòng)化界面測(cè) 試等，所述目標(biāo)子圖包括按鈕、圖標(biāo)、菜單、圖形等目標(biāo)區(qū)域。
[0003] 如下給出一個(gè)與圖像捜索的實(shí)例，如截取一個(gè)普通Win7系統(tǒng)的圖像，如圖1所示， 需通過(guò)圖像捜索的目標(biāo)子圖為"本地磁盤(pán)值:）"、"temp巧新加卷化W便對(duì)其進(jìn) 行自動(dòng)化操作，捜索后的目標(biāo)子圖用方圈標(biāo)記部分表示，如圖2所示，運(yùn)應(yīng)與人通過(guò)眼睛查 看得到的感官結(jié)果是一樣的。但事實(shí)上方圈標(biāo)記部分的每個(gè)點(diǎn)的顏色與用于比較的原始子 圖的每個(gè)點(diǎn)的顏色并非完全一致，因?yàn)榉饺?biāo)記部分和子圖在RGB (Red、Green、Blue,紅綠 藍(lán)）數(shù)值上存在不同。嚴(yán)格意義上說(shuō)是不相同的圖片，或說(shuō)有細(xì)微差異但人眼不能識(shí)別。造 成運(yùn)種問(wèn)題的原因很多，例如，圖像顯示時(shí)的反銀齒處理、噪點(diǎn)干擾等。
[0004] 現(xiàn)有技術(shù)之一
[0005] 使用滑動(dòng)捜索窗口，逐點(diǎn)比較W查找完全相同的子圖。但無(wú)法對(duì)相似圖進(jìn)行捜索 和比較，因?yàn)橹灰幸粋€(gè)點(diǎn)不一樣就無(wú)法進(jìn)行下去。
[0006] 現(xiàn)有技術(shù)之二
[0007] 采用模板匹配，包括W下步驟：
[0008] 1、使用滑動(dòng)捜索窗口，當(dāng)確定一個(gè)點(diǎn)時(shí)，得到該點(diǎn)對(duì)應(yīng)子圖同樣大小的滑動(dòng)捜索 窗口；
[0009] 2、計(jì)算該滑動(dòng)捜索窗口與子圖之間的差異值，優(yōu)選算法是如下的逐點(diǎn)計(jì)算色差并 平方求和，即
[0010]
[0011] 其中，R為滑動(dòng)捜索窗口與子圖之間的差異值，T為子圖的顏色值，I為滑動(dòng)捜索窗 口的顏色值，X為滑動(dòng)捜索窗口在目標(biāo)圖像上的橫坐標(biāo)，y為滑動(dòng)捜索窗口的縱坐標(biāo)，X'為 子圖的橫坐標(biāo)，y'為子圖的縱坐標(biāo)。
[001引 3、查找R(x，y)的最小值，該點(diǎn)視為匹配。
[0013] 現(xiàn)有技術(shù)之二的缺陷在于，因?yàn)樾璨檎襌(X，y)的最小值點(diǎn)，所W其只能捜索到一 個(gè)目標(biāo)子圖，無(wú)法捜索并比較得到多個(gè)目標(biāo)子圖。
[0014] 可見(jiàn)，現(xiàn)有圖像捜索技術(shù)無(wú)法在圖像捜索出符合要求的目標(biāo)子圖，進(jìn)而影響了界 面自動(dòng)化操作的準(zhǔn)確性。

【發(fā)明內(nèi)容】

[0015] 針對(duì)上述的缺陷，本申請(qǐng)的目的在于提供一種圖像捜索方法及系統(tǒng)，其能夠捜索 并識(shí)別并非在像素級(jí)別完全相同的、但是人眼感官相同的目標(biāo)子圖，并支持捜索并識(shí)別多 張目標(biāo)子圖，從而使得圖像捜結(jié)果更符合用戶(hù)實(shí)際需求。
[0016] 為了實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┮环N圖像捜索方法，包括步驟有：
[0017] 獲取圖像和待捜索的原始子圖；
[0018] 在所述圖像中生成與所述原始子圖大小相同的多個(gè)子圖捜索窗口，分別計(jì)算多個(gè) 所述子圖捜索窗口與所述原始子圖的差異值；
[0019] 根據(jù)所述差異值和預(yù)定的圖像相似闊值，分析出與所述原始子圖匹配的所述子圖 捜索窗口作為所述原始子圖對(duì)應(yīng)的目標(biāo)子圖。
[0020] 本申請(qǐng)還提供一種圖像捜索系統(tǒng)，包括有：
[0021] 捜索圖像獲取模塊，用于獲取圖像和待捜索的原始子圖；
[0022] 差異值計(jì)算模塊，用于在所述圖像中生成與所述原始子圖大小相同的多個(gè)子圖捜 索窗口，分別計(jì)算多個(gè)所述子圖捜索窗口與所述原始子圖的差異值；
[0023] 圖像匹配模塊，用于根據(jù)所述差異值和預(yù)定的圖像相似闊值，分析出與所述原始 子圖匹配的所述子圖捜索窗口作為所述原始子圖對(duì)應(yīng)的目標(biāo)子圖。
[0024] 本申請(qǐng)實(shí)施例在圖像中捜索與原始子圖對(duì)應(yīng)的目標(biāo)子圖時(shí)，在圖像中生成與原始 子圖大小相同的多個(gè)子圖捜索窗口，分別計(jì)算多個(gè)子圖捜索窗口與原始子圖的差異值，根 據(jù)所述差異值和預(yù)定的圖像相似闊值，分析出與所述原始子圖匹配的所述子圖捜索窗口作 為所述原始子圖對(duì)應(yīng)的目標(biāo)子圖，匹配的所述子圖捜索窗口與原始子圖在人眼感觀上為相 同的圖片，因此，可將之匹配為與原始子圖對(duì)應(yīng)的目標(biāo)子圖。通過(guò)運(yùn)種方式，本申請(qǐng)實(shí)施例 能夠捜索并識(shí)別并非在像素級(jí)別完全相同的、但是人眼感官相同的目標(biāo)子圖，并支持捜索 并識(shí)別多張目標(biāo)子圖，從而使得圖像捜索結(jié)果更符合用戶(hù)實(shí)際需求。優(yōu)選的是，本發(fā)明的圖 像捜索技術(shù)應(yīng)用于界面自動(dòng)化操作，在圖像上捜索出目標(biāo)子圖后，便可直接對(duì)該目標(biāo)子圖 進(jìn)行操作，進(jìn)而提高了界面自動(dòng)化操作的準(zhǔn)確性。
【附圖說(shuō)明】
[0025] 圖1是現(xiàn)有技術(shù)中圖像捜索的操作界面圖之一；
[0026] 圖2是現(xiàn)有技術(shù)中圖像捜索的操作界面圖之二；
[0027] 圖3是本申請(qǐng)圖像捜索方法的流程圖；
[002引圖4是本申請(qǐng)圖像相似闊值訓(xùn)練方法的流程圖；
[0029] 圖5是本申請(qǐng)第一實(shí)施例中圖像捜索方法的流程圖；
[0030] 圖6是本申請(qǐng)第二實(shí)施例中圖像捜索方法的流程圖。
[0031] 圖7是本申請(qǐng)圖像捜索系統(tǒng)的結(jié)構(gòu)示意圖；
[0032] 圖8是本申請(qǐng)優(yōu)選的圖像捜索系統(tǒng)的結(jié)構(gòu)示意圖；
【具體實(shí)施方式】
[0033] 為了使本申請(qǐng)的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，W下結(jié)合附圖及實(shí)施例，對(duì) 本申請(qǐng)進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用W解釋本申請(qǐng)，并 不用于限定本申請(qǐng)。
[0034] 在本申請(qǐng)一個(gè)典型的配置中，終端、服務(wù)網(wǎng)絡(luò)的設(shè)備和可信方均包括一個(gè)或多個(gè) 處理器（CPU)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。
[0035] 內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器，隨機(jī)存取存儲(chǔ)器（RAM)和/ 或非易失性?xún)?nèi)存等形式，如只讀存儲(chǔ)器（ROM)或閃存（flash RAM)。內(nèi)存是計(jì)算機(jī)可讀介質(zhì) 的示例。
[0036] 計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可W由任何方法 或技術(shù)來(lái)實(shí)現(xiàn)信息存儲(chǔ)。信息可W是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。 計(jì)算機(jī)的存儲(chǔ)介質(zhì)的例子包括，但不限于相變內(nèi)存（PRAM)、靜態(tài)隨機(jī)存取存儲(chǔ)器（SRAM)、 動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器值RAM)、其他類(lèi)型的隨機(jī)存取存儲(chǔ)器（RAM)、只讀存儲(chǔ)器（ROM)、電 可擦除可編程只讀存儲(chǔ)器巧EPROM)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤(pán)只讀存儲(chǔ)器 (CD-ROM)、數(shù)字多功能光盤(pán)值VD)或其他光學(xué)存儲(chǔ)、磁盒式磁帶，磁帶磁盤(pán)存儲(chǔ)或其他磁性 存儲(chǔ)設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲(chǔ)可W被計(jì)算設(shè)備訪問(wèn)的信息。按照本文中的 界定，計(jì)算機(jī)可讀介質(zhì)不包括非暫存電腦可讀媒體（transitory media)，如調(diào)制的數(shù)據(jù)信 號(hào)和載波。
[0037] 圖3是本申請(qǐng)圖像捜索方法的流程圖，包括步驟有：
[0038] 步驟S301，獲取圖像和待捜索的原始子圖。
[0039] 所述原始子圖可由系統(tǒng)或用戶(hù)輸入，所述圖像由圖像捜索系統(tǒng)100的圖像數(shù)據(jù)庫(kù) 提供或者從網(wǎng)絡(luò)中獲取，請(qǐng)求圖像捜索系統(tǒng)100在圖像中捜索與原始子圖相匹配的結(jié)果子 圖。
[0040] 步驟S302,在圖像中生成與原始子圖大小相同的多個(gè)子圖捜索窗口，分別計(jì)算多 個(gè)子圖捜索窗口與原始子圖的差異值。
[0041] 優(yōu)選的是，在圖像中確定多個(gè)像素點(diǎn)，并W每個(gè)像素點(diǎn)為基點(diǎn)分別生成與原始子 圖大小相同的子圖捜索窗口。所述差異值優(yōu)選為RGB差異值。
[0042] 步驟S303,根據(jù)所述差異值和預(yù)定的圖像相似闊值，分析出與所述原始子圖匹配 的所述子圖捜索窗口作為原始子圖對(duì)應(yīng)的目標(biāo)子圖。
[0043] 所述匹配的子圖捜索窗口與原始子圖在人眼感觀上為相同的圖片。所述目標(biāo)子圖 可W是一個(gè)或多個(gè)，如果圖像中匹配的子圖捜索窗口，則表示圖像中沒(méi)有與原始子圖對(duì)應(yīng) 的目標(biāo)子圖，可返回捜索結(jié)果為空。若圖像中有與原始子圖對(duì)應(yīng)的至少一個(gè)目標(biāo)子圖，則可 將所述目標(biāo)子圖在圖像上進(jìn)行標(biāo)記。
[0044] 本發(fā)明優(yōu)選應(yīng)用于界面自動(dòng)化操作，即系統(tǒng)需要在界面圖像上自動(dòng)捜索出需要操 作的目標(biāo)子圖進(jìn)行操作，W取代人工操作界面的繁瑣。所述界面圖像和原始子圖可由系統(tǒng) 根據(jù)實(shí)際操作需求進(jìn)行選擇，圖像捜索系統(tǒng)100自動(dòng)在界面圖像中捜索與原始子圖相匹配 的目標(biāo)子圖，W便對(duì)該目標(biāo)子圖進(jìn)行操作。所述界面自動(dòng)化操作包括自動(dòng)化界面測(cè)試等，所 述目標(biāo)子圖包括按鈕、圖標(biāo)、菜單、圖形等目標(biāo)區(qū)域。
[0045] 優(yōu)選的是，所述步驟S301之前還包括：
[0046] 接收子圖操作指令，所述子圖操作指令中包括圖像和待捜索的原始子圖的信息；
[0047] 優(yōu)選的是，步驟S303之后還可包括：
[0048] 在捜索出所述目標(biāo)子圖后，根據(jù)所述子圖操作指令對(duì)所述目標(biāo)子圖進(jìn)行操作。
[0049] 圖4是本申請(qǐng)圖像相似闊值訓(xùn)練方法的流程圖，包括步驟有：
[0050] 步驟S401，獲取訓(xùn)練圖像集合和訓(xùn)練子圖集合。
[0051] 圖像捜索系統(tǒng)100處理得到一定數(shù)量的用于訓(xùn)練的訓(xùn)練圖像集合；圖像捜索系統(tǒng) 100處理得到一定數(shù)量的針對(duì)訓(xùn)圖像集合的訓(xùn)子圖集合。
[0052] 步驟S402,根據(jù)用戶(hù)輸入的標(biāo)記操作指令，在訓(xùn)練圖像集合上標(biāo)記與訓(xùn)練子圖集 合匹配的標(biāo)記區(qū)域。
[0053] 具體由人工或者半人工的方式，在訓(xùn)練圖像集合上標(biāo)記訓(xùn)練子圖匹配的區(qū)域，然 后歸納成計(jì)算公式。有兩種方法：第一種是用戶(hù)通過(guò)標(biāo)記操作指示圖像捜索系統(tǒng)100,訓(xùn) 練圖像中訓(xùn)練子圖匹配的精確區(qū)域。另一種方法是半自動(dòng)的，即人工在訓(xùn)練圖像上標(biāo)出 包含訓(xùn)練子圖的非精確區(qū)域，運(yùn)個(gè)非精確區(qū)域在尺寸上比訓(xùn)練子圖大一點(diǎn)，比如大10%~ 20%，然后圖像捜索系統(tǒng)100在運(yùn)個(gè)范圍內(nèi)進(jìn)行最匹配的捜索，得到匹配的精確區(qū)域。
[0054] 步驟S403,根據(jù)訓(xùn)練圖像集合、訓(xùn)練子圖集合、標(biāo)記區(qū)域W及預(yù)定的圖像相似闊值 算法，計(jì)算出圖像相似闊值。
[0055] 所述圖像相似闊值的原理是，計(jì)算一般人眼覺(jué)得匹配的圖，實(shí)際上的平均偏差是 多大。所述圖像相似闊值算法優(yōu)選為：
[0056]
[0057] 其中，x'，y'是標(biāo)記區(qū)域中橫行和縱行的變量，X是訓(xùn)練子圖的行數(shù)，Y是訓(xùn)練子圖 的列數(shù)，N是參與訓(xùn)練的圖像匹配點(diǎn)的個(gè)數(shù)。
[0058] 圖5是本申請(qǐng)第一實(shí)施例中圖像捜索方法的流程圖，包括步驟有：
[0059] 步驟S501，采集圖像，并將圖像轉(zhuǎn)換為預(yù)定的格式數(shù)據(jù)。所述格式數(shù)據(jù)優(yōu)選為RGB 數(shù)據(jù)。
[0060] 步驟S502,輸入待捜索的原始子圖，并將原始子圖轉(zhuǎn)換為格式數(shù)據(jù)。所述格式數(shù)據(jù) 優(yōu)選為RGB數(shù)據(jù)。
[0061] 步驟S503,在圖像中生成與原始子圖大小相同的多個(gè)子圖捜索窗口。
[0062] 步驟S504,分別計(jì)算多個(gè)子圖捜索窗口的格式數(shù)據(jù)與原始子圖的格式數(shù)據(jù)之間的 差異值。所述差異值優(yōu)選為RGB差異值。
[006引步驟S505,比較差異值是否小于圖像相似闊值。
[0064] 步驟S506,將差異值小于圖像相似闊值的子圖捜索窗口確定為與原始子圖匹配的 目標(biāo)子圖。
[0065] 所述差異值小于圖像相似闊值的子圖捜索窗口與原始子圖在人眼感觀上為相同 的圖片。所述目標(biāo)子圖可W是一個(gè)或多個(gè)，如果圖像中沒(méi)有差異值小于預(yù)定的圖像相似闊 值的子圖捜索窗口，則表示圖像中沒(méi)有與原始子圖對(duì)應(yīng)的目標(biāo)子圖，可返回捜索結(jié)果為空。
[0066] 步驟S507,在圖像上標(biāo)記目標(biāo)子圖。
[0067] 圖6是本申請(qǐng)第二實(shí)施例中圖像捜索方法的流程圖，包括步驟有：
[0068] 步驟S601，獲取圖像和待捜索的原始子圖。
[0069] 優(yōu)選的是，采集圖像，并將圖像轉(zhuǎn)換為預(yù)定的格式數(shù)據(jù)。輸入待捜索的原始子圖， 并將原始子圖轉(zhuǎn)換為格式數(shù)據(jù)。所述格式數(shù)據(jù)為RGB數(shù)據(jù)。
[0070] 步驟S602,在圖像中確定多個(gè)像素點(diǎn)，并W每個(gè)像素點(diǎn)為基點(diǎn)分別生成與原始子 圖大小相同的子圖捜索窗口。
[0071] 步驟S603,根據(jù)預(yù)定的差異值算法逐點(diǎn)計(jì)算子圖捜索窗口與原始子圖的差異值矩 陣，得到相應(yīng)的差異值矩陣集合。
[0072] 例如，圖像包括1000*1000個(gè)像素點(diǎn)，原始子圖包括有20*20個(gè)像素點(diǎn)，首先，確定 圖像最左上角的像素點(diǎn)為基點(diǎn)，得到該像素點(diǎn)對(duì)應(yīng)原始子圖同樣大小的子圖捜索窗口；然 后，計(jì)算該子圖捜索窗口與原始子圖之間的RGB差異值，每個(gè)RGB差異值是一個(gè)矩陣。然后 自左向右，自上向下地逐個(gè)像素點(diǎn)得到各個(gè)子圖捜索窗口，并逐點(diǎn)計(jì)算每個(gè)子圖捜索窗口 與原始子圖之間的RGB差異值。運(yùn)些RGB差異值構(gòu)成差異值矩陣集合。
[0073] 步驟S604,根據(jù)圖像相似闊值和預(yù)定的子圖應(yīng)用闊值算法，計(jì)算每個(gè)子圖捜索窗 口對(duì)應(yīng)的子圖應(yīng)用闊值。
[0074] 所述子圖應(yīng)用闊值算法優(yōu)選為：
[00巧]子圖應(yīng)用闊值=圖像相似闊值巧巧*A。
[0076] 其中，X是子圖捜索窗口的行數(shù)，Y是子圖捜索窗口的列數(shù)，A是預(yù)定的寬容系數(shù)， 該寬容系數(shù)的取值范圍優(yōu)選是2~4。
[0077] 可見(jiàn)，待捜索的原始子圖的面積越大，則對(duì)應(yīng)的子圖應(yīng)用闊值越大。
[0078] 步驟S605,將差異值矩陣集合中每個(gè)差異值矩陣與其對(duì)應(yīng)的子圖應(yīng)用闊值進(jìn)行比 較，判斷差異值是否小于所述子圖應(yīng)用闊值，若是則執(zhí)行步驟S607,否則執(zhí)行步驟S606。
[0079] 步驟S606,將所有大于或等于子圖應(yīng)用闊值的差異值矩陣刪除。因?yàn)榧词箤?duì)于人 眼感觀而言，大于或等于子圖應(yīng)用闊值的差異值矩陣對(duì)應(yīng)的子圖捜索窗口與原始子圖都是 不同的圖片。
[0080] 步驟S607,將所有小于子圖應(yīng)用闊值的差異值矩陣保留，并將保留的差異值矩陣 對(duì)應(yīng)的子圖捜索窗口確定為與原始子圖匹配的目標(biāo)子圖。因?yàn)閷?duì)于人眼感觀而言，小于子 圖應(yīng)用闊值的差異值矩陣對(duì)應(yīng)的子圖捜索窗口與原始子圖是相同的圖片。
[0081] 步驟S608，在圖像上標(biāo)記目標(biāo)子圖，例如用圓框或方框標(biāo)記出目標(biāo)子圖，W便于用 戶(hù)查看。
[0082] 圖7是本申請(qǐng)圖像捜索系統(tǒng)的結(jié)構(gòu)示意圖，所述圖像捜索系統(tǒng)100至少包括有捜 索圖像獲取模塊10、差異值計(jì)算模塊20 W及圖像匹配模塊30,其中：
[0083] 所述捜索圖像獲取模塊10,用于獲取圖像和待捜索的原始子圖。所述原始子圖可 由用戶(hù)輸入，所述圖像由圖像捜索系統(tǒng)100的圖像數(shù)據(jù)庫(kù)提供或者從網(wǎng)絡(luò)中獲取，用戶(hù)請(qǐng) 求圖像捜索系統(tǒng)100在圖像中捜索與原始子圖相匹配的目標(biāo)子圖。
[0084] 所述差異值計(jì)算模塊20,用于在圖像中生成與原始子圖大小相同的多個(gè)子圖捜索 窗口，分別計(jì)算多個(gè)子圖捜索窗口與原始子圖的差異值。優(yōu)選的是，在圖像中確定多個(gè)像素 點(diǎn)，并W每個(gè)像素點(diǎn)為基點(diǎn)分別生成與原始子圖大小相同的子圖捜索窗口。所述差異值優(yōu) 選為RGB差異值，差異值的優(yōu)選算法是如下的逐點(diǎn)計(jì)算色差并平方求和：
[0085]
[0086] 所述圖像匹配模塊30,用于根據(jù)所述差異值和預(yù)定的圖像相似闊值，分析出與所 述原始子圖匹配的所述子圖捜索窗口作為原始子圖對(duì)應(yīng)的目標(biāo)子圖。所述匹配的子圖捜索 窗口與原始子圖在人眼感觀上為相同的圖片。所述目標(biāo)子圖可W是一個(gè)或多個(gè)，如果圖像 中匹配的子圖捜索窗口，則表示圖像中沒(méi)有與原始子圖對(duì)應(yīng)的目標(biāo)子圖，可返回捜索結(jié)果 為空。若圖像中有與原始子圖對(duì)應(yīng)的至少一個(gè)目標(biāo)子圖，則可將所述目標(biāo)子圖在圖像上進(jìn) 行標(biāo)記。
[0087] 本申請(qǐng)能夠捜索并識(shí)別并非在像素級(jí)別完全相同的、但是人眼感官相同的子圖， 并且支持捜索并識(shí)別多張子圖。
[008引圖8是本申請(qǐng)優(yōu)選的圖像捜索系統(tǒng)的結(jié)構(gòu)示意圖，所述圖像捜索系統(tǒng)100可包括 有捜索圖像獲取模塊10、差異值計(jì)算模塊20、圖像匹配模塊30、訓(xùn)練圖像獲取模塊40、訓(xùn)練 標(biāo)記模塊50、圖像相似闊值計(jì)算模塊60和/或結(jié)果標(biāo)記模塊70,其中：
[0089] 所述訓(xùn)練圖像獲取模塊40,用于獲取訓(xùn)練圖像集合和訓(xùn)練子圖集合。圖像捜索系 統(tǒng)100處理得到一定數(shù)量的用于訓(xùn)練的訓(xùn)練圖像集合；圖像捜索系統(tǒng)100處理得到一定數(shù) 量的針對(duì)訓(xùn)圖像集合的訓(xùn)子圖集合。
[0090] 所述訓(xùn)練標(biāo)記模塊50,根據(jù)用戶(hù)輸入的標(biāo)記操作指令，在訓(xùn)練圖像集合上標(biāo)記與 訓(xùn)練子圖集合匹配的標(biāo)記區(qū)域。具體由人工或者半人工的方式，在訓(xùn)練圖像集合上標(biāo)記訓(xùn) 練子圖匹配的區(qū)域，然后歸納成計(jì)算公式。具體可W有兩種方法：第一種是用戶(hù)通過(guò)標(biāo)記操 作指示圖像捜索系統(tǒng)100,訓(xùn)練圖像中訓(xùn)練子圖匹配的精確區(qū)域。另一種方法是半自動(dòng)的， 即人工在訓(xùn)練圖像上標(biāo)出包含訓(xùn)練子圖的非精確區(qū)域，運(yùn)個(gè)非精確區(qū)域在尺寸上比訓(xùn)練子 圖大一點(diǎn)，比如大10%~20%，然后圖像捜索系統(tǒng)100在運(yùn)個(gè)范圍內(nèi)進(jìn)行最匹配的捜索，得 到匹配的精確區(qū)域。
[00川所述圖像相似闊值計(jì)算模塊60,用于根據(jù)訓(xùn)練圖像集合、訓(xùn)練子圖集合、標(biāo)記區(qū)域 W及預(yù)定的圖像相似闊值算法，計(jì)算出圖像相似闊值。所述圖像相似闊值的原理是，計(jì)算一 般人眼覺(jué)得匹配的圖，實(shí)際上的平均偏差是多大。
[0092] 所述圖像相似闊值算法優(yōu)選為：
[0093]
[0094] 其中，x'，y'是標(biāo)記區(qū)域中橫行和縱行的變量，X是訓(xùn)練子圖的行數(shù)，Y是訓(xùn)練子圖 的列數(shù)，N是參與訓(xùn)練的圖像匹配點(diǎn)的個(gè)數(shù)。
[0095] 所述捜索圖像獲取模塊10,用于獲取圖像和待捜索的原始子圖。優(yōu)選的是，捜索圖 像獲取模塊10包括：
[0096] 圖像采集子模塊11，用于采集圖像，并將所述圖像轉(zhuǎn)換為預(yù)定的格式數(shù)據(jù)。所述格 式數(shù)據(jù)優(yōu)選為可處理的RGB數(shù)據(jù)。
[0097] 子圖輸入子模塊12,用于輸入待捜索的原始子圖，并將原始子圖轉(zhuǎn)換為格式數(shù)據(jù)。 所述格式數(shù)據(jù)優(yōu)選為可處理的RGB數(shù)據(jù)。
[0098] 所述差異值計(jì)算模塊20,用于在圖像中生成與原始子圖大小相同的多個(gè)子圖捜索 窗口，分別計(jì)算多個(gè)子圖捜索窗口與原始子圖的差異值。優(yōu)選的是，差異值計(jì)算模塊20用 于分別計(jì)算多個(gè)子圖捜索窗口的格式數(shù)據(jù)與原始子圖的格式數(shù)據(jù)之間的差異值。所述差異 值優(yōu)選為RGB差異值。所述差異值計(jì)算模塊20優(yōu)選包括：
[0099] 窗口生成子模塊21，用于在圖像中確定多個(gè)像素點(diǎn)，并W每個(gè)像素點(diǎn)為基點(diǎn)分別 生成與原始子圖大小相同的子圖捜索窗口。
[0100] 差異值計(jì)算子模塊22,用于根據(jù)預(yù)定的差異值算法逐點(diǎn)計(jì)算子圖捜索窗口與原始 子圖的差異值矩陣，得到相應(yīng)的差異值矩陣集合。
[0101] 例如，圖像包括1000*1000個(gè)像素點(diǎn)，原始子圖包括有20*20個(gè)像素點(diǎn)，首先，確定 圖像最左上角的像素點(diǎn)為基點(diǎn)，得到該像素點(diǎn)對(duì)應(yīng)原始子圖同樣大小的子圖捜索窗口；然 后，計(jì)算該子圖捜索窗口與原始子圖之間的RGB差異值，每個(gè)RGB差異值是一個(gè)矩陣。然后 自左向右，自上向下地逐個(gè)像素點(diǎn)得到各個(gè)子圖捜索窗口，并逐點(diǎn)計(jì)算每個(gè)子圖捜索窗口 與原始子圖之間的RGB差異值。運(yùn)些RGB差異值構(gòu)成差異值矩陣集合。
[0102] 優(yōu)選的是，所述圖像匹配模塊30包括有：
[0103] 第一比較子模塊31，用于比較差異值是否小于圖像相似闊值。
[0104] 第一匹配子模塊32,用于將差異值小于圖像相似闊值的子圖捜索窗口確定為與原 始子圖匹配的目標(biāo)子圖。
[0105] 所述差異值小于圖像相似闊值的子圖捜索窗口與原始子圖在人眼感觀上為相同 的圖片。所述目標(biāo)子圖可W是一個(gè)或多個(gè)，如果圖像中沒(méi)有差異值小于預(yù)定的圖像相似闊 值的子圖捜索窗口，則表示圖像中沒(méi)有與原始子圖對(duì)應(yīng)的目標(biāo)子圖，可返回捜索結(jié)果為空。
[0106] 優(yōu)選地，所述圖像匹配模塊30還可包括有：
[0107] 子圖應(yīng)用闊值計(jì)算子模塊33,用于在計(jì)算出子圖捜索窗口與原始子圖的差異值 后，根據(jù)圖像相似闊值和預(yù)定的子圖應(yīng)用闊值算法，計(jì)算每個(gè)子圖捜索窗口對(duì)應(yīng)的子圖應(yīng) 用闊值。
[0108] 所述子圖應(yīng)用闊值算法優(yōu)選為：
[0109] 子圖應(yīng)用闊值=圖像相似闊值巧巧*A ;
[0110] 其中，X是子圖捜索窗口的行數(shù)，Y是子圖捜索窗口的列數(shù)，A是預(yù)定的寬容系數(shù)， 該寬容系數(shù)的取值范圍優(yōu)選是2~4。
[0111] 可見(jiàn)，待捜索的原始子圖的面積越大，則對(duì)應(yīng)的子圖應(yīng)用闊值越大。
[0112] 第二比較子模塊34,用于比較差異值是否小于子圖應(yīng)用闊值。優(yōu)選的是，將差異值 矩陣集合中每個(gè)差異值矩陣與其對(duì)應(yīng)的子圖應(yīng)用闊值進(jìn)行比較。
[0113] 第二匹配子模塊35,用于將差異值小于子圖應(yīng)用闊值的子圖捜索窗口確定為與原 始子圖匹配的目標(biāo)子圖。優(yōu)選的是，將所有大于或等于子圖應(yīng)用闊值的差異值矩陣刪除，并 將所有小于子圖應(yīng)用闊值的差異值矩陣保留，并將保留的差異值矩陣對(duì)應(yīng)的子圖捜索窗口 確定為與原始子圖匹配的目標(biāo)子圖。
[0114] 所述結(jié)果標(biāo)記模塊70，用于在匹配出原始子圖對(duì)應(yīng)的目標(biāo)子圖之后，在圖像上標(biāo) 記目標(biāo)子圖，例如用圓框或方框標(biāo)記出目標(biāo)子圖，W便于用戶(hù)查看。
[0115] 本發(fā)明優(yōu)選應(yīng)用于界面自動(dòng)化操作，即系統(tǒng)需要在界面圖像上自動(dòng)捜索出需要操 作的目標(biāo)子圖進(jìn)行操作，W取代人工操作界面的繁瑣。所述界面圖像和原始子圖可由系統(tǒng) 根據(jù)實(shí)際操作需求進(jìn)行選擇，圖像捜索系統(tǒng)100自動(dòng)在界面圖像中捜索與原始子圖相匹配 的目標(biāo)子圖，W便對(duì)該目標(biāo)子圖進(jìn)行操作。所述界面自動(dòng)化操作包括自動(dòng)化界面測(cè)試等，所 述目標(biāo)子圖包括按鈕、圖標(biāo)、菜單、圖形等目標(biāo)區(qū)域。
[0116] 優(yōu)選的是，所述圖像捜索系統(tǒng)100還包括：
[0117] 指令接收模塊80,用于在獲取圖像和原始子圖之前，接收子圖操作指令，所述子圖 操作指令中包括圖像和待捜索的原始子圖的信息；
[0118] 子圖操作模塊90,用于在捜索出所述目標(biāo)子圖后，根據(jù)所述子圖操作指令對(duì)所述 目標(biāo)子圖進(jìn)行操作。
[0119] 綜上所述，本申請(qǐng)實(shí)施例在圖像中捜索與原始子圖對(duì)應(yīng)的目標(biāo)子圖時(shí)，在圖像中 生成與原始子圖大小相同的多個(gè)子圖捜索窗口，分別計(jì)算多個(gè)子圖捜索窗口與原始子圖的 差異值，根據(jù)所述差異值和預(yù)定的圖像相似闊值，分析出與所述原始子圖匹配的所述子圖 捜索窗口作為所述原始子圖對(duì)應(yīng)的目標(biāo)子圖，匹配的所述子圖捜索窗口與原始子圖在人眼 感觀上為相同的圖片，因此，可將之匹配為與原始子圖對(duì)應(yīng)的目標(biāo)子圖。通過(guò)運(yùn)種方式，本 申請(qǐng)實(shí)施例能夠捜索并識(shí)別并非在像素級(jí)別完全相同的、但是人眼感官相同的目標(biāo)子圖， 并支持捜索并識(shí)別多張目標(biāo)子圖，從而使得圖像捜索結(jié)果更符合用戶(hù)實(shí)際需求。優(yōu)選的是， 本發(fā)明的圖像捜索技術(shù)應(yīng)用于界面自動(dòng)化操作，在圖像上捜索出目標(biāo)子圖后，便可直接對(duì) 該目標(biāo)子圖進(jìn)行操作，進(jìn)而提高了界面自動(dòng)化操作的準(zhǔn)確性。
[0120] 當(dāng)然，本申請(qǐng)還可有其它多種實(shí)施例，在不背離本申請(qǐng)精神及其實(shí)質(zhì)的情況下，熟 悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本申請(qǐng)作出各種相應(yīng)的改變和變形，但運(yùn)些相應(yīng)的改變和變 形都應(yīng)屬于本申請(qǐng)所附的權(quán)利要求的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種圖像捜索方法，其特征在于，包括： 獲取圖像和待捜索的原始子圖； 在所述圖像中生成與所述原始子圖大小相同的多個(gè)子圖捜索窗口，分別計(jì)算多個(gè)所述 子圖捜索窗口與所述原始子圖的差異值； 根據(jù)所述差異值和預(yù)定的圖像相似闊值，分析出與所述原始子圖匹配的所述子圖捜索 窗口作為所述原始子圖對(duì)應(yīng)的目標(biāo)子圖。2. 根據(jù)權(quán)利要求1所述的圖像捜索方法，其特征在于，所述根據(jù)差異值和預(yù)定的圖像 相似闊值，分析出與所述原始子圖匹配的所述子圖捜索窗口作為所述原始子圖對(duì)應(yīng)的目標(biāo) 子圖的步驟包括： 比較所述差異值是否小于所述圖像相似闊值； 將所述差異值小于所述圖像相似闊值的所述子圖捜索窗口確定為與所述原始子圖匹 配的所述目標(biāo)子圖。3. 根據(jù)權(quán)利要求1所述的圖像捜索方法，其特征在于，所述根據(jù)差異值和預(yù)定的圖像 相似闊值，分析出與所述原始子圖匹配的所述子圖捜索窗口作為所述原始子圖對(duì)應(yīng)的目標(biāo) 子圖的步驟包括： 根據(jù)所述圖像相似闊值和預(yù)定的子圖應(yīng)用闊值算法，計(jì)算每個(gè)所述子圖捜索窗口對(duì)應(yīng) 的子圖應(yīng)用闊值； 比較所述差異值是否小于所述子圖應(yīng)用闊值； 將所述差異值小于所述子圖應(yīng)用闊值的所述子圖捜索窗口確定為與所述原始子圖匹 配的所述目標(biāo)子圖。4. 根據(jù)權(quán)利要求3所述的圖像捜索方法，其特征在于，所述子圖應(yīng)用闊值算法為： 子圖應(yīng)用闊值=圖像相似闊值巧巧*A ; 其中，X是子圖捜索窗口的行數(shù)，Y是子圖捜索窗口的列數(shù)，A是預(yù)定的寬容系數(shù)。5. 根據(jù)權(quán)利要求1所述的圖像捜索方法，其特征在于，所述在圖像中生成與所述原始 子圖大小相同的多個(gè)子圖捜索窗口，分別計(jì)算多個(gè)所述子圖捜索窗口與所述原始子圖的差 異值的步驟包括： 在所述圖像中確定多個(gè)像素點(diǎn)，并W每個(gè)所述像素點(diǎn)為基點(diǎn)分別生成與所述原始子圖 大小相同的所述子圖捜索窗口； 根據(jù)預(yù)定的差異值算法逐點(diǎn)計(jì)算所述子圖捜索窗口與所述原始子圖的所述差異值矩 陣，得到相應(yīng)的差異值矩陣集合。6. 根據(jù)權(quán)利要求5所述的圖像捜索方法，其特征在于，所述比較差異值是否小于所述 子圖應(yīng)用闊值的步驟包括： 將所述差異值矩陣集合中每個(gè)差異值矩陣與其對(duì)應(yīng)的所述子圖應(yīng)用闊值進(jìn)行比較； 所述將差異值小于所述子圖應(yīng)用闊值的所述子圖捜索窗口確定為與所述原始子圖匹 配的所述目標(biāo)子圖的步驟包括： 將所有大于或等于所述子圖應(yīng)用闊值的所述差異值矩陣刪除，并將所有小于所述子圖 應(yīng)用闊值的所述差異值矩陣保留，并將保留的所述差異值矩陣對(duì)應(yīng)的所述子圖捜索窗口確 定為與所述原始子圖匹配的所述目標(biāo)子圖。7. 根據(jù)權(quán)利要求1所述的圖像捜索方法，其特征在于，所述分析出與所述原始子圖匹 配的所述子圖捜索窗口作為所述原始子圖對(duì)應(yīng)的目標(biāo)子圖的步驟之后還包括： 在所述圖像上標(biāo)記所述目標(biāo)子圖。8. 根據(jù)權(quán)利要求1所述的圖像捜索方法，其特征在于，所述獲取圖像和待捜索的原始 子圖的步驟之前還包括： 獲取訓(xùn)練圖像集合和訓(xùn)練子圖集合； 根據(jù)用戶(hù)輸入的標(biāo)記操作指令，在所述訓(xùn)練圖像集合上標(biāo)記與所述訓(xùn)練子圖集合匹配 的標(biāo)記區(qū)域； 根據(jù)所述訓(xùn)練圖像集合、所述訓(xùn)練子圖集合、所述標(biāo)記區(qū)域W及預(yù)定的圖像相似闊值 算法，計(jì)算出所述圖像相似闊值。9. 根據(jù)權(quán)利要求8所述的圖像捜索方法，其特征在于，所述圖像相似闊值算法為：其中，x'，y'是標(biāo)記區(qū)域中橫行和縱行的變量，X是訓(xùn)練子圖的行數(shù)，Y是訓(xùn)練子圖的列 數(shù)，N是參與訓(xùn)練的圖像匹配點(diǎn)的個(gè)數(shù)。10. 根據(jù)權(quán)利要求1~9任一項(xiàng)所述的圖像捜索方法，其特征在于，所述獲取圖像和待 捜索的原始子圖的步驟前還包括： 接收子圖操作指令，所述子圖操作指令中包括圖像和待捜索的原始子圖的信息； 所述分析出與所述原始子圖匹配的所述子圖捜索窗口作為所述原始子圖對(duì)應(yīng)的目標(biāo) 子圖的步驟之后還包括： 在捜索出所述目標(biāo)子圖后，根據(jù)所述子圖操作指令對(duì)所述目標(biāo)子圖進(jìn)行操作。11. 一種圖像捜索系統(tǒng)，其特征在于，包括有： 捜索圖像獲取模塊，用于獲取圖像和待捜索的原始子圖； 差異值計(jì)算模塊，用于在所述圖像中生成與所述原始子圖大小相同的多個(gè)子圖捜索窗 口，分別計(jì)算多個(gè)所述子圖捜索窗口與所述原始子圖的差異值； 圖像匹配模塊，用于根據(jù)所述差異值和預(yù)定的圖像相似闊值，分析出與所述原始子圖 匹配的所述子圖捜索窗口作為所述原始子圖對(duì)應(yīng)的目標(biāo)子圖。12. 根據(jù)權(quán)利要求11所述的圖像捜索系統(tǒng)，其特征在于，所述圖像匹配模塊包括： 第一比較子模塊，用于比較所述差異值是否小于所述圖像相似闊值； 第一匹配子模塊，用于將所述差異值小于所述圖像相似闊值的所述子圖捜索窗口確定 為與所述原始子圖匹配的所述目標(biāo)子圖。13. 根據(jù)權(quán)利要求11所述的圖像捜索系統(tǒng)，其特征在于，所述圖像匹配模塊包括： 子圖應(yīng)用闊值計(jì)算子模塊，用于在計(jì)算出所述子圖捜索窗口與所述原始子圖的所述差 異值后，根據(jù)所述圖像相似闊值和預(yù)定的子圖應(yīng)用闊值算法，計(jì)算每個(gè)所述子圖捜索窗口 對(duì)應(yīng)的子圖應(yīng)用闊值； 第二比較子模塊，用于比較所述差異值是否小于所述子圖應(yīng)用闊值； 第二匹配子模塊，用于將所述差異值小于所述子圖應(yīng)用闊值的所述子圖捜索窗口確定 為與所述原始子圖匹配的所述目標(biāo)子圖。14. 根據(jù)權(quán)利要求13所述的圖像捜索系統(tǒng)，其特征在于，所述子圖應(yīng)用闊值算法為： 子圖應(yīng)用闊值=圖像相似闊值巧巧*A ; 其中，X是子圖捜索窗口的行數(shù)，Y是子圖捜索窗口的列數(shù)，A是預(yù)定的寬容系數(shù)。15. 根據(jù)權(quán)利要求11所述的圖像捜索系統(tǒng)，其特征在于，所述差異值計(jì)算模塊包括： 窗口生成子模塊，用于在所述圖像中確定多個(gè)像素點(diǎn)，并W每個(gè)所述像素點(diǎn)為基點(diǎn)分 別生成與所述原始子圖大小相同的所述子圖捜索窗口； 差異值計(jì)算子模塊，用于根據(jù)預(yù)定的差異值算法逐點(diǎn)計(jì)算所述子圖捜索窗口與所述原 始子圖的所述差異值矩陣，得到相應(yīng)的差異值矩陣集合。16. 根據(jù)權(quán)利要求15所述的圖像捜索系統(tǒng)，其特征在于，所述圖像匹配模塊的所述第 二比較子模塊用于將所述差異值矩陣集合中每個(gè)差異值矩陣與其對(duì)應(yīng)的所述子圖應(yīng)用闊 值進(jìn)行比較； 所述圖像匹配模塊的所述第二匹配子模塊用于將所有大于或等于所述子圖應(yīng)用闊值 的所述差異值矩陣刪除，并將所有小于所述子圖應(yīng)用闊值的所述差異值矩陣保留，并將保 留的所述差異值矩陣對(duì)應(yīng)的所述子圖捜索窗口確定為與所述原始子圖匹配的所述目標(biāo)子 圖。17. 根據(jù)權(quán)利要求11所述的圖像捜索系統(tǒng)，其特征在于，還包括： 結(jié)果標(biāo)記模塊，用于在匹配出所述原始子圖對(duì)應(yīng)的所述目標(biāo)子圖之后，在所述圖像上 標(biāo)記所述目標(biāo)子圖。18. 根據(jù)權(quán)利要求11所述的圖像捜索系統(tǒng)，其特征在于，還包括： 訓(xùn)練圖像獲取模塊，用于獲取訓(xùn)練圖像集合和訓(xùn)練子圖集合； 訓(xùn)練標(biāo)記模塊，根據(jù)用戶(hù)輸入的標(biāo)記操作指令，在所述訓(xùn)練圖像集合上標(biāo)記與所述訓(xùn) 練子圖集合匹配的標(biāo)記區(qū)域； 圖像相似闊值計(jì)算模塊，用于根據(jù)所述訓(xùn)練圖像集合、所述訓(xùn)練子圖集合、所述標(biāo)記區(qū) 域W及預(yù)定的圖像相似闊值算法，計(jì)算出所述圖像相似闊值。19. 根據(jù)權(quán)利要求18所述的圖像搜索系統(tǒng)，其特征在于，所述圖像相似闊值算法為：其中，x'，y'是標(biāo)記區(qū)域中橫行和縱行的變量，X是訓(xùn)練子圖的行數(shù)，Y是訓(xùn)練子圖的列 數(shù)，N是參與訓(xùn)練的圖像匹配點(diǎn)的個(gè)數(shù)。20. 根據(jù)權(quán)利要求11~19任一項(xiàng)所述的圖像捜索系統(tǒng)，其特征在于，還包括： 指令接收模塊，用于在獲取圖像和原始子圖之前，接收子圖操作指令，所述子圖操作指 令中包括圖像和待捜索的原始子圖的信息； 子圖操作模塊，用于在捜索出所述目標(biāo)子圖后，根據(jù)所述子圖操作指令對(duì)所述目標(biāo)子 圖進(jìn)行操作。
【文檔編號(hào)】G06K9/66GK105989029SQ201510053712
【公開(kāi)日】2016年10月5日
【申請(qǐng)日】2015年2月2日
【發(fā)明人】王立
【申請(qǐng)人】阿里巴巴集團(tuán)控股有限公司