定位卡片區(qū)域的方法和設(shè)備的制作方法
【專利摘要】本申請涉及一種定位卡片區(qū)域的方法和設(shè)備，其中，該方法可以包括：在針對卡片拍攝的圖像幀的預(yù)定義區(qū)域中確定與卡片邊緣相關(guān)的目標(biāo)直線段；將所述目標(biāo)直線段組合成四邊形并從中確定候選四邊形；在所述候選四邊形內(nèi)的特定區(qū)域中確定與數(shù)字序列相關(guān)的候選直線段；以及基于與候選直線段相關(guān)的數(shù)字序列的特性，將與所述數(shù)字序列的特性相符的目標(biāo)四邊形定位為卡片區(qū)域。根據(jù)本申請的技術(shù)方案，通過利用卡片的數(shù)字序列的特性，從而驗證復(fù)雜背景下得到的多個候選四邊形的有效性并最終確定卡片區(qū)域，進(jìn)而實現(xiàn)了在復(fù)雜的環(huán)境背景下對卡片區(qū)域的快速且精確的定位。
【專利說明】定位卡片區(qū)域的方法和設(shè)備

【技術(shù)領(lǐng)域】
[0001] 本申請涉及圖像處理領(lǐng)域，更具體地涉及一種定位卡片區(qū)域的方法和設(shè)備。

【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)的發(fā)展，在線支付、手機(jī)支付等快捷支付已經(jīng)越來越普遍。在此期間， 需要銀行卡用戶直接輸入卡信息的情況越來越多。使用圖像捕捉設(shè)備獲取銀行卡卡面信 息，輔助信息快速錄入也已成為潮流趨勢。
[0003] 目前市面上的大部分此類應(yīng)用程序都難以提供令人滿意的用戶體驗，其中很關(guān)鍵 的一點就是用戶使用手機(jī)拍攝卡片時，卡片定位算法無法適應(yīng)多變的復(fù)雜背景，難以快速 精確的進(jìn)行卡片定位。大部分程序往往需要用戶將卡片放置的相對簡單的背景下，并且需 要手動觸發(fā)拍照后再做檢測和識別。從交互體驗上來說，這樣的使用方式極其不自然的，會 導(dǎo)致用戶容忍度快速下降。
[0004] 因此，需求一種在集快速、準(zhǔn)確和便捷于一身的銀行卡信息輸入方式中快速準(zhǔn)確 定位卡片區(qū)域的方法。


【發(fā)明內(nèi)容】

[0005] 因此，本申請的目的在于提供一種在針對卡片拍攝的圖像幀中定位卡片區(qū)域的技 術(shù)，以克服上述缺陷。
[0006] 根據(jù)本申請一個方面的實施例，提供一種定位卡片區(qū)域的方法，包括：在針對卡片 拍攝的圖像幀的預(yù)定義區(qū)域中確定與卡片邊緣相關(guān)的目標(biāo)直線段；將所述目標(biāo)直線段組合 成四邊形并從中確定候選四邊形；在所述候選四邊形內(nèi)的特定區(qū)域中確定與數(shù)字序列相關(guān) 的候選直線段；以及基于與候選直線段相關(guān)的數(shù)字序列的特性，將與所述數(shù)字序列的特性 相符的目標(biāo)四邊形定位為卡片區(qū)域。
[0007] 根據(jù)本申請的實施例，在該方法中，所述預(yù)定義區(qū)域是基于圖像幀上的引導(dǎo)框的 四周的預(yù)定范圍。
[0008] 根據(jù)本申請的實施例，在該方法中，在所述圖像幀的預(yù)定義區(qū)域中確定與卡片邊 緣相關(guān)的目標(biāo)直線段進(jìn)一步包括：查找圖像幀中的預(yù)定義區(qū)域中的直線段；以及將與引導(dǎo) 框的四條邊界所形成的夾角小于第一夾角閾值的直線段確定為目標(biāo)直線段。
[0009] 根據(jù)本申請的實施例，在該方法中，查找圖像幀中的預(yù)定義區(qū)域中的直線段進(jìn)一 步包括：使用最小二乘法對預(yù)定義區(qū)域中的邊緣進(jìn)行直線擬合以查找到直線段。
[0010] 根據(jù)本申請的實施例，在該方法中，分別在候選四邊形內(nèi)的特定區(qū)域中確定與數(shù) 字序列相關(guān)的候選直線段進(jìn)一步包括：在所述四邊形的特定區(qū)域內(nèi)進(jìn)行邊緣檢測以獲取包 含邊緣信息的二值圖像；針對所述二值圖像執(zhí)行Hough變換以獲得與數(shù)字特征序列相關(guān)的 直線段；以及從直線段中確定與數(shù)字特征序列相關(guān)的候選直線段。
[0011] 根據(jù)本申請的實施例，該方法進(jìn)一步包括：基于目標(biāo)四邊形,獲取與該目標(biāo)四邊形 圖像相映射的矩形圖像。
[0012] 根據(jù)本申請的實施例，在該方法中，基于目標(biāo)四邊形,獲取與該目標(biāo)四邊形圖像相 映射的矩形圖像包括：基于目標(biāo)四邊形，獲取所述目標(biāo)四邊形到矩形的單映矩陣；以及基 于所述單映矩陣，獲取與該目標(biāo)四邊形圖像相映射的矩形圖像。
[0013] 根據(jù)本申請另一方面的實施例，提供一種定位卡片區(qū)域的設(shè)備，包括：第一線段 確定模塊，用于在針對卡片拍攝的圖像幀的預(yù)定義區(qū)域中確定與卡片邊緣相關(guān)的目標(biāo)直線 段；形狀確定模塊，用于將所述目標(biāo)直線段組合成四邊形并從中確定候選四邊形；第二線 段確定模塊，用于在所述候選四邊形內(nèi)的特定區(qū)域中確定與數(shù)字序列相關(guān)的候選直線段； 以及卡片定位模塊，用于基于與候選直線段相關(guān)的數(shù)字序列的特性，將與所述數(shù)字序列的 特性相符的目標(biāo)四邊形定位為卡片區(qū)域。
[0014] 與現(xiàn)有技術(shù)相比，根據(jù)本申請的技術(shù)方案，通過利用卡片的數(shù)字序列的特性，從而 驗證復(fù)雜背景下得到的多個候選四邊形的有效性并最終確定卡片區(qū)域，進(jìn)而實現(xiàn)了在復(fù)雜 的環(huán)境背景下對卡片區(qū)域的快速且精確的定位。

【專利附圖】

【附圖說明】
[0015] 此處所說明的附圖用來提供對本申請的進(jìn)一步理解，構(gòu)成本申請的一部分，本申 請的示意性實施例及其說明用于解釋本申請，并不構(gòu)成對本申請的不當(dāng)限定。在附圖中：
[0016] 圖1示出了根據(jù)本申請實施例的定位卡片區(qū)域方法的流程圖；
[0017] 圖2示出了根據(jù)本申請實施例的在所述圖像幀的預(yù)定義區(qū)域中查找目標(biāo)直線段 的步驟流程圖；
[0018] 圖3示意性地示出了根據(jù)本申請實施例的確定目標(biāo)四邊形的示意圖；
[0019] 圖4示意性地示出了根據(jù)本申請實施例的將卡片圖像由目標(biāo)四邊形歸一化為矩 形的示意圖；以及
[0020] 圖5示出了根據(jù)本申請實施例的卡片區(qū)域定位設(shè)備的框圖。

【具體實施方式】
[0021] 為使本申請的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本申請具體實施例及 相應(yīng)的附圖對本申請技術(shù)方案進(jìn)行清楚、完整地描述。顯然，所描述的實施例僅是本申請一 部分實施例，而不是全部的實施例?；诒旧暾堉械膶嵤├?，本領(lǐng)域普通技術(shù)人員在沒有做 出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護(hù)的范圍。
[0022] 參考圖1，圖1示出了根據(jù)本申請實施例的定位卡片區(qū)域方法的流程圖。
[0023] 在步驟S110處，在針對卡片拍攝的圖像幀的預(yù)定義區(qū)域中確定目標(biāo)直線段。
[0024] 在本申請的一個應(yīng)用場景中，例如，當(dāng)用戶通過諸如便攜式電腦、掌上電腦、手機(jī) 之類的便攜式終端進(jìn)行在線支付而需要輸入諸如卡號、有效期等的銀行卡信息時，可以通 過便攜式終端的圖像獲取裝置例如攝像頭來識別和輸入卡信息。那么首先就需要定位卡片 區(qū)域。因此，首先要在針對所述卡片拍攝的圖像幀的預(yù)定義區(qū)域中確定目標(biāo)直線段。
[0025]確定目標(biāo)直線段的過程如圖2所示。例如，在步驟201處，可以查找針對卡片拍攝 的圖像幀中的預(yù)定義區(qū)域中的直線段，然后在步驟2〇2處將與預(yù)定義區(qū)域的四條邊界所形 成夾角小于第一夾角閾值的直線段確定為目標(biāo)直線段。其中，預(yù)定義區(qū)域是基于圖像幀上 的引導(dǎo)框的四周的預(yù)定范圍。其中，該引導(dǎo)框是虛擬的且覆蓋于所拍攝的圖像幀上的。其 中，可以使用最小二乘法對預(yù)定義區(qū)域中的邊緣進(jìn)行直線擬合以查找到直線段。
[0026] 具體而言，以銀行卡為例，例如需要拍攝該銀行卡并對圖像幀中的該銀行卡的位 置進(jìn)行定位，那么在拍攝視窗中使用引導(dǎo)框(引導(dǎo)框可以是與卡片形狀相適應(yīng)的的，例如可 以是矩形)作為引導(dǎo)，在對銀行卡拍攝時會試圖將卡片與顯示視窗上的引導(dǎo)框進(jìn)行對齊。更 具體地，顯示視窗將顯示攝像頭所拍攝到的場景，引導(dǎo)框?qū)冤朣D (On Screen Display 隨屏顯示技術(shù))方式疊加在所顯示的實時視頻上，從而形成一個引導(dǎo)框。用戶移動攝像頭或 者卡片，嘗試將所拍攝到的卡片圖像與引導(dǎo)框進(jìn)行對齊，在此過程中連續(xù)采集視頻幀并且 可以在視頻幀中選取任意圖像幀并對其預(yù)定義區(qū)域進(jìn)行邊緣檢測，并使用最小二乘法對邊 緣檢測結(jié)果進(jìn)行直線擬合，并且將與引導(dǎo)區(qū)域的四條邊界所形成的夾角小于第一夾角閾值 的直線段確定為目標(biāo)直線段。所述第一夾角閾值例如可以選擇為20度。
[0027] 在查找到目標(biāo)直線段之后，該方法繼續(xù)到步驟1〇2。在步驟102處，將所述目標(biāo)直 線段組合成四邊形并從中確定候選四邊形。
[0028] 具體而言，根據(jù)在步驟101處查找到的目標(biāo)直線段，組合成可能的所有四邊形。接 著，可以對所有四邊形再進(jìn)行篩選。例如，如果一個四邊形的鄰邊夾角小于第二角度閾值， 則將其濾除。所述第二夾角閾值范圍例如可以選擇為70度到110度內(nèi)的任意度數(shù)。最終 篩選出符合要求的一個或多個候選四邊形。記錄所述一個或多個候選四邊形的四個頂點位 置以備后續(xù)使用。
[0029] 在步驟103處，在候選四邊形內(nèi)的特定區(qū)域中確定與數(shù)字序列相關(guān)的候選直線 段。
[0030] 具體而言，首先，可以在候選四邊形的特定區(qū)域內(nèi)進(jìn)行邊緣檢測以獲取包含邊緣 信息的二值圖像，然后針對所述二值圖像執(zhí)行Hough變換以獲得與數(shù)字序列相關(guān)的直線 段。其中，所述特定區(qū)域可以是與候選四邊形中的數(shù)字序列相關(guān)聯(lián)的區(qū)域。例如，以銀行卡 為例，所述特定區(qū)域為銀行卡卡號所處的區(qū)域。
[0031] 基于所獲得的直線段，濾除長度過短以及與候選四邊形上下邊夾角過大的線段從 而從上述直線段中確定與數(shù)字序列相關(guān)的候選直線段。例如，長度超過引導(dǎo)框長邊的1/2 長度的直線段將被刪除。例如，如果直線段與候選四邊形所形成的夾角大于1〇度，則該直 線段也將被刪除。通過上述方式，檢測到的剩余的直線段作為與數(shù)字序列相關(guān)的候選直線 段。其中，該候選直線段是數(shù)字序列的上邊緣和下邊緣所形成的兩條線段。
[0032] 以上各個段落中關(guān)于直線段的長度以及夾角的選擇僅為本申請的可選示例，本申 請不限于此，而是還可以按照需要進(jìn)行其他適當(dāng)?shù)倪x擇。
[0033] 在步驟104處，基于與候選直線段相關(guān)的數(shù)字序列的特性，將與所述數(shù)字序列的 特性相符的目標(biāo)四邊形定位為卡片區(qū)域。
[0034] 具體而言，在步驟103處獲得了與數(shù)字序列相關(guān)的候選直線段，例如，與銀行卡的 卡號序列相關(guān)的候選直線段。然后如圖3所示，基于候選直線段并根據(jù)數(shù)字序列的特性，將 與所述數(shù)字序列的特性相符的目標(biāo)四邊形定位為卡片區(qū)域。圖3示意性地示出了根據(jù)本申 請實施例的定位目標(biāo)四邊形的示意圖。
[0035] 基于與候選直線段相關(guān)的數(shù)字序列，利用數(shù)字序列的特性驗證四邊形的有效性， 濾除不符合該特性的所有四邊形,將與所述數(shù)字序列的特性相符的目標(biāo)四邊形定位為卡片 區(qū)域。具體而言，與候選直線段相關(guān)的數(shù)字序列的特性也即是該透視投影特性。透視投影特 性是指數(shù)字區(qū)域的上邊緣和下邊緣所構(gòu)成線段的消隱點與卡片卡面位置所形成的四邊形 的上下兩條邊的消隱點重合(在平行的情況下，消隱點出現(xiàn)在無窮遠(yuǎn))，并且數(shù)字區(qū)域上下 邊緣形成的夾角應(yīng)小于等于四邊形上下兩條邊的夾角。也即是說，候選直線段與目標(biāo)四邊 形之間符合透視投影特性，從而利用與候選直線段相關(guān)的透視投影特性來確定與之相符的 目標(biāo)四邊形。因此，基于上述原則，濾除不符合透視投影特性的多余線段所形成的四邊形， 獲得目標(biāo)四邊形。
[0036] 這里需要指出的是，上面的實施例都是以銀行卡為例，但實際上，本申請中的方案 并不限于銀行卡，而是可以應(yīng)用于符合標(biāo)準(zhǔn)的各種標(biāo)準(zhǔn)卡片，例如身份證、會員卡等等。
[0037] 根據(jù)本申請實施例的方法，進(jìn)一步可以包括基于目標(biāo)四邊形，獲取與該四邊形圖 像相映射的矩形圖像?；谀繕?biāo)四邊形，獲取目標(biāo)四邊形到矩形的單映矩陣，然后基于所述 單映矩陣，獲取與該目標(biāo)四邊形圖像相映射的矩形圖像。
[0038] 圖4示意性地示出了根據(jù)本申請實施例的將卡片圖像由目標(biāo)四邊形歸一化為矩 形的步驟示意圖。由于已知目標(biāo)卡片為矩形，因此求解上一步檢測到的目標(biāo)四邊形到矩形 的單映矩陣，通過該單映矩陣，將目標(biāo)四邊形圖像映射成為一個矩形圖像，該矩形圖像就是 矯正后的卡片圖像。映射公式如下：
[0039]

【權(quán)利要求】
1. 一種定位卡片區(qū)域的方法，其特征在于，包括： 在針對卡片拍攝的圖像幀的預(yù)定義區(qū)域中確定與卡片邊緣相關(guān)的目標(biāo)直線段； 將所述目標(biāo)直線段組合成四邊形并從中確定候選四邊形； 在所述候選四邊形內(nèi)的特定區(qū)域中確定與數(shù)字序列相關(guān)的候選直線段；以及 基于與候選直線段相關(guān)的數(shù)字序列的特性，將與所述數(shù)字序列的特性相符的目標(biāo)四邊 形定位為卡片區(qū)域。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)定義區(qū)域是基于圖像幀上的引導(dǎo) 框的四周的預(yù)定范圍。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述圖像幀的預(yù)定義區(qū)域中確定與卡 片邊緣相關(guān)的目標(biāo)直線段進(jìn)一步包括： 查找圖像幀中的預(yù)定義區(qū)域中的直線段；以及 將與引導(dǎo)框的四條邊界所形成的夾角小于第一夾角閾值的直線段確定為目標(biāo)直線段。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，查找圖像幀中的預(yù)定義區(qū)域中的直線段 進(jìn)一步包括：使用最小二乘法對預(yù)定義區(qū)域中的邊緣進(jìn)行直線擬合以查找到直線段。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，分別在候選四邊形內(nèi)的特定區(qū)域中確定 與數(shù)字序列相關(guān)的候選直線段進(jìn)一步包括： 在所述四邊形的特定區(qū)域內(nèi)進(jìn)行邊緣檢測以獲取包含邊緣信息的二值圖像； 針對所述二值圖像執(zhí)行Hough變換以獲得與數(shù)字特征序列相關(guān)的直線段；以及 從直線段中確定與數(shù)字特征序列相關(guān)的候選直線段。 _
6. 根據(jù)權(quán)利要求1-5任一項所述的方法，進(jìn)一步包括：基于目標(biāo)四邊形，獲取與該目標(biāo) 四邊形圖像相映射的矩形圖像。
7. 根據(jù)權(quán)利要求6所述的方法，基于目標(biāo)四邊形，獲取與該目標(biāo)四邊形圖像相映射的 矩形圖像包括： 基于目標(biāo)四邊形，獲取所述目標(biāo)四邊形到矩形的單映矩陣；以及 基于所述單映矩陣，獲取與該目標(biāo)四邊形圖像相映射的矩形圖像。
8. -種定位卡片區(qū)域的設(shè)備，其特征在于，包括： 第一線段確定模塊，用于在針對卡片拍攝的圖像幀的預(yù)定義區(qū)域中確定與卡片邊緣相 關(guān)的目標(biāo)直線段； 形狀確定模塊，用于將所述目標(biāo)直線段組合成四邊形并從中確定候選四邊形； 第二線段確定模塊，用于在所述候選四邊形內(nèi)的特定區(qū)域中確定與數(shù)字序列相關(guān)的候 選直線段；以及 卡片定位模塊，用于基于與候選直線段相關(guān)的數(shù)字序列的特性，將與所述數(shù)字序列的 特性相符的目標(biāo)四邊形定位為卡片區(qū)域。
9. 根據(jù)權(quán)利要求8所述的設(shè)備，其特征在于，所述預(yù)定義區(qū)域是基于圖像巾貞上的引導(dǎo) 框的四周的預(yù)定范圍。
10. 根據(jù)權(quán)利要求9所述的設(shè)備，其特征在于，所述第一線段確定模塊進(jìn)一步包括： 查找子模塊，用于查找圖像幀中的預(yù)定義區(qū)域中的直線段；以及 第一線段確定子模塊，用于將與引導(dǎo)框的四條邊界所形成的夾角小于第一夾角閾值的 直線段確定為目標(biāo)直線段。
11. 根據(jù)權(quán)利要求10所述的設(shè)備，其特征在于，查找子模塊使用最小二乘法對預(yù)定義 區(qū)域中的邊緣進(jìn)行直線擬合以查找到直線段。
12. 根據(jù)權(quán)利要求8所述的設(shè)備，其特征在于，所述第二線段確定模塊進(jìn)一步包括： 檢測子模塊，用于在所述四邊形的特定區(qū)域內(nèi)進(jìn)行邊緣檢測以獲取包含邊緣信息的二 值圖像； 變換子模塊，用于針對所述二值圖像執(zhí)行Hough變換以獲得與數(shù)字特征序列相關(guān)的直 線段；以及 第二線段確定子模塊，用于從所述直線段中確定與數(shù)字特征序列相關(guān)的候選直線段。
13. 根據(jù)權(quán)利要求8-12任一項所述的設(shè)備，其特征在于，進(jìn)一步包括：獲取模塊，用于 基于目標(biāo)四邊形，獲取與該目標(biāo)四邊形圖像相映射的矩形圖像。
14. 根據(jù)權(quán)利要求13所述的設(shè)備，獲取模塊包括： 第一獲取子模塊，用于基于目標(biāo)四邊形，獲取所述目標(biāo)四邊形到矩形的單映矩陣；以及 第二獲取子模塊，用于基于所述單映矩陣，獲取與該目標(biāo)四邊形圖像相映射的矩形圖 像。
【文檔編號】G06T7/60GK104217444SQ201310216574
【公開日】2014年12月17日 申請日期:2013年6月3日 優(yōu)先權(quán)日:2013年6月3日
【發(fā)明者】陳果, 李揚 申請人:支付寶（中國）網(wǎng)絡(luò)技術(shù)有限公司