專利名稱:零售環(huán)境中檢測欺詐性事件的基于圖像的方法和裝置的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及計(jì)算機(jī)可視技術(shù),更具體地說,涉及用于在零售環(huán)境檢測欺詐性事件的方法和裝置。
由于勞動力成本的日益增加,以及合格雇員候選人的數(shù)量不足,許多零售商店和其它機(jī)構(gòu)必須經(jīng)常在雇員數(shù)量不夠的情況下運(yùn)營。因此,在沒有足夠的雇員執(zhí)行每個(gè)期望的任務(wù)時(shí),管理人員必須排定各項(xiàng)職責(zé)的優(yōu)先級,以確保滿足最重要的任務(wù),或者找到執(zhí)行該任務(wù)的替代方法。例如,許多零售機(jī)構(gòu)利用自動化盜竊檢測系統(tǒng)來代替或輔助安全人員。
此外,許多商店沒有足夠的雇員來充分地監(jiān)視整個(gè)商店或其它場所,以達(dá)到例如安全目的。因此,許多公司和其它機(jī)構(gòu)將攝像機(jī)設(shè)置在各個(gè)位置以監(jiān)視顧客和雇員的活動。雖然攝像機(jī)產(chǎn)生的圖像通常允許由位于中心位置的一個(gè)人來監(jiān)視各個(gè)區(qū)域,但這種系統(tǒng)需要人員來進(jìn)行監(jiān)視以檢測感興趣事件。
零售商店每年因諸如商品失竊或欺詐性退貨之類的欺詐性為而損失相當(dāng)一部分收入。例如,以下現(xiàn)象并非不常見個(gè)別人進(jìn)店,拿起商品,假裝他們以前就已經(jīng)購買了該商品并試圖在沒有收據(jù)的情況下退貨。要零售人員監(jiān)視進(jìn)入指定商店的每個(gè)客戶的行為,即便可能,也是不切實(shí)際的。
此外,由于零售環(huán)境的競爭性質(zhì),多數(shù)零售者被迫堅(jiān)持相對寬松的退貨政策,允許在一定條件下在沒有收據(jù)的情況下退貨。因此,零售者無法有效地防止或阻止這類欺詐性退貨。因此,需要這樣一種監(jiān)控系統(tǒng),它采用基于圖像的的技術(shù)自動識別零售環(huán)境中的欺詐性事件。還需要一種事件監(jiān)控系統(tǒng),它采用規(guī)則數(shù)據(jù)庫來定義各欺詐性事件。
概而言之,公開了一種用于在零售環(huán)境中采用基于圖像的技術(shù)監(jiān)視場所以識別預(yù)定義欺詐性事件的方法和裝置。此公開的事件監(jiān)控系統(tǒng)包括一個(gè)或多個(gè)對準(zhǔn)給定零售場所的圖像捕獲裝置。所捕獲的圖像由事件監(jiān)控系統(tǒng)進(jìn)行處理,以識別一個(gè)或多個(gè)欺詐性事件并發(fā)起適當(dāng)?shù)捻憫?yīng),例如向雇員發(fā)送通知。
根據(jù)本發(fā)明的一個(gè)方面,利用若干規(guī)則來定義各種欺詐性事件。例如,可以根據(jù)本發(fā)明來設(shè)計(jì)各種規(guī)則,以檢測何時(shí)顧客穿著竊取的衣物出更衣室,或者何時(shí)顧客在沒有收據(jù)的條件下試圖以欺詐方式退貨。每條規(guī)則包含一個(gè)或多個(gè)該規(guī)則被觸發(fā)時(shí)必須予以滿足的條件,以及可選的在符合該規(guī)則時(shí)應(yīng)該執(zhí)行的相應(yīng)操作項(xiàng),如向雇員發(fā)送通知。每條規(guī)則的所述條件中的至少一個(gè)條件識別某種特征,這種特征必須是利用可視技術(shù)在圖像中檢測到的特征。在檢測到預(yù)定義事件時(shí),由事件監(jiān)控系統(tǒng)執(zhí)行相應(yīng)的操作(如果有的話)。
參照如下詳細(xì)說明和附圖,可以更全面地理解本發(fā)明及其其它特征和優(yōu)點(diǎn)。
圖1說明根據(jù)本發(fā)明的事件監(jiān)控系統(tǒng);圖2說明圖1所示事件數(shù)據(jù)庫中的樣表;圖3是體現(xiàn)本發(fā)明原理的示范性事件監(jiān)測過程的流程圖;圖4是包含本發(fā)明特征的示范性欺詐性退貨檢測過程的流程圖;圖1說明根據(jù)本發(fā)明的事件監(jiān)控系統(tǒng)100。通常,本發(fā)明所檢測的事件是零售環(huán)境中的欺詐性事件,如偷竊商品或試圖在沒有購買的情況下退貨,這些事件隨后統(tǒng)稱為“欺詐性事件”。如圖1所示,事件監(jiān)控系統(tǒng)100包括對準(zhǔn)一個(gè)或多個(gè)監(jiān)視區(qū)域160的一個(gè)或多個(gè)圖像捕獲裝置150-1至150-N(隨后將其統(tǒng)稱為圖像捕獲裝置150)。監(jiān)視區(qū)域160可以是任何可能發(fā)生欺詐性事件的場所,如商店的一個(gè)或多個(gè)入口、出口、過道、退貨柜臺、更衣室的接觸區(qū)或陳列區(qū)。
本發(fā)明認(rèn)識到欺詐性事件經(jīng)常在事后涉及違法審判。因此,根據(jù)本發(fā)明的另一個(gè)方面,可以為取證目的將圖像捕獲裝置150捕獲的圖像記錄并保存在例如圖像檔案數(shù)據(jù)庫175中。如以下進(jìn)一步的討論所述,與各檢測到的欺詐性事件相關(guān)的圖像可以可選地記錄在圖像檔案數(shù)據(jù)庫175中以作證據(jù)之用。在一個(gè)實(shí)施例中,預(yù)定義數(shù)量的在各個(gè)檢測到的欺詐性事件之前或之后的圖像幀可以連同事件發(fā)生的時(shí)間戳一起記錄在圖像檔案數(shù)據(jù)庫175中,例如用作證據(jù)。
各圖像捕獲裝置150可以具體化為例如用于捕獲圖像或視頻信息的固定的或全向傾斜變焦(PTZ)攝像機(jī)。圖像捕獲裝置150所生成的圖像由事件監(jiān)控系統(tǒng)100以如下參照圖3所討論的方式進(jìn)行處理,以識別一個(gè)或多個(gè)預(yù)定義欺詐性事件。在一種實(shí)現(xiàn)方式中,本發(fā)明采用如以下進(jìn)一步參照圖2所討論的事件數(shù)據(jù)庫200,事件數(shù)據(jù)庫200記錄定義各種欺詐性事件的若干規(guī)則。
各規(guī)則所定義的欺詐性事件可通過本發(fā)明的事件監(jiān)控系統(tǒng)100來檢測。如以下進(jìn)一步的討論所述,各規(guī)則包含該規(guī)則觸發(fā)所必須予以滿足的一個(gè)或多個(gè)判據(jù)以及可選的在啟用規(guī)則的預(yù)定義判據(jù)得到滿足時(shí)應(yīng)該執(zhí)行的相應(yīng)操作項(xiàng)。各規(guī)則的上述條件其中至少之一是利用本發(fā)明的基于圖像的技術(shù)在圖像中檢測到的條件。在檢測到所述的預(yù)定義欺詐性事件時(shí),由事件監(jiān)控系統(tǒng)100執(zhí)行相應(yīng)的操作(如果有的話),例如向雇員發(fā)送通知或記錄該事件以作證據(jù)之用(或兩者均執(zhí)行)。
如圖1所示以及以下參照圖3和圖4所作的進(jìn)一步討論,事件監(jiān)控系統(tǒng)100還包括事件檢測過程和欺詐性退貨檢測過程400。通常,事件檢測過程300對圖像捕獲裝置150所捕獲的圖像進(jìn)行分析并檢測一定數(shù)量的特定但典型的已在事件數(shù)據(jù)庫200中作了定義的欺詐性事件。欺詐性退貨檢測過程400對圖像捕獲裝置150所捕獲的圖像進(jìn)行分析并檢測何時(shí)有人試圖進(jìn)行欺詐性退貨。
事件監(jiān)控系統(tǒng)100可以實(shí)現(xiàn)為任何計(jì)算機(jī)裝置,如包含處理器120(如中央處理單元(CPU))、存儲器110(如RAM和/或ROM)的個(gè)人計(jì)算機(jī)或工作站。在備選的實(shí)現(xiàn)方式中,圖像處理系統(tǒng)100可以采用專用集成電路(ASIC)來實(shí)現(xiàn)。
圖2說明記錄定義各種欺詐性事件的各規(guī)則的事件數(shù)據(jù)庫200的典型表格。事件數(shù)據(jù)庫200中的每條規(guī)則包括規(guī)定啟用該規(guī)則的條件的預(yù)定義判據(jù)和可選的在該規(guī)則的有關(guān)判據(jù)得到滿足時(shí)應(yīng)該觸發(fā)的相應(yīng)操作項(xiàng)。通常,操作項(xiàng)定義規(guī)則被觸發(fā)時(shí)應(yīng)該執(zhí)行的一個(gè)或多個(gè)適當(dāng)步驟,如向適當(dāng)?shù)墓蛦T發(fā)送通知或?yàn)槿∽C目的記錄事件(或兩者均執(zhí)行)。
如圖2所示,示范性事件數(shù)據(jù)庫200維護(hù)多個(gè)記錄,如記錄205-210,各記錄分別與不同的規(guī)則相關(guān)聯(lián)。對每條規(guī)則,事件數(shù)據(jù)庫200在字段250中標(biāo)識規(guī)則判據(jù)而在字段260中標(biāo)識相應(yīng)的操作項(xiàng)(如果有的話)。
例如,記錄在記錄205中的規(guī)則是對應(yīng)于某個(gè)顧客試圖穿著未經(jīng)購買的衣物出更衣室的商品偷竊事件。如字段250所示,當(dāng)該顧客穿著不同于他進(jìn)入更衣室時(shí)所穿的衣物離開更衣室時(shí),記錄205中的規(guī)則就被觸發(fā)。如字段260所示,相應(yīng)的操作包括向雇員發(fā)送通知或?yàn)槿∽C目的監(jiān)視更衣室并記錄事件。
記錄205中定義的欺詐性事件可以這樣進(jìn)行檢測,例如通過捕獲進(jìn)店或進(jìn)入更衣室的每個(gè)顧客的圖像并提取標(biāo)識進(jìn)店的顧客所穿衣物的描述符。隨后,在顧客進(jìn)店或更衣室時(shí)提取的描述符可與顧客離開更衣室時(shí)提取的描述符作比較。如果描述符差異相當(dāng)大,則向雇員發(fā)送告警以作進(jìn)一步的調(diào)查。對合適的特征提取技術(shù)的詳細(xì)討論可參見例如題為“圖像處理系統(tǒng)中利用基于外觀和幾何特征的統(tǒng)計(jì)模型為個(gè)人打標(biāo)記”、2000年11月11日提交的、序號為09/703423的美國專利申請,該專利申請轉(zhuǎn)讓給本發(fā)明的受讓人,通過引用將其結(jié)合到本文中。
同樣,記錄在記錄206、207和210中的規(guī)則定義對應(yīng)于有顧客試圖在沒有收據(jù)的情況下退貨的事件。正如字段250中所示,記錄206、207和210中的規(guī)則在顧客試圖在沒有收據(jù)的情況下退貨且一個(gè)或多個(gè)(在各規(guī)則中規(guī)定的)條件得到滿足時(shí)被觸發(fā)。如字段260所示,相應(yīng)的操作為向雇員發(fā)送通知或?yàn)槿∽C目的監(jiān)視并記錄事件。
記錄206中定義的欺詐性事件可以這樣來檢測,例如通過捕獲進(jìn)店的每個(gè)顧客的圖像并利用上述特征提取技術(shù)確定該顧客進(jìn)入該商店時(shí)是否攜帶要退貨的商品。記錄207中定義的欺詐性事件可以這樣來檢測,例如通過捕獲進(jìn)店的每個(gè)顧客的圖像并利用面部識別技術(shù)來確定圖像是否對應(yīng)于以前進(jìn)入過該商店的某個(gè)顧客。此規(guī)則假設(shè)如果某人以前未來過此商店,則商品不可能是以前在此購買的。記錄210中定義的欺詐性事件可以這樣來檢測,例如通過監(jiān)視商店的關(guān)鍵區(qū)域并利用面部識別技術(shù)確定顧客最近是否曾經(jīng)在商店中存放退貨商品的區(qū)域中出現(xiàn)過。
對合適的面部識別技術(shù)的詳細(xì)討論可參見例如A.Colmenarez和T.S.Huang的題為“最大似然面部檢測”(Int′l Conf′on Automatic Faceand Gesture Recognition(IEEE,1996))和S.Gutta等人的題為“采用混合分類器的面部和手勢識別”(Int′l Conf′on Automatic Face andGesture Recognition(IEEE,1996)),這兩個(gè)文獻(xiàn)均通過引用結(jié)合到本文中。
圖3是說明示范性事件檢測過程300的流程圖。事件檢測過程300對圖像捕獲裝置150所捕獲的圖像進(jìn)行分析并檢測一定數(shù)量的特定但典型的已在事件數(shù)據(jù)庫200中作了定義的欺詐性事件。如圖3所示,事件檢測過程300首先在步驟310從圖像捕獲裝置150獲取監(jiān)視區(qū)域160的一個(gè)或多個(gè)圖像。
隨后,在步驟320利用視頻內(nèi)容分析(VCA)技術(shù)對圖像進(jìn)行分析。對合適的VCA技術(shù)的詳細(xì)討論可參見例如Nathanael Rota和Monique Thonnat所著的“用于可視監(jiān)控的視頻序列判讀”(Proc.Of the3d IEEE Int′l Workshop on Visual Surveillance,59-67,Dublin,Ireland(July 1,2000))和Jonathan Owens和Andrew Hunter所著的“將自組織地圖應(yīng)用于軌跡分類”(Proc.Of the 3d IEEE Int′l Workshop onVisual Surveillance,77-83,Dublin,Ireland(July 1,2000)),通過引用將這些文獻(xiàn)結(jié)合到本文中。通常,VCA技術(shù)用于識別圖像捕獲裝置150所獲取的圖像中的各種特征。
在步驟330期間執(zhí)行測試,以確定視頻內(nèi)容分析是否檢測到已在事件數(shù)據(jù)庫200中作了定義的預(yù)定義事件。如果在步驟330期間確定視頻內(nèi)容分析沒有檢測到預(yù)定義事件,則程序控制返回到步驟310,以上述方式繼續(xù)監(jiān)視區(qū)域160。
但是,如果在步驟330期間確定視頻內(nèi)容分析檢測到預(yù)定義事件,則在步驟340期間按事件數(shù)據(jù)庫200的字段260所指示的那樣對該事件進(jìn)行處理。如前所述,根據(jù)本發(fā)明的一個(gè)方面,在步驟350可選地把與檢測到的欺詐性事件相關(guān)的圖像連同時(shí)間戳一起記錄在圖像檔案數(shù)據(jù)庫175中,以作證據(jù)之用。然后程序控制結(jié)束(或返回到步驟310并以上述方式繼續(xù)監(jiān)視區(qū)域160)。
如前所述,欺詐性退貨檢測過程400對圖像捕獲裝置150所獲取的圖像進(jìn)行分析并檢測何時(shí)有人試圖進(jìn)行欺詐性退貨。圖4所示的示范性實(shí)施例對事件數(shù)據(jù)庫200的記錄206和207中定義的欺詐性事件進(jìn)行監(jiān)測。如圖4所示,欺詐性退貨檢測過程400首先在步驟410獲取每個(gè)進(jìn)入指定商店的顧客的一個(gè)或多個(gè)圖像。
在步驟420期間執(zhí)行測試以確定是否有人試圖在沒有收據(jù)的情況下退貨。一旦在步驟420期間確定有人試圖在沒有收據(jù)的情況下退貨,則程序控制執(zhí)行步驟430。
在步驟430期間對照以前進(jìn)入過商店的那些顧客的歷史圖像數(shù)據(jù)庫來執(zhí)行面部識別分析。在步驟435期間執(zhí)行測試以確定試圖退貨的顧客是否曾經(jīng)進(jìn)入過商店。通常,如果未檢測到顧客以前曾進(jìn)入過商店,則很有可能該顧客以前并未光顧并合法地購買了該退貨商品。如果在步驟435確定試圖退貨的顧客曾經(jīng)進(jìn)入過商店,則不會觸發(fā)記錄207所定義的欺詐性事件,程序控制于是進(jìn)行到步驟440。
但是,如果在步驟435確定試圖退貨的顧客以前從未進(jìn)入過商店,則有可能該顧客從未購買過該商品,于是在步驟450向雇員發(fā)送通知以進(jìn)行進(jìn)一步的調(diào)查。此外,如前所述,根據(jù)本發(fā)明的一個(gè)方面,在步驟460可選地將與檢測到的欺詐性事件相關(guān)的圖像連同時(shí)間戳一起記錄在圖像檔案數(shù)據(jù)庫175,以作證據(jù)之用。程序控制然后結(jié)束(或返回到步驟420,以上述方式繼續(xù)檢測潛在的欺詐性事件。
在步驟440執(zhí)行特征提取分析以標(biāo)識顧客進(jìn)店時(shí)攜帶的物品。在步驟445執(zhí)行測試以確定顧客進(jìn)店時(shí)是否可能攜帶退貨商品。如果在步驟445確定顧客進(jìn)店時(shí)未攜帶該退貨商品,則程序控制繼續(xù)到步驟450以作進(jìn)一步的調(diào)查,并以上述方式繼續(xù)。
但是,如果在步驟445確定顧客在進(jìn)店時(shí)可能攜帶了退貨商品,則不觸發(fā)記錄206所定義的欺詐性事件,程序控制返回到步驟420,以繼續(xù)監(jiān)測其它欺詐性事件。
應(yīng)理解,本說明書中所示及所述的各個(gè)實(shí)施例和變化只用于說明本發(fā)明的原理,本專業(yè)的技術(shù)人員可以在不背離本發(fā)明的精神和范圍的前提下作出各種修改。
權(quán)利要求
1.一種用于在零售場所(160)檢測欺詐性事件的方法,所述方法包括建立定義所述欺詐性事件的規(guī)則(205-210),所述規(guī)則(205-210)包括至少一個(gè)條件(250);處理所述零售場所(160)的至少一個(gè)圖像以標(biāo)識所述條件(250);以及如果符合所述規(guī)則(205-210),則執(zhí)行所定義的操作(260)。
2.如權(quán)利要求1所述的方法,其特征在于還包括在符合所述規(guī)則(205-210)時(shí)記錄所述至少一個(gè)圖像的步驟。
3.如權(quán)利要求1所述的方法,其特征在于,所述欺詐性事件是指某人竊取商品。
4.如權(quán)利要求1所述的方法,其特征在于,所述欺詐性事件是指某人試圖在沒有收據(jù)的情況下退貨。
5.如權(quán)利要求4所述的方法,其特征在于,以前沒有在所述零售場所(160)檢測到所述試圖在沒有收據(jù)的情況下退貨的人。
6.如權(quán)利要求4所述的方法,其特征在于,已在存放所述商品的所述零售場所(160)的某個(gè)區(qū)域中檢測所述試圖在沒有收據(jù)的情況下退貨的人。
7.如權(quán)利要求4所述的方法,其特征在于,所述試圖在沒有收據(jù)的情況下退貨的人在所述人進(jìn)入所述零售場所(160)時(shí)未攜帶所述商品。
8.如權(quán)利要求1所述的方法,其特征在于,所述處理步驟還包括對所述圖像執(zhí)行面部識別分析的步驟。
9.如權(quán)利要求1所述的方法,其特征在于,所述處理步驟還包括對所述圖像執(zhí)行特征提取(260)分析的步驟。
10.一種用于在零售場(160)所檢測欺詐性事件的方法,所述方法包括獲取所述零售場所(160)的至少一個(gè)圖像;利用視頻內(nèi)容分析技術(shù)對所述圖像進(jìn)行分析,以標(biāo)識與所述欺詐性事件相關(guān)的所述圖像中的至少一個(gè)預(yù)定義特征;以及如果符合所述規(guī)則(205-210),則執(zhí)行定義的操作(260)。
11.一種用于在零售場所(160)檢測欺詐性事件的系統(tǒng)(100),所述系統(tǒng)包括存儲計(jì)算機(jī)可讀代碼的存儲器(110);以及工作時(shí)連接到所述存儲器(110)的處理器(120),所述處理器(120)配置為執(zhí)行所述計(jì)算機(jī)可讀代碼,所述計(jì)算機(jī)可讀代碼配置為建立定義所述欺詐性事件的規(guī)則(205-210),所述規(guī)則(205-210)包括至少一個(gè)條件(250);處理所述零售場所(160)的至少一個(gè)圖像以標(biāo)識所述條件(250);以及如果符合所述規(guī)則(205-210),則執(zhí)行所定義的操作(260)。
12.一種用于在零售場所(160)檢測欺詐性事件的系統(tǒng)(100),所述系統(tǒng)包括存儲計(jì)算機(jī)可讀代碼的存儲器(110);以及工作時(shí)連接到所述存儲器(110)的處理器(120),所述處理器(120)配置為執(zhí)行所述計(jì)算機(jī)可讀代碼,所述計(jì)算機(jī)可讀代碼配置為獲取所述零售場所(160)的至少一個(gè)圖像;利用視頻內(nèi)容分析技術(shù)對所述圖像進(jìn)行分析,以標(biāo)識與所述欺詐性事件相關(guān)的所述圖像中的至少一個(gè)預(yù)定義特征;以及如果符合所述規(guī)則(205-210),則執(zhí)行定義的操作(260)。
13.一種用于在零售場所(160)檢測欺詐性事件的產(chǎn)品,所述產(chǎn)品包括含有計(jì)算機(jī)可讀代碼段的計(jì)算機(jī)可讀媒體,所述計(jì)算機(jī)可讀程序代碼段包括建立定義所述欺詐性事件的規(guī)則(205-210)的步驟,所述規(guī)則(205-210)包括至少一個(gè)條件(250);處理所述零售場所(160)的至少一個(gè)圖像以標(biāo)識所述條件(250)的步驟;以及在符合所述規(guī)則(205-210)時(shí)執(zhí)行所定義的操作(260)的步驟。
14.一種用于在零售場所(160)檢測欺詐性事件的產(chǎn)品,所述產(chǎn)品包括含有計(jì)算機(jī)可讀代碼段的計(jì)算機(jī)可讀媒體,所述計(jì)算機(jī)可讀程序代碼段包括獲取所述零售場所(160)的至少一個(gè)圖像的步驟;利用視頻內(nèi)容分析技術(shù)對所述圖像進(jìn)行分析,以標(biāo)識與所述欺詐性事件相關(guān)的所述圖像中的至少一個(gè)預(yù)定義特征的步驟;以及在符合所述規(guī)則(205-210)時(shí)執(zhí)行所定義的操作(260)的步驟。
全文摘要
公開了一種利用基于圖像的技術(shù)監(jiān)控零售場所以識別預(yù)定義欺詐性事件的方法和裝置。對捕獲的圖像進(jìn)行處理以標(biāo)識一個(gè)或多個(gè)預(yù)定義欺詐性事件并發(fā)起適當(dāng)?shù)捻憫?yīng),如向雇員發(fā)送通知以作進(jìn)一步調(diào)查或?yàn)槿∽C目的記錄該事件。若干規(guī)則用于定義各種欺詐性事件。例如,可以制訂規(guī)則來檢測何時(shí)顧客穿著竊取的衣物出更衣室,或者何時(shí)顧客在沒有收據(jù)的條件下試圖以欺詐方式退貨。每條規(guī)則包含一個(gè)或多個(gè)必須予以滿足的條件和當(dāng)符合該規(guī)則時(shí)應(yīng)該執(zhí)行的相應(yīng)操作項(xiàng)。每條規(guī)則的所述條件中的至少一個(gè)條件識別某種特征,這種特征必須是利用可視技術(shù)在圖像中檢測到的特征。還公開了事件檢測過程,事件監(jiān)測過程對捕獲到的圖像進(jìn)行分析,以檢測由事件規(guī)則所定義的一個(gè)或多個(gè)欺詐性事件。
文檔編號G08B31/00GK1543631SQ02816182
公開日2004年11月3日 申請日期2002年8月2日 優(yōu)先權(quán)日2001年8月22日
發(fā)明者S·V·R·古特塔, A·科梅納雷滋, M·特拉科維, S V R 古特塔, 紡衫鬃, 莆 申請人:皇家飛利浦電子股份有限公司