基于在圖像上無標記增強現(xiàn)實的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)碼應(yīng)用技術(shù)領(lǐng)域，涉及一種圖像識別技術(shù)，特別是涉及一種基于在圖像上無標記增強現(xiàn)實的系統(tǒng)和方法。
【背景技術(shù)】
[0002]眾所周知，圖像識別技術(shù)是目前應(yīng)用非常廣泛的一種技術(shù)，其通過對圖像的特征進行識別從而判斷圖像對應(yīng)的相關(guān)信息。如條碼加載技術(shù)，每種條碼有其特定的字符集；每個字符占有一定的寬度；具有一定的校驗功能；同時還具有對不同行的信息自動識別功能、及處理圖形旋轉(zhuǎn)變化點。如二維碼加載技術(shù)，二維碼是用某種特定的幾何圖形按一定規(guī)律在平面(二維方向上)分布的黑白相間的圖形記錄數(shù)據(jù)符號信息的；在代碼編制上巧妙地利用構(gòu)成計算機內(nèi)部邏輯基礎(chǔ)的“0”、“ I”比特流的概念，使用若干個與二進制相對應(yīng)的幾何形體來表示文字數(shù)值信息，通過圖象輸入設(shè)備或光電掃描設(shè)備自動識讀以實現(xiàn)信息自動處理。盡管條碼加載技術(shù)和二維碼加載技術(shù)在現(xiàn)實生活中得到了廣泛地應(yīng)用，給人們生產(chǎn)、生活帶來了極大的便利，但是存在有痕跡這一先天的缺陷，一是會會破壞畫面的美感；二是可以被仿制。
[0003]增強現(xiàn)實(Augmented Reality，簡稱AR)簡單來說是通過電腦技術(shù)，將虛擬的信息應(yīng)用到真實世界，真實的環(huán)境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在。增強現(xiàn)實提供了在一般情況下，不同于人類可以感知的信息。它不僅展現(xiàn)了真實世界的信息，而且將虛擬的信息同時顯示出來，兩種信息相互補充、疊加。增強現(xiàn)實有多種定義，為大家廣為接受的定義是將虛擬物體添加到現(xiàn)實世界中，為用戶提供更為豐富的體驗和信息，通過增強現(xiàn)實技術(shù)把計算機生成的圖形疊加到真實世界中。AR(Augmented Reality，增強現(xiàn)實)技術(shù)是一種全新的人機交互技術(shù)，通過智能終端設(shè)備和可視化技術(shù)將虛擬信息應(yīng)用到真實世界，使得虛擬信息和真實世界同時疊加到同一個畫面或空間呈現(xiàn)給用戶。隨著智能終端的普及，AR技術(shù)的應(yīng)用愈加廣泛，可以通過在智能終端上安裝AR應(yīng)用進行體驗。具體的，AR應(yīng)用的工作流程如下:終端通過攝像頭拍攝圖像幀；對圖像幀進行識別，確定AR目標物體；對圖像幀中的AR目標物體進行跟蹤，確定AR目標物體的位置；獲取與所述AR目標物體相關(guān)聯(lián)的AR虛擬信息，對圖像幀進行渲染，將所述AR虛擬信息疊加在AR目標物體上進行顯示，在終端屏幕上同時顯示AR目標物體和AR虛擬內(nèi)容以供用戶進行交互?，F(xiàn)有AR應(yīng)用技術(shù)存在計算量較大、視頻增強效果不穩(wěn)定、系統(tǒng)檢測準確率不高的缺限。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于克服現(xiàn)有在圖像上無標記增強現(xiàn)實技術(shù)中的不足，提供一種基于在圖像上無標記增強現(xiàn)實的系統(tǒng)和方法。
[0005]為了實現(xiàn)上述目的，本發(fā)明是通過以下技術(shù)方案來實現(xiàn)的:基于在圖像上無標記增強現(xiàn)實的系統(tǒng)，其特征在于:它包括圖像檢索系統(tǒng)，即使用手機攝像頭掃描場景，在數(shù)據(jù)庫中檢索場景中出現(xiàn)的圖像，尋找與之一致的圖像作為檢索結(jié)果；和增強現(xiàn)實系統(tǒng)，即將與該圖像對應(yīng)的視頻介紹渲染到場景中該圖像的位置，進行現(xiàn)實增強。
[0006]所述的圖像檢索采用不變性描述子ORB來對圖像進行特征點檢測和描述，具體過程檢索流程如下:
步驟1、利用不變性描述子ORB特征點檢測器對數(shù)據(jù)庫中的每一張圖像和待檢索圖像進行特征點檢測，(0RB是Oriented FAST and Rotated BRIEF的縮寫，ORB特征是將FAST特征點的檢測方法與BRIEF特征描述子結(jié)合起來，并在它們原來的基礎(chǔ)上做了改進與優(yōu)化，F(xiàn)AST 是 features from accelerated segment test 的縮寫，BRIEF 是 Binary RobustIndependent Elementary Features的縮寫)并使用不變性O(shè)RB描述子來描述每個特征點，得到256bit的二值特征。
[0007]步驟2、對數(shù)據(jù)庫中的某張圖像，對待檢索圖像的每一個特征點，通過特征點描述子的比較，在數(shù)據(jù)庫的這個圖像中尋找近鄰的特征點。
[0008]步驟3、對得到的特征點匹配對進行初篩選，去除誤匹配的特征點；原則是:(1)、特征點匹配對的歐式距離大于一定閾值的去除(本文中的距離都是歐式距離)；⑵、最近鄰和次近鄰的特征點匹配對的歐式距離比值小于一定閾值的去除；如果篩選后的匹配對少于一定閾值，則表明數(shù)據(jù)庫中該圖像和待檢索圖像非一致圖像。
[0009]步驟4、對經(jīng)過篩選后的匹配點對，運用RANSAC算法進行仿射矩陣的計算和內(nèi)點的查找即對匹配點對的二次篩選(內(nèi)點是通過RANSAC算法對匹配點對的二次篩選后得到的匹配點對，庫中圖像的特征點經(jīng)過仿射變換后在檢索圖像上的投影圖像就是內(nèi)點；RANSAC為RANdom SAmple Consensus的縮寫，它是根據(jù)一組包含異常數(shù)據(jù)的樣本數(shù)據(jù)集，計算出數(shù)據(jù)的數(shù)學模型參數(shù)，得到有效樣本數(shù)據(jù)的算法。)
步驟5、統(tǒng)計內(nèi)點個數(shù)，如果二次篩選后的匹配對少于一定閾值，則表明數(shù)據(jù)庫中該圖像和待檢索圖像非一致圖像。
[0010]步驟6、利用步驟4得到的仿射矩陣，對庫中圖像的五個參考點，四角和中心點進行仿射變換，得到變換后的五個點；如果變換后的五個點不滿足以下關(guān)系，則表明數(shù)據(jù)庫中該圖像和待檢索圖像非一致圖像。原則是:(1)、變換后，中心點依然在四個角中心。⑵、待檢索特征點在變換后四個角點內(nèi)部的數(shù)目要大于一定的閾值。(3)、面積要在一定的允許范圍。
[0011]步驟7、將對邊的差異作為幾何校驗誤差。庫中圖像都是矩形，經(jīng)過步驟6的仿射變換，得到庫中圖像在檢索圖像上的投影圖像，該圖像是四邊形，四條邊依次是:edgel，edge2，edge3，edge4.其中 edgel 和 edge3 是對邊，edge2 和 edge4 是對邊.Error 表示幾何校驗誤差，則:
Error = max (abs (edgel -e d g e 3) / (edgel + e d g e 3),abs (edge2 - edge4) / (edge2 + edge4));
Max表示最大值，abs表示絕對值。
[0012]步驟8、對數(shù)據(jù)庫中的每一個圖像，重復(fù)步驟2-7，取具有最小幾何校驗誤差的圖像作為最終的檢索結(jié)果。
[0013]由圖像檢索可以獲得估計的仿射矩陣A，為了獲得更加穩(wěn)定的仿射矩陣，需要對其仿射矩陣進行調(diào)優(yōu)；具體調(diào)優(yōu)步驟如下:
步驟1、將仿射矩陣A應(yīng)用到待檢索圖像中(即用仿射矩陣A對待檢索圖像進行仿射變換)，獲得變換后的圖像(仿射矩陣A和待檢索圖像進行矩陣乘法的結(jié)果)。
[0014]步驟2、對步驟I中獲得的變換圖像重新提取特征點和描述子。
[0015]步驟3、估計變換圖像與庫中圖像的仿射矩陣B。
[0016]步驟4、將矩陣A與矩陣B相乘，得到最終調(diào)優(yōu)后的仿射矩陣C。
[0017]步驟5、讀入檢索結(jié)果對應(yīng)的視頻的每一幀，將每一幀圖像應(yīng)用仿射矩陣C，通過OpenGL清染到場景中該圖像的位置，進行現(xiàn)實增強。(OpenGL，全寫Open Graphics Library是個定義了一個跨編程語言、跨平臺的編程接口規(guī)格的專業(yè)的圖形程序接口。它用于三維圖像或二維圖像，是一個功能強大，調(diào)用方便的底層圖形庫。)
本發(fā)明中，對特征點匹配對通過簡單的方法進行初篩選，以去除誤匹配的點，大大的減少了后續(xù)仿射矩陣估計的計算量，誤匹配的特征點匹配對包括:距離大于一定閾值的特征點匹配對，最近鄰特征點匹配對的距離和次近鄰的特征點匹配對的距離的比值小于一定閾值的特征點匹配對。
[0018]通過簡單的幾何校驗策略對估計的仿射矩陣進行校驗，取具有最小幾何校驗誤差的圖像作為最終的檢索結(jié)果，獲得了非常有效的檢索效果。
[0019]通過求解變換后的圖像的仿射變換，以獲得調(diào)優(yōu)后的仿射矩陣。得到了更穩(wěn)定的視頻增強效果。
[0020]本發(fā)明基于在圖像上無標記增強現(xiàn)實的系統(tǒng)和方法與現(xiàn)有技術(shù)相比，具有如下優(yōu)占.V.1、增強現(xiàn)實技術(shù)，將真實世界信息和虛擬世界信息“無縫”集成起來，獲得了超越現(xiàn)實的感官體驗。增強現(xiàn)實技術(shù)是把原本在現(xiàn)實世界的一定時間空間范圍內(nèi)很難體驗到的視覺信息，通過電腦等科學技術(shù)，模擬仿真后再疊加，將虛擬的信息應(yīng)用到真實世界，被人類感官所感知，從而達到超越現(xiàn)實的感官體驗。真實的環(huán)境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在。
[0021]2、本系統(tǒng)