檢測數(shù)字圖像中的興趣點的方法
【專利說明】檢測數(shù)字圖像中的興趣點的方法
[0001] 本發(fā)明設(shè)及處理數(shù)字圖像，更精確地設(shè)及在該樣的圖像中檢測"興趣點"或"角 點"，尤其設(shè)及旨在用于機器人和計算機視覺系統(tǒng)的處理。
[0002] "角點"、"興趣點"或"地標"是圖像中具有不變性特征的小尺寸元素，從而尤其允 許將其從一個圖像到下一個圖像中識別出來。
[0003] 分析圖像中各興趣點的位移被各種形狀識別算法用于分析相機位移、重構(gòu)二維或 S維空間等。
[0004] 基本概念在于在一個圖像中檢測到的興趣點通常在后面的圖像中保持為興趣點， 使得分析圖像的動態(tài)變化因此被簡化為分析興趣點的位置改變，即分析興趣點的演進列 表，W從其提取相關(guān)的描述符。
[0005] 對圖像中的興趣點的令人滿意的檢測因此是任何該種類型的處理的必要先決條 件，在該檢測必須由板載系統(tǒng)通過實時地或準實時地識別興趣點并提取描述符"在空中"實 現(xiàn)的情況下，所使用的檢測算法也必須是穩(wěn)健的且在計算資源方面是經(jīng)濟的。
[0006] 已提出了檢測興趣點的各種算法，其中尤其值得一提的是FAST(來自加速段測試 的特征^ea化resfromAcceleratedSegmentTest))、洲RF(加速穩(wěn)健特征（Speeded-Up RobustFeatures))或SIFT(尺度不變特征變換（Scale-InvariantFea化rehansform)) 算法。
[0007] FAST算法具體由臥下描述：
[0008] [1]E.Rosten,R.Porter,andT.Drummond,"FasterandBetter:AMachine LearningApproachtoCornerDetection",IEEETrans.PatternAnalysisandMachine Intelligence,Vol. 32,pp. 105-119, 2010 (E.Rosten、R.Porter和T.Drummond，"更快且更好 的；用于角點檢測的機器學(xué)習(xí)方法"，IEEE學(xué)報，模式分析和機器智能，第32卷，第105-119 頁，2010)。
[0009] 這樣的FAST算法的復(fù)雜版本在W02013/055448A1中描述，W02013/055448A1描述 了一種允許高效地檢測數(shù)字圖像中的興趣點并對其進行分類的方法。
[0010] 對于SIFT算法，可例如對臥下作出參考：
[0011] [2]D.G.Lowe,^^DistinctiveImageFeaturesfromScale-Invariant Keypoints",Int.J.Comput.Vision,Vol. 60,No. 2,pp. 91-110,Nov. 2004 0.G.Lowe,"來自 尺寸不變關(guān)鍵點的有區(qū)別的圖像特征"，國際計算機視覺雜志，第60卷，第2期，第91-110 頁，2004年11月）。
[0012] 并且對于洲RF算法，可對臥下作出參考：
[001 引 [3]H.Bay,A.Ess,T.Tuytelaars,andL.J.V.Gool, "Speeded-upRobust Features(SURF)"，ComputerVisionandImageUnderstanding,Vol. 110,No. 3,pp. 346-35 9, 2008 (H.Bay、A.Ess、T.Tuytelaars和LJ.V.Gool，"加速穩(wěn)健特征（洲RF)"，計算機視覺 和圖像理解，第110卷，第S期，第346-359頁，2008年），臥及
[0014] [4]M.A.Khan,G.DanandV.Fodor,"Qiaracterizationof洲RFInterestPoint DistributionforVisualProcessinginSensorNetworks",18thInternational ConferenceonDigitalSignalProcessing(DSP), 2013,pp. 1-7(M.A.Khan、G.Dan和V.Fodor，"表征傳感器網(wǎng)絡(luò)中用于視覺處理的SURF興趣點分布"，第18屆國際數(shù)字信號處 理值S巧會議，2013,第1-7頁）。
[0015] 該些算法全部都可用被稱為"檢測闊值"的數(shù)據(jù)元素來參數(shù)化，該"檢測闊值"作 為檢測興趣點的敏感度的條件。
[0016] 本質(zhì)上，當前圖像被逐像素地掃描，并且該算法對于該圖像中的每一個被分析的 像素，確定根據(jù)預(yù)定標準的分數(shù)是否高于在輸入處參數(shù)化的檢測闊值。根據(jù)該分數(shù)位于此 闊值之上還是之下，考慮該點是否是圖像中的興趣點。
[0017] 此后，用低檢測闊值，該算法提供大量的興趣點一-但具有遞送在后面的圖像中 不會被辨認出來但隨后將在所使用的計算功率方面受到懲罰的許多無用興趣點的風(fēng)險。相 反，高檢測闊值允許消除從一個圖像到下一個圖像沒有期望的不變性特征的許多非相關(guān)興 趣點，但會有檢測不到例如在具有不足的對比度、過于一致的紋理等的圖像中的各區(qū)域中 的某些有用興趣點的風(fēng)險。不足數(shù)量的興趣點還可對在下游執(zhí)行的處理的結(jié)果具有負面影 響。
[0018] 在該方面，可參考W上提到的化an等人的文章[4]，該文章提出了根據(jù)檢測闊值 來分配興趣點數(shù)目的統(tǒng)計研究。
[0019] 本發(fā)明的目的是通過W下方式來改善該種興趣點檢測算法的性能；動態(tài)地修改其 參數(shù)化，但不改變內(nèi)部操作。
[0020] 本發(fā)明將隨后可應(yīng)用于非常大數(shù)目的興趣點檢測算法，尤其可應(yīng)用于本發(fā)明將為 其提供特別顯著的優(yōu)點的FAST類型的算法。但到FAST算法的應(yīng)用不W任何方式構(gòu)成限制， 從其他類型的算法可用可調(diào)節(jié)的檢測闊值來參數(shù)化的時刻起，本發(fā)明也可應(yīng)用于其他類型 的算法，如尤其在SURF和SIFT算法的情況下。
[0021] 本發(fā)明的基本概念是在興趣點檢測本身的上流對當前圖像進行在先分析，并根據(jù) 此分析的結(jié)果動態(tài)地確定將用于檢測下面的圖像的興趣點的檢測闊值的值。
[0022] 換言之，檢測闊值不再是根據(jù)經(jīng)驗來調(diào)整或可能通過反饋環(huán)來修改的固定參數(shù)， 而是檢測算法的輸入數(shù)據(jù)元素，該輸入數(shù)據(jù)元素可在每一圖像處動態(tài)修改W便根據(jù)相機所 拍攝的場景的圖像的快速變化來最佳地適應(yīng)該檢測算法的響應(yīng)。
[0023] 具體而言，本發(fā)明技術(shù)的目標在于將該算法所檢測到的興趣點數(shù)保持在基本恒定 水平（先驗被選為最優(yōu)），即使在存在非常多變的場景的情況下。
[0024]多變場景的典型示例是汽車板載的相機所拍攝的場景，該場景遞送圖像的內(nèi)容及 其亮度和對比度兩者都根據(jù)公路側(cè)是否存在建筑物、該些建筑物的朝向、在隧道中或橋下 的通道、由W反方向來到的車輛發(fā)出的耀眼的光等而示出非常顯著且非?？焖俚淖兓囊?頻序列。
[0025] 在該方面，本發(fā)明旨在解決大多數(shù)興趣點檢測器所碰到的兩個特定問題：
[0026] 第一個問題是時間不穩(wěn)定性：對于非均質(zhì)（heterogeneous)視頻序列，該算法一 個接一個圖像地根據(jù)該些圖像的對比度、紋理、照明等特性來檢測非常多變的數(shù)目的興趣 點。具體地，并且根據(jù)該序列中的圖像，可存在將在用于分析該圖像的計算資源方面受到非 常大懲罰的大數(shù)目或甚至過多數(shù)目的興趣點，或相反地存在太低數(shù)目的興趣點，從而導(dǎo)致 在興趣點檢測器的下游操作的處理的性能的降級。
[0027] 第二個問題是空間不穩(wěn)定性：即使一般來說圖像包含足夠大且足夠恒定數(shù)目的檢 測到的興趣點，該些檢測仍可能按非常不均勻的方式分布，其中非常少的興趣點在該圖像 的某些區(qū)域中，而許多興趣點在該圖像的其他區(qū)域中，該將在下游處理的性能方面具有與 上文相同的負面影響。
[002引一個解決方案包括使用固定的檢測闊值，該檢測闊值低到足W在任何情形中（尤 其在低對比度場景中）生成可接受數(shù)目的興趣點。如果檢測數(shù)過多，則隨后根據(jù)其相關(guān)性 程度對多余的興趣點進行過濾。
[0029] 然而，該解決方案設(shè)及由增加的處理時間造成的計算資源方面的高成本，在太低 的闊值被選擇的情況下，F(xiàn)AST算法尤其受該現(xiàn)象的影響。此外，雖然該解決方案允許在興 趣點數(shù)方面使輸出數(shù)據(jù)穩(wěn)定，但它根本上就不是一種自適應(yīng)方法。
[0030] 另一種繼續(xù)方式包括通過在當前檢測和期望結(jié)果之間提供簡單的比例反饋環(huán)來 改變闊值，如W下特別描述的：
[0031] [5]A. Huang, N. Roy, A. Bachrach, P. Henry, M. Krainin, D. Maturana, and D.Fox, "Visual Odometry and Mapping for Autonomous Flight using an RGB-D Camera", Proc. of the International Symposium of Robotics Research(ISRR) ,2011 (A. Huang、N. Roy、A. Bac虹ach、P. Hen;ry、M. Krainin、D. Ma1:urana和D.化又，"使用RGB-D相機對 自主飛行的視覺測距和映射"，國際機器人研究會議（ISRR)論文集，2011年）。
[0032] US2013/0279813A1描述了相同性質(zhì)的技術(shù)，其中闊值被動態(tài)調(diào)整W在連續(xù)的圖像 中檢測恒定數(shù)目的興趣點。該文檔所提出的解決方案基于圖像的子區(qū)域中要檢測的興趣點 的目標數(shù)，其為可能用針對該些子區(qū)域計算出的識別率值來加權(quán)的數(shù)目。
[0033] 雖然該些解決方案具有對圖像的內(nèi)容的適應(yīng)性的特征，但它