一種圖像特征點(diǎn)類型的識別方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及一種圖像特征點(diǎn)類型的識別方法和裝置。
【背景技術(shù)】
[0002] 隨著視頻采集和圖像數(shù)據(jù)處理的技術(shù)愈發(fā)成熟，在汽車駕駛等方面已經(jīng)有了較多 的應(yīng)用。例如可以通過安裝在車輛上的攝像裝置采集車輛周圍場景的視頻，通過對視頻進(jìn) 行逐幀分析，識別出場景中特征點(diǎn)的具體類型，特征點(diǎn)可以理解為圖像幀中的具有一定特 征的圖像點(diǎn)例如圖像中物體上的點(diǎn)等，特征點(diǎn)的類型可以包括相對于地面靜止的特征點(diǎn)和 運(yùn)動的特征點(diǎn)。從場景中識別出的特征點(diǎn)的坐標(biāo)可以是處于相機(jī)坐標(biāo)系中的坐標(biāo)，所述相 機(jī)坐標(biāo)系具有相互垂直的三個(gè)坐標(biāo)軸，其中一個(gè)坐標(biāo)軸與攝像裝置的光軸重合，另外兩個(gè) 坐標(biāo)軸均與圖像幀所在平面平行，相機(jī)坐標(biāo)系的坐標(biāo)原點(diǎn)可以是攝像裝置光心的位置。
[0003] 對獲取的特征點(diǎn)進(jìn)行3D重建，計(jì)算得出特征點(diǎn)具體在車體坐標(biāo)系中的坐標(biāo)值。通 過3D重建獲得的坐標(biāo)值，可以有效的為實(shí)現(xiàn)汽車輔助駕駛、汽車自動駕駛等功能提供數(shù)據(jù) 依據(jù)，例如應(yīng)用在車輛軌跡規(guī)劃、規(guī)避碰撞等。
[0004] 目前能夠?qū)崿F(xiàn)上述圖像特征點(diǎn)識別功能的攝像裝置需為雙目相機(jī)，通過雙目相機(jī) 特殊的雙目定位功能，可以有效的識別出場景特征點(diǎn)為靜止特征點(diǎn)或運(yùn)動特征點(diǎn)。然而雙 目相機(jī)的成本很高，基本只能應(yīng)用在高檔汽車上，限制了在汽車駕駛等方面應(yīng)用的普及。

【發(fā)明內(nèi)容】

[0005] 為了解決上述技術(shù)問題，本發(fā)明提供了一種圖像特征點(diǎn)類型的識別方法和裝置， 使得可以通過成本低廉的單目相機(jī)有效的識別圖像中特征點(diǎn)的類型。
[0006] 本發(fā)明實(shí)施例公開了如下技術(shù)方案：
[0007] -種圖像特征點(diǎn)類型的識別方法，應(yīng)用于安裝了單目相機(jī)的車輛，所述方法包 括：
[0008] 分析所述單目相機(jī)采集的所述車輛周圍場景圖像，匹配獲取第t幀圖像和第t_l 幀圖像的特征點(diǎn)對mjPmtpmt為特征點(diǎn)m在第t幀圖像中對應(yīng)的位置，mti為所述特征點(diǎn) m在第t-1幀圖像中對應(yīng)的位置；
[0009] 假設(shè)所述特征點(diǎn)m在第t幀圖像和第t-1幀圖像中相對于所述場景靜止，若^在 相機(jī)坐標(biāo)系下的位置為Pt，mti在相機(jī)坐標(biāo)系下的位置為Pti，根據(jù)Pt、R。。和T確定出與Pt : 之間的第一對等關(guān)系，其中為相機(jī)坐標(biāo)系從第t-1幀到第t幀的旋轉(zhuǎn)矩陣，T為相機(jī)坐 標(biāo)系從第t_l幀到第t幀的平移向量；
[0010] 根據(jù)？#角定出與ms,t的第二對等關(guān)系，其中，在相機(jī)坐標(biāo)系下的歸一化坐 標(biāo)點(diǎn)；
[0011] 根據(jù)第一對等關(guān)系、第二對等關(guān)系以及相機(jī)成像模型，確定出？，在圖像坐標(biāo)系中 的投影點(diǎn);
[0012] 根據(jù)mt、mti和lil,之間的位置關(guān)系，識別所述特征點(diǎn)m為運(yùn)動特征點(diǎn)或靜止特征 點(diǎn)。
[0013] 可選的，所述根據(jù)mt、mti和之間的位置關(guān)系，識別所述特征點(diǎn)m為運(yùn)動特征點(diǎn) 或靜止特征點(diǎn)，包括：
[0014] 根據(jù)mt、mti和A,計(jì)算mti和mt構(gòu)成的光流向量與mti和lily構(gòu)成的光流向量之 間的光流方向殘差角Q;
[0015] 根據(jù)mt和！ilf計(jì)算叫和ih,的位置殘差diS;
[0016] 若所述光流方向殘差角0滿足第一閾值，且所述位置殘差dis滿足第二閾值，識 別所述特征點(diǎn)m為運(yùn)動特征點(diǎn)；
[0017] 若所述光流方向殘差角0不滿足第一閾值，且所述位置殘差dis不滿足第二閾 值，識別所述特征點(diǎn)m為靜止特征點(diǎn)。
[0018] 可選的，所述圖像坐標(biāo)系中相互垂直的u軸和v軸處于圖像幀所在平面，其中v軸 沿圖像幀平面豎直向下；所述相機(jī)坐標(biāo)系的坐標(biāo)原點(diǎn)為所述單目相機(jī)的光心位置，Z軸垂 直于圖像幀所在平面，X軸與u軸平行，Y軸與v軸平行。
[0019] 可選的，所述根據(jù)Pt、和T確定出與Pti之間的第一對等關(guān)系，所述第一對等 關(guān)系具體包括：
[0020] Pt !=RccPt+Tcc;
[0021] 其中，Pti在相機(jī)坐標(biāo)系下的坐標(biāo)為（Xti，Yti，Zt ^坐標(biāo)為（Xt，Yt，Zt)。
[0022] 可選的，所述根據(jù)？#角定出與mSit的第二對等關(guān)系，所述第二對等關(guān)系具體包括：
[0023]

[0024] 其中，屯為特征點(diǎn)m在第t幀圖像的向量模
[0025] (Xt，Yt，Zt)T為（Xt，Yt，Zt)的轉(zhuǎn)置矩陣。
[0026] 可選的，所述相機(jī)成像模型，具體包括：
[0027]
[0028] I由.
[0029]
r(a) =k:a+k3a3+k5a5+k7a7+kga9 ，k1;k3,k5,k7,k9,u。，v。，fx,fy為相機(jī)內(nèi)部參數(shù)。
[0030] 可選的，所述根據(jù)mt、mti和m,計(jì)算mti和mt構(gòu)成的光流向量與mti和lit,構(gòu)成 的光流向量之間的光流方向殘差角9,具體包括：
[0031]
[0032] 其中，mt在圖像坐標(biāo)系下的坐標(biāo)為（ut，vt)，mtl在圖像坐標(biāo)系下的坐標(biāo)為 (utvtJ，A,在圖像坐標(biāo)系下的坐標(biāo);
[0033] 所述根據(jù)叫和！&f計(jì)算叫和的位置殘差虹8，具體包括：
[0034]
[0035] 其中，| -瓶(丨為lh, _ :科的向量長度。
[0036] -種圖像特征點(diǎn)類型的識別裝置，應(yīng)用于安裝了單目相機(jī)的車輛，所述裝置包 括：
[0037] 分析單元，用于分析所述單目相機(jī)采集的所述車輛周圍場景圖像，匹配獲取第t 幀圖像和第t-1幀圖像的特征點(diǎn)對^和mtpmt為特征點(diǎn)m在第t幀圖像中對應(yīng)的位置， mti為所述特征點(diǎn)m在第t-1幀圖像中對應(yīng)的位置；
[0038] 第一確定單元，用于假設(shè)所述特征點(diǎn)m在第t幀圖像和第t-1幀圖像中相對于所 述場景靜止，若mt在相機(jī)坐標(biāo)系下的位置為Pt，mti在相機(jī)坐標(biāo)系下的位置為Pti，根據(jù)Pt、 和確定出與Pti之間的第一對等關(guān)系，其中為相機(jī)坐標(biāo)系從第t-1幀到第t幀的 旋轉(zhuǎn)矩陣，為相機(jī)坐標(biāo)系從第t_l幀到第t幀的平移向量；
[0039] 第二確定單元，用于根據(jù)？4確定出與mSit的第二對等關(guān)系，其中，mSitSmt在相機(jī) 坐標(biāo)系下的歸一化坐標(biāo)點(diǎn)；
[0040] 第三確定單元，用于根據(jù)第一對等關(guān)系、第二對等關(guān)系以及相機(jī)成像模型，確定出 Pt在圖像坐標(biāo)系中的投影點(diǎn)rh,;
[0041] 識別單元，用于根據(jù)mt、mti和間的位置關(guān)系，識別所述特征點(diǎn)m為運(yùn)動特征 點(diǎn)或靜止特征點(diǎn)。
[0042] 可選的，所述識別單元還包括：
[0043] 第一計(jì)算子單元，用于根據(jù)mt、mti和計(jì)算mti和mt構(gòu)成的光流向量與mti和 構(gòu)成的光流向量之間的光流方向殘差角9 ;
[0044] 第二計(jì)算子單元，用于根據(jù)叫和lil,計(jì)算叫和的位置殘差dis;
[0045] 第一識別子單元，用于若所述光流方向殘差角0滿足第一閾值，且所述位置殘差 dis滿足第二閾值，識別所述特征點(diǎn)m為運(yùn)動特征點(diǎn)；
[0046] 第二識別子單元，用于若所述光流方向殘差角0不滿足第一閾值，且所述位置殘 差dis不滿足第二閾值，識別所述特征點(diǎn)m為靜止特征點(diǎn)。
[0047] 可選的，所述圖像坐標(biāo)系中相互垂直的u軸和v軸處于圖像幀所在平面，其中v軸 沿圖像幀平面豎直向下；所述相機(jī)坐標(biāo)系的坐標(biāo)原點(diǎn)為所述單目相機(jī)的光心位置，Z軸垂 直于圖像幀所在平面，X軸與u軸平行，Y軸與v軸平行。
[0048] 可選的，所述根據(jù)Pt、R。。和T確定出與Pti之間的第一對等關(guān)系，所述第一對等 關(guān)系具體包括：
[0049] Pt !=RccPt+Tcc;
[0050] 其中，Pt :在相機(jī)坐標(biāo)系下的坐標(biāo)為（Xti，Yti，Zt ^坐標(biāo)為（Xt，Yt，Zt)。
[0051] 可選的，所述根據(jù)？#角定出與mSit的第二對等關(guān)系，所述第二對等關(guān)系具體包括：
[0052]
[0053] 其中，屯為特征點(diǎn)m在第t幀圖像的向量模值，
[0054] (Xt，Yt，Zt)T為（Xt，Yt，Zt)的轉(zhuǎn)置矩陣。
[0055] 可選的，所述相機(jī)成像模型，具體包括：
[0056]
[0057] 其中，
[0058]
r(a) =k:a+k3a3+k5a5+k7a7+kga9 ，k1;k3,k5,k7,k9,u。，v。，fx,fy為相機(jī)內(nèi)部參數(shù)。
[0059] 可選的，所述根據(jù)mt、mti和計(jì)算mti和m