一種圖像特征點的3d重建方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及一種圖像特征點的3D重建方法和裝置。
【背景技術(shù)】
[0002] 隨著視頻采集和圖像數(shù)據(jù)處理的技術(shù)愈發(fā)成熟，在汽車駕駛等方面已經(jīng)有了較多 的應(yīng)用。例如可以通過安裝在車輛上的攝像裝置采集車輛周圍場景的視頻，通過對視頻進(jìn) 行逐幀分析，識別出場景中特征點的具體類型，特征點可以理解為圖像幀中的具有一定特 征的圖像點例如圖像中物體上的點等，特征點的類型可以包括相對于地面靜止的特征點和 運動的特征點。從場景中識別出的特征點的坐標(biāo)可以是處于相機(jī)坐標(biāo)系中的坐標(biāo)，所述相 機(jī)坐標(biāo)系具有相互垂直的三個坐標(biāo)軸，其中一個坐標(biāo)軸與攝像裝置的光軸重合，另外兩個 坐標(biāo)軸均與圖像幀所在平面平行，相機(jī)坐標(biāo)系的坐標(biāo)原點可以是攝像裝置光心的位置。
[0003] 對獲取的特征點進(jìn)行3D重建，計算得出特征點具體在車體坐標(biāo)系中的坐標(biāo)值，所 述3D重建可以為通過計算得出特征點在車體坐標(biāo)系下的坐標(biāo)值，從而實現(xiàn)場景3D位置重 建。車體坐標(biāo)系具有相互垂直的三個坐標(biāo)軸，其中一個坐標(biāo)軸垂直指向地面，另外兩個坐標(biāo) 軸處于水平方向，這兩個坐標(biāo)軸中的一個坐標(biāo)軸指向車輛的正前方，車體坐標(biāo)系的坐標(biāo)原 點可以是攝像裝置光心的位置。
[0004] 通過3D重建獲得特征點在車體坐標(biāo)系下的坐標(biāo)值，可以有效的為實現(xiàn)汽車輔助 駕駛、汽車自動駕駛等功能提供數(shù)據(jù)依據(jù)，例如應(yīng)用在車輛軌跡規(guī)劃、規(guī)避碰撞等。
[0005]目前能夠?qū)崿F(xiàn)上述對特征點進(jìn)行3D重建功能的攝像裝置需為雙目相機(jī)，通過雙 目相機(jī)特殊的雙目定位功能，可以有效的完成對特征點尤其是運動特征點的3D重建。然而 雙目相機(jī)的成本很高，基本只能應(yīng)用在高檔汽車上，限制了在汽車駕駛等方面應(yīng)用的普及。

【發(fā)明內(nèi)容】

[0006] 為了解決上述技術(shù)問題，本發(fā)明提供了一種圖像特征點的3D重建方法和裝置，使 得可以通過成本低廉的單目相機(jī)有效的實現(xiàn)對運動特征點的3D重建。
[0007] 本發(fā)明實施例公開了如下技術(shù)方案：
[0008] -種圖像特征點的3D重建方法，應(yīng)用于安裝了單目相機(jī)的車輛，分析所述單目相 機(jī)采集的所述車輛周圍場景圖像，對第t幀圖像中識別出的運動特征點進(jìn)行聚類，得到的 聚類與在所述場景中相對運動的物體具有對應(yīng)關(guān)系；所述方法包括：
[0009] 從第一聚類中選取第一特征點m，所述第一聚類為所述對第t幀圖像中識別出的 運動特征點進(jìn)行聚類后得到的聚類中的一個聚類，所述第一特征點m為所述第一聚類中在 圖像坐標(biāo)系下距所述場景中地面位置最近的特征點；
[0010] 根據(jù)相機(jī)成像模型計算所述第一特征點m在相機(jī)坐標(biāo)系下的歸一化坐標(biāo)點ms，并 根據(jù)Rw。將m 3轉(zhuǎn)換為所述第一特征點m在車體坐標(biāo)系下的歸一化坐標(biāo)點V s，Rw。為車體坐 標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣；
[0011] 使用所述單目相機(jī)的安裝高度以及m' s計算所述第一特征點m對應(yīng)在車體坐標(biāo) 系下的坐標(biāo)點的坐標(biāo)值，完成對所述第一特征點m的3D重建。
[0012] 可選的，所述圖像坐標(biāo)系中相互垂直的u軸和V軸處于圖像幀所在平面，其中V軸 沿圖像幀平面豎直向下，所述相機(jī)坐標(biāo)系的坐標(biāo)原點為所述單目相機(jī)的光心位置，Z軸垂直 于圖像幀所在平面，X軸與u軸平行，Y軸與V軸平行，所述車體坐標(biāo)系的坐標(biāo)原點為所述單 目相機(jī)的光心位置，軸垂直指向地面，Z'軸和X'軸處于水平方向，Z'軸指向車輛的正 前方。
[0013] 可選的，還包括：
[0014] 假設(shè)所述第一聚類中特征點在車體坐標(biāo)系下的〇_X^ Z'平面的投影點距離車體 坐標(biāo)系的坐標(biāo)原點〇的距離相同，根據(jù)所述第一特征點m對應(yīng)在車體坐標(biāo)系下的坐標(biāo)點的 坐標(biāo)值計算所述投影點到坐標(biāo)原點的距離；
[0015] 根據(jù)所述相機(jī)成像模型計算所述第一聚類中第二特征點在相機(jī)坐標(biāo)系下的歸一 化坐標(biāo)點，再利用所述投影點到坐標(biāo)原點的距離計算所述第二特征點對應(yīng)在車體坐標(biāo)系下 的坐標(biāo)點的坐標(biāo)值，完成對所述第二特征點的3D重建。
[0016] 可選的，所述對第t幀圖像中識別出的運動特征點進(jìn)行聚類，具體包括：
[0017] 為所述第t幀圖像中的運動特征點設(shè)置類編號和標(biāo)記號，所述類編號的初始值為 空，所述標(biāo)記號的初始值為未標(biāo)記；
[0018] 進(jìn)行第一判斷，所述第一判斷用于判斷是否存在類編號為空、標(biāo)記號為未標(biāo)記的 運動特征點，若存在，從中選取第三特征點；為所述第三特征點的類編號分配一個未使用的 編號；開始從所述第t幀圖像中的運動特征點中搜索所述第三特征點的鄰居特征點，將所 述第三特征點的鄰居特征點的類編號分配為所述第三特征點的類編號，并將所述第三特征 點的標(biāo)記號設(shè)為已標(biāo)記；
[0019] 進(jìn)行第二判斷，所述第二判斷用于判斷是否存在具有類編號但標(biāo)記號為未標(biāo)記的 運動特征點，若存在，從中選取第四特征點，從所述第t幀圖像中的運動特征點中搜索所述 第四特征點的鄰居特征點，將所述第四特征點的鄰居特征點的類編號分配為所述第四特征 點的類編號，并將所述第四特征點的標(biāo)記號設(shè)為已標(biāo)記，重復(fù)所述第二判斷，直到不存在具 有類編號但標(biāo)記號為未標(biāo)記的運動特征點為止；
[0020] 再次進(jìn)行所述第一判斷，直到不存在類編號為空、標(biāo)記號為未標(biāo)記的運動特征點 為止；
[0021] 具有同一類編號的運動特征點屬于一個聚類。
[0022] 可選的，/^和W/分別為所述第t幀圖像中的運動特征點中的兩個運動特征點， 為目標(biāo)特征點，坐標(biāo)值為
的坐標(biāo)值為
從所述第t幀圖像 中的運動特征點中搜索所述目標(biāo)特征點的鄰居特征點，包括：
[0023] 第一條件，所述第一條件為
之間的距離滿足第一閾值，若符合所述第一 條件，確定W/為的鄰居特征點；
[0024] 從所述第t幀圖像中的運動特征點中搜索所述目標(biāo)特征點的鄰居特征點，還包 括：
[0025] 第二條件，所述第二條件為和之間的光流向量的長度與W/和之 間的光流向量的長度滿足第二閾值；
[0026] 第三條件，所述第三條件為和趣之間的光流向量與W/和之間的光 流向量之間的夾角滿足第三閾值；
[0027] 若在符合所述第一條件的基礎(chǔ)上，還符合所述第二條件和/或第三條件，確定m/ 為/<的鄰居特征點；
[0028] 其中，/1·^和分別為特征點m1在第t幀圖像和第t-Ι幀圖像中的對應(yīng)的位 置，和w/q分別為特征點在第t幀圖像和第t-Ι幀圖像中的對應(yīng)的位置。
[0029] 可選的，在對第t幀圖像中識別出的運動特征點進(jìn)行聚類之前，還包括識別特征 點為運動特征點或靜止特征點，所述識別包括：
[0030] 分析所述單目相機(jī)采集的所述車輛周圍場景圖像，匹配獲取第t幀圖像和第t_l 幀圖像的特征點對mjP m t i，mt為特征點m在第t幀圖像中對應(yīng)的位置，m t i為所述特征點 m在第t-Ι幀圖像中對應(yīng)的位置；
[0031] 假設(shè)所述特征點m在第t幀圖像和第t-Ι幀圖像中相對于所述場景靜止，若叫在 相機(jī)坐標(biāo)系下的位置為P t，mt i在相機(jī)坐標(biāo)系下的位置為P t i，根據(jù)Pt、R。。和T確定出與P t i 之間的第一對等關(guān)系，其中R。。為相機(jī)坐標(biāo)系從第t-1幀到第t幀的旋轉(zhuǎn)矩陣，T為相機(jī)坐 標(biāo)系從第t_l幀到第t幀的平移向量；
[0032] 根據(jù)？,確定出與ms,t的第二對等關(guān)系，其中，在相機(jī)坐標(biāo)系下的歸一化坐 標(biāo)點；
[0033] 根據(jù)第一對等關(guān)系、第二對等關(guān)系以及相機(jī)成像模型，確定出？1在圖像坐標(biāo)系中 的投影點Iii i ;
[0034] 根據(jù)mt、mt i和Iili之間的位置關(guān)系，識別所述特征點m為運動特征點或靜止特征 點。
[0035] 可選的，所述根據(jù)mt、mt i和之間的位置關(guān)系，識別所述特征點m為運動特征點 或靜止特征點，包括：
[0036] 根據(jù)mt、mt i和Illi計算mt JP m t構(gòu)成的光流向量與m t i和Itli構(gòu)成的光流向量之 間的光流方向殘差角Θ ;
[0037] 根據(jù)叫和Ai計算叫和m,的位置殘差dis;
[0038] 若所述光流方向殘差角Θ滿足第一閾值，且所述位置殘差dis滿足第二閾值，識 別所述特征點m為運動特征點；
[0039] 若所述光流方向殘差角Θ不滿足第一閾值，且所述位置殘差dis不滿足第二閾 值，識別所述特征點m為靜止特征點。
[0040] 可選的，針對第t幀圖像中識別出的靜止特征點，還包括：
[0041] 根據(jù)所述靜止特征點在圖像坐標(biāo)系中的坐標(biāo)計算所述靜止特征點的向量模值；
[0042] 根據(jù)所述向量模值與所述靜止特征點在相機(jī)坐標(biāo)系中歸一化坐標(biāo)值的關(guān)系，計算 所述靜止特征點在所述相機(jī)坐標(biāo)系下的坐標(biāo)點的坐標(biāo)值；
[0043] 根據(jù)Rw。以及所述靜止特征點在所述相機(jī)坐標(biāo)系下的坐標(biāo)點的坐標(biāo)值計算得到所 述靜止特征點在所述車體坐標(biāo)系下的坐標(biāo)點的坐標(biāo)值，完成對所述靜止特征點的3D重建。
[0044] 可選的，所述根據(jù)所述靜止特征點在圖像坐標(biāo)系中的坐標(biāo)計算所述靜止特征點的 向量模值，包括：
[0046] 其中，屯為所述靜止特征點的向量模值，車體坐標(biāo)系從第t-Ι幀運動到第t幀的旋 轉(zhuǎn)矩陣為R ww，平移向量為T胃，1^為所述靜止特征點在第t幀圖像中對應(yīng)的位置，m t i為所 述靜止特征點在第t-Ι幀圖像中對應(yīng)的位置；
[0047] 所述根據(jù)所述向量模值與所述靜止特征點在相機(jī)坐標(biāo)系中歸一化坐標(biāo)值的關(guān)系， 包括：
[0048] Pt= d tmSjt
[0049] 其中，Pt為所述靜止特征點在所述相機(jī)坐標(biāo)系下的坐標(biāo)點的坐標(biāo)值，t為所述靜 止特征點在相機(jī)坐標(biāo)系中歸一化坐標(biāo)值。
[0050] 可選的，所述相機(jī)成像模型，具體包括：
[0052]其中，
，k1; k3, k5, k7, k9, u。，V。，fx, fy為相機(jī)內(nèi)部參數(shù)。
[0054] -種圖像特征點的3D重建裝置，應(yīng)用于安裝了單目相機(jī)的車輛，所述裝置包括：
[0055] 聚類單元，用于分析所述單目相機(jī)采集的所述車輛周圍場景圖像，對第t幀圖像 中識別出的運動特征點進(jìn)行聚類，得到的聚類與在所述場景中相對運動的物體具有對應(yīng)關(guān) 系；
[0056] 選取單元，用于從第一聚類中選取第一特征點m，所述第一聚類為所述對第t幀圖 像中識別出的運動特征點進(jìn)行聚類后得到的聚類中的一個聚類，所述第一特征點m為所述 第一聚類中在圖像坐標(biāo)系下距所述場景中地面位置最近的特征點；
[0057] 計算單元，用于根據(jù)相機(jī)成像模型計算所述第一特征點m在相機(jī)坐標(biāo)系下的歸 一化坐標(biāo)點m s，并根據(jù)Rw。將m 3轉(zhuǎn)換為所述第一特征點m在車體坐標(biāo)系下的歸一化坐標(biāo)點 s，Rw。為車體坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣；
[0058] 重建單元，用于使用所述單目相機(jī)的安裝高度以及m' s計算所述第一特征點m對 應(yīng)在車體坐標(biāo)系下的坐標(biāo)點的坐標(biāo)值，完成對所述第一特征點m的3D重建。
[0059] 可選的，所述圖像坐標(biāo)系中相互垂直的u軸和V軸處于圖像幀所在平面，其中V軸 沿圖像幀平面豎直向下，所述相機(jī)坐標(biāo)系的坐標(biāo)原點為所述單目相機(jī)的光心位置，Z軸垂直 于圖像幀所在平面，X軸與u軸平行，Y軸與V軸平行，所述車體坐標(biāo)系的坐標(biāo)原點為所述單 目相機(jī)的光心位置，軸垂直指向地面，Z'軸和X'軸處于水平方向，Z'軸指向車輛的正 前方。
[0060] 可選的，還包括：
[0061] 所述計算單元還