国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      一種目標(biāo)跟蹤方法及裝置與流程

      文檔序號:12787329閱讀:296來源:國知局
      一種目標(biāo)跟蹤方法及裝置與流程

      本發(fā)明涉及計(jì)算機(jī)軟件應(yīng)用領(lǐng)域,特別涉及一種目標(biāo)跟蹤方法及裝置。



      背景技術(shù):

      近年來,隨著互聯(lián)網(wǎng)技術(shù)、通信技術(shù)、遙感技術(shù)的發(fā)展以及人們生活質(zhì)量水平的提升,人們對電子設(shè)備提出了更高的要求,以電子玩具為例,人們希望電子玩具能夠更加的智能,不再是通過遙控手柄等遙控器來改變電子玩具的運(yùn)動(dòng)軌跡,而希望電子玩具能夠具有一定的感知能力,通過對環(huán)境的感知實(shí)現(xiàn)運(yùn)動(dòng)軌跡的改變,或者實(shí)現(xiàn)與用戶進(jìn)行互動(dòng),如電子玩具通過對環(huán)境的感知能夠?qū)τ脩暨M(jìn)行跟蹤。

      目前,大多的電子設(shè)備是通過搭載聲音傳感器來實(shí)現(xiàn)對目標(biāo)的跟蹤,通過聲音傳感器能夠?qū)λ幁h(huán)境中的聲源進(jìn)行測量,并通過預(yù)先設(shè)置的參數(shù)判斷該環(huán)境中是否存儲(chǔ)目標(biāo),例如,用戶在行走過程中發(fā)出的腳步聲可以被電子設(shè)備上搭載的聲音傳感器測量到,聲音傳感器將測量到得腳步聲發(fā)送給處理模塊進(jìn)行分析,判斷腳步聲的變化趨勢,進(jìn)而計(jì)算出用戶是逐漸靠近電子設(shè)備還是逐漸遠(yuǎn)離電子設(shè)備,當(dāng)靠近或遠(yuǎn)離一定程度之后,電子設(shè)備可以改變相應(yīng)的運(yùn)動(dòng)軌跡來實(shí)現(xiàn)對用戶的跟蹤。

      俗話說“耳聽為虛,眼見為實(shí)”是有一定根據(jù)的,就用戶在行走過程中發(fā)出的腳步聲而言,腳步聲大小與用戶所穿得鞋履以及用戶的行走習(xí)慣有直接的關(guān)系,例如,穿高跟鞋行走要比穿平底鞋行走時(shí)發(fā)出的腳步聲大,行走習(xí)慣拖地的要不走路正常時(shí)發(fā)出的腳步聲大,并且不同路段腳步聲也可能存儲(chǔ)在較大的差異,而采用上述方式對用戶進(jìn)行跟蹤是依賴腳步聲大小的,因此,上述對用戶進(jìn)行跟蹤存在較大的誤差,跟蹤的準(zhǔn)確度低下。



      技術(shù)實(shí)現(xiàn)要素:

      本發(fā)明實(shí)施例的目的在于提供一種目標(biāo)跟蹤方法及裝置,能夠減少對目標(biāo)進(jìn)行跟蹤的誤差,提高跟蹤的準(zhǔn)確度。

      為達(dá)到上述目的,本發(fā)明實(shí)施例公開了一種目標(biāo)跟蹤方法,應(yīng)用于裝載攝像頭的電子設(shè)備,所述電子設(shè)備具有驅(qū)動(dòng)裝置,所述驅(qū)動(dòng)裝置能夠驅(qū)動(dòng)所述電子設(shè)備運(yùn)動(dòng);該方法包括:

      獲得所述攝像頭拍攝的第一圖像,所述第一圖像為在所述電子設(shè)備位于第一位置時(shí)所述攝像頭所拍攝的圖像,所述第一位置為所述攝像頭能夠拍攝到目標(biāo)的初始位置;

      計(jì)算所述第一圖像中所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例;

      觸發(fā)所述驅(qū)動(dòng)裝置,以驅(qū)動(dòng)所述電子設(shè)備向前或向后移動(dòng)預(yù)設(shè)距離后,到達(dá)第二位置,所述向前為靠近所述目標(biāo),所述向后為遠(yuǎn)離所述目標(biāo);

      獲得所述攝像頭拍攝的第二圖像,并計(jì)算所述第二圖像中所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述第二圖像為所述電子設(shè)備位于所述第二位置時(shí)所述攝像頭所拍攝的圖像;

      根據(jù)所述攝像頭的視場角、所述第一比例、所述預(yù)設(shè)距離和所述第二比例,計(jì)算所述目標(biāo)的實(shí)際高度,完成初始化配置;

      在完成初始化配置后,持續(xù)獲得所述攝像頭拍攝的第三圖像;

      在獲得每一張第三圖像后,計(jì)算該第三圖像中所述目標(biāo)的第三高度占該第三圖像的高度的第三比例;

      根據(jù)所述攝像頭的視場角、所述目標(biāo)的實(shí)際高度以及所述第三比例,計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的當(dāng)前距離;

      計(jì)算所述當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離之間的差值;

      觸發(fā)所述驅(qū)動(dòng)裝置,以使得所述驅(qū)動(dòng)裝置根據(jù)所述差值移動(dòng)所述電子設(shè)備,以跟蹤所述目標(biāo)。

      可選的,所述計(jì)算該第三圖像中所述目標(biāo)的第三高度占該第三圖像的高度的第三比例的步驟,包括:

      利用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測算法Faster-RCNN,對該第三圖像進(jìn)行目標(biāo)檢測,得到所述目標(biāo);

      計(jì)算所述目標(biāo)的第三高度;

      計(jì)算所述第三高度占該第三圖像的高度的第三比例。

      可選的,所述計(jì)算所述目標(biāo)的第三高度的步驟,包括:

      用矩形框?qū)λ瞿繕?biāo)進(jìn)行標(biāo)記,將所述矩形框的高度確定為所述目標(biāo)的第三高度。

      可選的,在所述計(jì)算所述第三高度占該第三圖像的高度的第三比例的步驟之前,所述方法還包括:

      利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對所述矩形框進(jìn)行全局特征提取,得到所述矩形框在該第三圖像中所處的位置;

      判斷所述矩形框在該第三圖像中所處的位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi);

      如果是,執(zhí)行所述計(jì)算所述第三高度占該第三圖像的高度的第三比例的步驟。

      可選的,所述方法還包括:

      當(dāng)所述矩形框在該第三圖像中所處的位置不處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)時(shí),觸發(fā)所述驅(qū)動(dòng)裝置,驅(qū)動(dòng)所述電子設(shè)備原地轉(zhuǎn)動(dòng),以使得所述矩形框處于所述預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)。

      可選的,計(jì)算所述目標(biāo)的實(shí)際高度所利用的公式為:

      上式中,所述h為所述目標(biāo)的實(shí)際高度,所述P1為所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例,所述P2為所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述Fov為所述攝像頭的視場角,所述x為所述電子設(shè)備向前或向后移動(dòng)的預(yù)設(shè)距離,其中,所述電子設(shè)備向前移動(dòng)時(shí)x值為正,所述電子設(shè)備向后移動(dòng)時(shí)x值為負(fù)。

      可選的,計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的距離所利用的公式為:

      其中,所述Lx為拍攝所述第三圖像時(shí)對應(yīng)位置到所述目標(biāo)的當(dāng)前距離,所述h為所述目標(biāo)的實(shí)際高度,所述P3為所述第三圖像中所述目標(biāo)的總高度占所述第三圖像高度的第三比例,所述Fov為所述攝像頭的視場角。

      為達(dá)到上述目的,本發(fā)明實(shí)施例還公開了一種目標(biāo)跟蹤裝置,應(yīng)用于裝載攝像頭的電子設(shè)備,所述電子設(shè)備具有驅(qū)動(dòng)裝置,所述驅(qū)動(dòng)裝置能夠驅(qū)動(dòng)所述電子設(shè)備運(yùn)動(dòng);所述裝置包括:

      第一獲得模塊,用于獲得所述攝像頭拍攝的第一圖像,所述第一圖像為在所述電子設(shè)備位于第一位置時(shí)所述攝像頭所拍攝的圖像,所述第一位置為所述攝像頭能夠拍攝到目標(biāo)的初始位置;

      第一計(jì)算模塊,用于計(jì)算所述第一圖像中所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例;

      第一觸發(fā)模塊,用于觸發(fā)所述驅(qū)動(dòng)裝置,以驅(qū)動(dòng)所述電子設(shè)備向前或向后移動(dòng)預(yù)設(shè)距離后,到達(dá)第二位置,所述向前為靠近所述目標(biāo),所述向后為遠(yuǎn)離所述目標(biāo);

      第二獲得模塊,用于獲得所述攝像頭拍攝的第二圖像,并計(jì)算所述第二圖像中所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述第二圖像為所述電子設(shè)備位于所述第二位置時(shí)所述攝像頭所拍攝的圖像;

      第二計(jì)算模塊,用于根據(jù)所述攝像頭的視場角、所述第一比例、所述預(yù)設(shè)距離和所述第二比例,計(jì)算所述目標(biāo)的實(shí)際高度,完成初始化配置;

      第三獲得模塊,用于在完成初始化配置后,持續(xù)獲得所述攝像頭拍攝的第三圖像;

      第三計(jì)算模塊,用于在所述第三獲得模塊獲得每一張第三圖像后,計(jì)算該第三圖像中所述目標(biāo)的第三高度占該第三圖像的高度的第三比例;

      第四計(jì)算模塊,用于根據(jù)所述攝像頭的視場角、所述目標(biāo)的實(shí)際高度以及所述第三比例,計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的當(dāng)前距離;

      第五計(jì)算模塊,用于計(jì)算所述當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離之間的差值;

      跟蹤模塊,用于觸發(fā)所述驅(qū)動(dòng)裝置,以使得所述驅(qū)動(dòng)裝置根據(jù)所述差值移動(dòng)所述電子設(shè)備,以跟蹤所述目標(biāo)。

      可選的,所述第三計(jì)算模塊,包括:

      目標(biāo)檢測子模塊,用于利用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測算法Faster-RCNN,對該第三圖像進(jìn)行目標(biāo)檢測,得到所述目標(biāo);

      第一計(jì)算子模塊,用于計(jì)算所述目標(biāo)的第三高度;

      第二計(jì)算子模塊,用于計(jì)算所述第三高度占該第三圖像的高度的第三比例。

      可選的,所述第一計(jì)算子模塊,具體用于:

      用矩形框?qū)λ瞿繕?biāo)進(jìn)行標(biāo)記,將所述矩形框的高度確定為所述目標(biāo)的第三高度。

      可選的,所述裝置還包括:

      特征提取模塊,用于在執(zhí)行所述第二計(jì)算子模塊之前,利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對所述矩形框進(jìn)行全局特征提取,得到所述矩形框在該第三圖像中所處的位置;

      判斷模塊,用于判斷所述矩形框在該第三圖像中所處的位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi);

      第二觸發(fā)模塊,用于在所述判斷模塊判定結(jié)果為是的情況下,觸發(fā)所述第二計(jì)算子模塊。

      可選的,所述裝置還包括:

      第三觸發(fā)模塊,用于在所述判斷模塊判定結(jié)果為否的情況下,觸發(fā)所述驅(qū)動(dòng)裝置,驅(qū)動(dòng)所述電子設(shè)備原地轉(zhuǎn)動(dòng),以使得所述矩形框處于所述預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)。

      可選的,所述第二計(jì)算模塊,具體用于:

      根據(jù)所述攝像頭的視場角、所述第一比例、所述預(yù)設(shè)距離和所述第二比例,完成初始化配置按照如下公式計(jì)算所述目標(biāo)的實(shí)際高度,完成初始化配置:

      上式中,所述h為所述目標(biāo)的實(shí)際高度,所述P1為所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例,所述P2為所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述Fov為所述攝像頭的視場角,所述x為所述電子設(shè)備向前或向后移動(dòng)的預(yù)設(shè)距離,其中,所述電子設(shè)備向前移動(dòng)時(shí)x值為負(fù),所述電子設(shè)備向后移動(dòng)時(shí)x值為正。

      可選的,所述第四計(jì)算模塊,具體用于:

      根據(jù)所述攝像頭的視場角、所述目標(biāo)的實(shí)際高度以及所述第三比例,按照如下公式計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的當(dāng)前距離:

      其中,所述Lx為拍攝所述第三圖像時(shí)對應(yīng)位置到所述目標(biāo)的當(dāng)前距離,所述h為所述目標(biāo)的實(shí)際高度,所述P3為所述第三圖像中所述目標(biāo)的總高度占所述第三圖像高度的第三比例,所述Fov為所述攝像頭的視場角。

      綜上可見,在本發(fā)明實(shí)施例提供的方案中,通過裝載與電子設(shè)備上的攝像頭能夠在第一位置拍攝到第一圖像,并對第一圖像進(jìn)行目標(biāo)檢測,得到第一比例,同時(shí)觸發(fā)驅(qū)動(dòng)裝置使電子設(shè)備向前或向后移動(dòng)預(yù)設(shè)距離后到達(dá)第二位置,在第二位置時(shí),攝像頭拍攝獲得第二圖像,同樣對第二圖像進(jìn)行目標(biāo)檢測,得到第二比例,并根據(jù)攝像頭的視場角、第一比例、預(yù)設(shè)距離以及第二比例,計(jì)算該目標(biāo)的實(shí)際高度,完成初始化配置;之后持續(xù)獲得第三圖像,針對任意的第三圖像進(jìn)行目標(biāo)檢測,得到第三比例,根據(jù)該第三比例、攝像頭的視場角以及上述計(jì)算出的目標(biāo)的實(shí)際高度,計(jì)算拍攝第三圖像時(shí)該電子設(shè)備對應(yīng)位置到目標(biāo)的當(dāng)前距離,并將當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離作差得到差值,根據(jù)差值移動(dòng)電子設(shè)備,達(dá)到實(shí)時(shí)跟蹤目標(biāo)的目的,減少了對目標(biāo)進(jìn)行跟蹤的誤差,提高了跟蹤的準(zhǔn)確度。

      附圖說明

      為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。

      圖1為本發(fā)明實(shí)施例提供的一種目標(biāo)跟蹤方法的流程示意圖;

      圖2為本發(fā)明實(shí)施例提供的一種初始化配置的過程示意圖;

      圖3為本發(fā)明實(shí)施例提供的一種目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖。

      具體實(shí)施方式

      下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。

      下面通過具體實(shí)施例,對本發(fā)明進(jìn)行詳細(xì)的說明。

      圖1為本發(fā)明實(shí)施例提供的一種目標(biāo)跟蹤方法的流程示意圖,該方法應(yīng)用于裝載攝像頭的電子設(shè)備,所述電子設(shè)備具有驅(qū)動(dòng)裝置,所述驅(qū)動(dòng)裝置能夠驅(qū)動(dòng)所述電子設(shè)備運(yùn)動(dòng),該方法包括步驟:

      S101:獲得所述攝像頭拍攝的第一圖像,所述第一圖像為在所述電子設(shè)備位于第一位置時(shí)所述攝像頭所拍攝的圖像,所述第一位置為所述攝像頭能夠拍攝到目標(biāo)的初始位置;

      為了直觀地對本發(fā)明實(shí)施例所提供的電子設(shè)備進(jìn)行說明,首先對電子設(shè)備的基本結(jié)構(gòu)進(jìn)行介紹,本發(fā)明實(shí)施例中提及的電子設(shè)備需要裝載攝像頭,因?yàn)樵撾娮釉O(shè)備用于跟蹤目標(biāo),因此還需要具備運(yùn)動(dòng)的能力,所以該電子設(shè)備還需搭載能夠使驅(qū)動(dòng)電子設(shè)備運(yùn)動(dòng)的驅(qū)動(dòng)裝置,當(dāng)然電子設(shè)備需要有電源系統(tǒng)來為各部件提供電源,同時(shí)該電子設(shè)備具有圖像處理的能力。

      該電子設(shè)備上裝載的攝像頭可以選用常見的攝像頭,例如,羅技(Logitech)HD720P免驅(qū)動(dòng)高清攝像頭、XM雄邁720P百萬高清行車監(jiān)控?cái)z像頭、螢石(EZVIZ)C6H云臺全景無線網(wǎng)絡(luò)攝像頭等等,本發(fā)明實(shí)施例并不對攝像頭的具體形式做進(jìn)一步限定。對于攝像頭裝載的方式,一般為了能夠拍攝得到較好的圖像,攝像頭可以水平地安裝在電子設(shè)備上。對于驅(qū)動(dòng)裝置而言,驅(qū)動(dòng)裝置可以采用常見的直流電機(jī),例如,在電子設(shè)備的底部安裝四個(gè)輪子,四個(gè)輪子可以按正方形(前、后、左、右)進(jìn)行布局,每個(gè)輪子均由一個(gè)直流電機(jī)控制,每個(gè)輪子能夠單獨(dú)的受控,因此,通過上述的四個(gè)直流電機(jī)能夠?qū)崿F(xiàn)任意方向的運(yùn)動(dòng)。

      通過控制電子設(shè)備底部安裝的四個(gè)直流電機(jī),能夠?qū)z像頭轉(zhuǎn)動(dòng)至能夠拍攝到目標(biāo)的位置,本發(fā)明實(shí)施例所提供的方案中,目標(biāo)可以為行人、小動(dòng)物以及物體其他移動(dòng)的物體,本發(fā)明實(shí)施例不對目標(biāo)的具體形式做明確的限定,為了直觀統(tǒng)一地對本發(fā)明實(shí)施例進(jìn)行說明,以下實(shí)施例均以目標(biāo)是行人為例進(jìn)行說明。

      不難理解的,通過控制上述的直流電機(jī)能夠使得攝像頭的視野中出現(xiàn)行人,這里所說的攝像頭的視野是指攝像頭能夠拍攝到的范圍,假設(shè)當(dāng)前狀態(tài)下,行人恰巧出于攝像頭的正前方,且攝像頭能夠拍攝到該行人,那么稱上述攝像頭所處的位置為第一位置,攝像頭在上述的第一位置拍攝到圖像為第一圖像;攝像頭可以理解為是圖像采集裝置,通過攝像頭能夠獲得第一圖像??梢岳斫獾氖?,攝像頭檢測到行人出現(xiàn),然后拍攝圖像,可以通過現(xiàn)有技術(shù)來實(shí)現(xiàn)。

      S102:計(jì)算所述第一圖像中所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例;

      由上可知的是,攝像頭在上述第一位置拍攝的第一圖像中有行人(目標(biāo)),行人在上述的第一圖像中會(huì)有一定的高度,本發(fā)明實(shí)施例中稱該高度為第一高度,通過對第一圖像進(jìn)行分析檢測,能夠檢測出第一圖像中的行人,那么該行人在第一圖像中的第一高度也可以被計(jì)算出來。

      就目前的圖像處理技術(shù)而言,對圖像進(jìn)行目標(biāo)檢測的方式有多種,例如,利用方向梯度直方圖(Histogram of Oriented Gradient,簡稱HOG)對上述第一圖像中的行人的特征進(jìn)行提取,HOG特征是一種在計(jì)算機(jī)視覺和圖像處理中用來進(jìn)行目標(biāo)檢測的特征描述,它通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。同時(shí),HOG特征可以結(jié)合支持向量機(jī)(Support Vector Machine,簡稱SVM)分類器,能夠方便準(zhǔn)確的對第一圖像中的行人進(jìn)行檢測。此外,較為準(zhǔn)確智能的目標(biāo)檢測的方法是,利用深度學(xué)習(xí)的方式來對圖像進(jìn)行分析。例如,可以利用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測算法Faster-RCNN,對上述第一圖像進(jìn)行目標(biāo)檢測。

      本領(lǐng)域技人員能夠理解的是,F(xiàn)aster-RCNN由兩部分組成,分別是全卷積神經(jīng)網(wǎng)絡(luò)(Region Proposal Network,簡稱RPN)和快速卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測算法Fast-RCNN。

      RPN的輸入可以是任意大小的圖片,RPN對輸入的圖像進(jìn)行特征提取,特征提取可以采用VGG Net進(jìn)行卷積、池化操作,得到關(guān)于輸入圖像的特征圖譜,再按照預(yù)設(shè)大小的卷積核將特征圖譜分割成多個(gè)矩形窗口,把每個(gè)矩形窗口的中心點(diǎn)當(dāng)成一個(gè)基準(zhǔn)點(diǎn),圍繞這個(gè)基準(zhǔn)點(diǎn)選取9個(gè)不同尺寸的預(yù)選框,對于每一個(gè)預(yù)選框,均在后面連,接一個(gè)二分類器softmax然后再接上一個(gè)邊界框(bounding box)的回歸器,回歸器的輸出為4個(gè)坐標(biāo)點(diǎn),這4個(gè)坐標(biāo)點(diǎn)能夠確定對應(yīng)的預(yù)選框的區(qū)域,這9個(gè)不同尺寸的預(yù)選框構(gòu)成一個(gè)目標(biāo)可能存在的預(yù)選區(qū)域集。

      Fast-RCNN將上述RPN輸入的圖像,以及通過RPN得到的目標(biāo)可能存在的預(yù)選區(qū)域集作為輸入,首先對該圖像進(jìn)行處理得到一個(gè)卷積特征圖,然后為預(yù)選區(qū)域集中每個(gè)區(qū)域的ROI(Region Of Interest)池化層從卷積特征圖中提取一個(gè)固定長度的特征向量,每個(gè)特征向量被送入全連接層,最終得到兩個(gè)輸出,一個(gè)用于確定圖像中目標(biāo)的類別,另一個(gè)用于確定目標(biāo)所處區(qū)域。

      通過目標(biāo)所處的區(qū)域,能夠確定出目標(biāo)在圖像中的第一高度,獲得該第一高度僅為了計(jì)算該高度占第一圖形的高度的比例,稱該比例為第一比例。對于同一個(gè)攝像頭來說,其視場角(Field Of View,簡稱FOV)為一個(gè)定值,因此同一個(gè)攝像頭所拍攝的圖像具有相同的大小,F(xiàn)OV是指攝像頭所能覆蓋的范圍(物體超過這個(gè)角就不會(huì)出現(xiàn)在拍攝的圖像中),攝像頭能拍攝多大范圍的景物,通常用角度來表示,這個(gè)角度就叫攝像頭的FOV,F(xiàn)OV是攝像頭的硬件參數(shù)。例如,羅技(Logitech)HD720P免驅(qū)動(dòng)高清攝像頭的視場角FOV=60°,對于該攝像頭來說,其拍攝到的圖像大小為640*360,所以第一圖像的大小也為640*360,因此,如果第一圖像中行人的高度可知的話,那么該行人占第一圖像的高度的第一比也可以計(jì)算出來,第一比例可用P1表示,假設(shè)上述計(jì)算出P1=0.6。

      需要說明的是,上述利用Faster-RCNN對第一圖像進(jìn)行目標(biāo)檢測僅為本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式,上述過程旨在計(jì)算第一圖像中的目標(biāo)占第一圖像的高度的第一比例,凡能夠達(dá)到上述目的的圖像處理方法均適用,因此,本發(fā)明實(shí)施例并不對計(jì)算目標(biāo)高度占第一圖像的高度的第一比例的具體實(shí)現(xiàn)方式做進(jìn)一步限定。

      S103:觸發(fā)所述驅(qū)動(dòng)裝置,以驅(qū)動(dòng)所述電子設(shè)備向前或向后移動(dòng)預(yù)設(shè)距離后,到達(dá)第二位置,所述向前為靠近所述目標(biāo),所述向后為遠(yuǎn)離所述目標(biāo);

      在上述計(jì)算出第一圖像中的行人的高度占第一圖像的高度的第一比例之后,觸發(fā)上述所說的驅(qū)動(dòng)裝置,驅(qū)動(dòng)裝置能夠使電子設(shè)備向前或者是向后移動(dòng)一段距離,稱該段舉例為預(yù)設(shè)距離,到達(dá)第二位置,該處所說的向前指的是靠近目標(biāo)的方向,向后指的是遠(yuǎn)離目標(biāo)的方向。

      示例性的,在計(jì)算出電子設(shè)備在第一位置時(shí),攝像頭所拍攝的第一圖像中行人占第一圖像的高度的第一比例P1=0.6之后,觸發(fā)安裝在電子設(shè)備底部的驅(qū)動(dòng)裝置(四個(gè)輪子),使電子設(shè)備向后移動(dòng)一段距離x,如x=0.5m(米),如果電子設(shè)備在第一位置時(shí),攝像頭處于行人的正前方,那么可以直接觸發(fā)四個(gè)輪子中的左、右輪子,同步向后轉(zhuǎn)動(dòng),使電子設(shè)備向后移動(dòng)離0.5m。當(dāng)然,也可以同步向前轉(zhuǎn)動(dòng),使電子設(shè)備前移動(dòng)0.5m。

      為了避免電子設(shè)備在移動(dòng)到達(dá)第二位置時(shí)目標(biāo)超出攝像頭的拍攝范圍,在觸發(fā)驅(qū)動(dòng)裝置時(shí)可以根據(jù)上述計(jì)算的第一比例P1的大小來確定是將電子設(shè)備向前移動(dòng),還是向后移動(dòng)。例如,當(dāng)?shù)谝槐壤齈1大于0.5時(shí),選擇將電子設(shè)備向后移動(dòng);當(dāng)?shù)谝槐壤齈2小于等于0.5時(shí),選擇將電子設(shè)備向前移動(dòng),這里將第一比例P1與0.5作比較,選擇向前還是向后移動(dòng)電子設(shè)備僅為本發(fā)明實(shí)施例的一種具體實(shí)現(xiàn)方式,對于比較數(shù)值并不做明確限定,除上述列舉的數(shù)值0.5外,該數(shù)值還可以為0.4、0.6等等。

      S104:獲得所述攝像頭拍攝的第二圖像,并計(jì)算所述第二圖像中所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述第二圖像為所述電子設(shè)備位于所述第二位置時(shí)所述攝像頭所拍攝的圖像;

      由上可知的是,通過上述觸發(fā)驅(qū)動(dòng)裝置后能夠?qū)⒃撾娮釉O(shè)備移動(dòng)得到第二位置,假設(shè)上述驅(qū)動(dòng)裝置將該電子設(shè)備向后移動(dòng)0.5m后到達(dá)第二位置,在該第二位置時(shí),攝像頭拍攝到第二圖像。

      不難理解的是,第一圖像和第二圖像除內(nèi)容不同外,二者在形式上是對等的,因此,針對第二圖像來說,計(jì)算第二圖像中目標(biāo)的第二高度占第二圖像的高度的第二比例(用P2表示)的過程,類似于計(jì)算第一圖像中目標(biāo)的第一高度占第一圖像的高度的第一比例P1,因此,該計(jì)算過程此時(shí)將不再贅述。

      S105:根據(jù)所述攝像頭的視場角、所述第一比例、所述預(yù)設(shè)距離和所述第二比例,計(jì)算所述目標(biāo)的實(shí)際高度,完成初始化配置;

      本領(lǐng)域技術(shù)人員能夠理解的是,攝像頭的視場角FOV是攝像頭的硬件參數(shù),不會(huì)隨著攝像頭所處位置的變化而改變。例如,上述采用的羅技(Logitech)HD720P免驅(qū)動(dòng)高清攝像頭的視場角FOV=60°,通過分別對上述電子設(shè)備位于第一位置和第二位置時(shí),攝像頭拍攝的第一圖像和第二圖像進(jìn)行圖像處理,能夠得到對應(yīng)的第一比例P1以及第二比例P2,那么,根據(jù)上述的視場角FOV、第一比例P1、第二比例P2和電子設(shè)備向前或向后移動(dòng)的距離x,計(jì)算目標(biāo)的實(shí)際高度。

      在本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式中,計(jì)算所述目標(biāo)的實(shí)際高度所利用的公式可以為:

      上式中,所述h為所述目標(biāo)的實(shí)際高度,所述P1為所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例,所述P2為所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述Fov為所述攝像頭的視場角,所述x為所述電子設(shè)備向前或向后移動(dòng)的預(yù)設(shè)距離,其中,所述電子設(shè)備向前移動(dòng)時(shí)x值為負(fù),所述電子設(shè)備向后移動(dòng)時(shí)x值為正。

      下面對該公式的推導(dǎo)過程進(jìn)行詳細(xì)的說明,如圖2所述,為本發(fā)明實(shí)施例提供的一種初始化配置的過程示意圖,如圖2所示,電子設(shè)備在第一位置時(shí),與行人的距離為L,在第一位置時(shí),攝像頭拍攝的第一圖像中的行人占第一圖像的高度的第一比例P1=h/H1,假設(shè)電子設(shè)備在計(jì)算出P1之后觸發(fā)驅(qū)動(dòng)裝置使其向后移動(dòng)的距離x到達(dá)第二位置,由于電子設(shè)備是向后移動(dòng)的,因此x的值為正,因此,電子設(shè)備在第二位置時(shí)與行人的距離為L+x,在第二位置時(shí),攝像頭拍攝的第二圖像中的行人占第二圖像的高度的第二比例P2=h/H2。由于攝像頭是水平安裝的,因此,基于攝像頭視場角角平分線,攝像頭拍攝的圖像的上下部分距離相同,故存在以下關(guān)系式:

      由上可推導(dǎo)出,進(jìn)而可推導(dǎo)出又由于P1=h/H1,因此,能夠推導(dǎo)出行人的實(shí)際高度

      示例性的,假設(shè)P1=0.6、P2=0.5,攝像頭的FOV=60°,電子設(shè)備在計(jì)算出P1之后觸發(fā)驅(qū)動(dòng)裝置使其向后移動(dòng)的距離x=0.5m,那么,通過上述計(jì)算h的公式不難得到,行人的實(shí)際高度

      上述全部過程為電子設(shè)備的初始化配置過程,計(jì)算出行人的示例高度之后即完成了上述初始化配置的過程。

      需要說明的是,上述過程中設(shè)置的電子設(shè)備向前或向后移動(dòng)的距離x=0.5位一種具體的實(shí)現(xiàn)方式,本發(fā)明實(shí)施例不對該距離做明確限定。

      S106:在完成初始化配置后,持續(xù)獲得所述攝像頭拍攝的第三圖像;

      可以理解的是,在上述完成對電子設(shè)備的初始化配置之后,攝像頭開始實(shí)時(shí)的拍攝圖像,可以理解為攝像頭開始錄像,當(dāng)然,前述攝像頭在拍攝得到第一圖像和第二圖像對應(yīng)的攝像頭的狀態(tài)這里不做規(guī)定,可以是錄像,也可以是單點(diǎn)拍攝,只要能夠獲得處于上述第一位置和第二位置對應(yīng)的第一圖像和第二圖像即可。

      通過攝像頭錄像過程,能夠持續(xù)的獲得攝像頭拍攝的當(dāng)前圖像,稱當(dāng)前圖像為第三圖像。

      S107:在獲得每一張第三圖像后,計(jì)算該第三圖像中所述目標(biāo)的第三高度占該第三圖像的高度的第三比例;

      由于攝像頭拍攝的第三圖像在形式上是對等的,因此,針對每一第三圖像,可以計(jì)算出該第三圖像中行人的高度占該第三圖像的高度的第三比例(用P3表示)。

      通過對第三圖像進(jìn)行目標(biāo)檢測,能夠檢測出第三圖像中的行人,那么該行人在第一圖像中的第一高度也可以被計(jì)算出來。

      目前對圖像進(jìn)行目標(biāo)檢測的方式有多種,例如,利用方向梯度直方圖(Histogram of Oriented Gradient,簡稱HOG)對上述第一圖像中的行人的特征進(jìn)行提取,HOG特征是一種在計(jì)算機(jī)視覺和圖像處理中用來進(jìn)行目標(biāo)檢測的特征描述,它通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。同時(shí),HOG特征可以結(jié)合支持向量機(jī)(Support Vector Machine,簡稱SVM)分類器,能夠方便準(zhǔn)確的對第一圖像中的行人進(jìn)行檢測。此外,較為準(zhǔn)確智能的目標(biāo)檢測的方法是,利用深度學(xué)習(xí)的方式來對圖像進(jìn)行分析。例如,可以利用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測算法Faster-RCNN,對上述的第一圖像進(jìn)行目標(biāo)檢測。

      為了清楚地對本發(fā)明實(shí)施例的整體方案進(jìn)行說明,該部分內(nèi)容將在后面的具體實(shí)施例中進(jìn)行詳細(xì)介紹。

      S108:根據(jù)所述攝像頭的視場角、所述目標(biāo)的實(shí)際高度以及所述第三比例,計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的當(dāng)前距離;

      由上述可知的是,第三比例P3=h/H3,h通過前述的公式能夠計(jì)算得到,而P3能夠通過第三圖像中行人的高度與第三圖像的高度得到,假設(shè)此時(shí)得到的第三比例P3=0.45,上述計(jì)算得到的行人的實(shí)際高度h=1.731m,那么可以計(jì)算出此時(shí)對應(yīng)的H3=1.731/0.45=3.85m,而此時(shí)根據(jù)攝像頭的視場角Fov以及該H3便能計(jì)算出當(dāng)前電子設(shè)備所處位置到行人的距離Lx,tan(Fov/2)=H3/2*Lx。因此,根據(jù)上述的攝像頭的視場角Fov、行人的實(shí)際高度以及第三比例能夠計(jì)算出拍攝該第三圖像時(shí),電子設(shè)備所處位置到行人的距離Lx。

      在本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式中,計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的距離所利用的公式可以為:

      其中,所述Lx為拍攝所述第三圖像時(shí)對應(yīng)位置到所述目標(biāo)的當(dāng)前距離,所述h為所述目標(biāo)的實(shí)際高度,所述P3為所述第三圖像中所述目標(biāo)的總高度占所述第三圖像高度的第三比例,所述Fov為所述攝像頭的視場角。

      示例性的,上述計(jì)算出行人的實(shí)際高度h=1.731m,第三比例P3=0.45,攝像頭的視場角Fov=60°,那么代入上述公式,能夠計(jì)算出拍攝該第三圖像時(shí)對應(yīng)位置到行人的當(dāng)前距離Lx=1.731/2*0.45*0.577=3.33m。

      S109:計(jì)算所述當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離之間的差值;

      為了使電子設(shè)能夠穩(wěn)定的跟蹤目標(biāo)(行人),即電子設(shè)備與行人之間需要保持一個(gè)穩(wěn)定的距離,該距離稱之為目標(biāo)跟蹤距離,通常根據(jù)用戶的習(xí)慣不同,這一數(shù)值可能有所不同,比如有的用戶希望電子設(shè)備能夠距離自己近點(diǎn),而有些用戶則希望該電子設(shè)備能夠里自己遠(yuǎn)一點(diǎn),因此,這一跟蹤距離時(shí)一個(gè)經(jīng)驗(yàn)值,并且具有很強(qiáng)的主觀性,例如,用戶預(yù)設(shè)的目標(biāo)跟蹤距離為3m,也就是說電子設(shè)備在跟蹤過程中需要始終與用戶(也就是行人)保持3m的距離,如果存在一定的偏差需要及時(shí)的進(jìn)行調(diào)整,進(jìn)而能夠達(dá)到動(dòng)態(tài)的穩(wěn)定的跟蹤。

      綜上可見,在本發(fā)明實(shí)施例提供的方案中,可計(jì)算上述的Lx與預(yù)設(shè)的目標(biāo)跟蹤距離之間的差值,然后根據(jù)該差值來對觸發(fā)上述的驅(qū)動(dòng)裝置來改變電子設(shè)備的運(yùn)動(dòng)軌跡。

      示例性的,若上述計(jì)算出的當(dāng)前距離Lx=0.33m,而用戶預(yù)設(shè)的目標(biāo)跟蹤距離為3m,那么此時(shí)可計(jì)算出差值為+0.33m,這里值得強(qiáng)調(diào)的是,“+”表示當(dāng)前距離大于預(yù)設(shè)的目標(biāo)跟蹤距離,“-”則表示當(dāng)前距離Lx小于預(yù)設(shè)的目標(biāo)跟蹤距離。

      S110:觸發(fā)所述驅(qū)動(dòng)裝置,以使得所述驅(qū)動(dòng)裝置根據(jù)所述差值移動(dòng)所述電子設(shè)備,以跟蹤所述目標(biāo)。

      通過上述步驟能夠計(jì)算出當(dāng)前位置Lx與預(yù)設(shè)目標(biāo)距離之間的差值,根據(jù)該差值觸發(fā)上述的驅(qū)動(dòng)裝置,使電子設(shè)備向前或向后移動(dòng)相應(yīng)的距離,例如,在上述計(jì)算出的差值為+0.33的情況下,也就是說此時(shí)的電子設(shè)備在預(yù)設(shè)的目標(biāo)跟蹤距離之外0.33m,因此,需要觸發(fā)驅(qū)動(dòng)裝置將電子設(shè)備向前移動(dòng)0.33m才能達(dá)到預(yù)設(shè)的目標(biāo)跟蹤距離。

      綜上可見,圖1實(shí)施例提供的方案中,通過裝載與電子設(shè)備上的攝像頭能夠在第一位置拍攝到第一圖像,并對第一圖像進(jìn)行目標(biāo)檢測,得到第一圖像中目標(biāo)的高度占該第一圖像的高度的第一比例,同時(shí)觸發(fā)電子設(shè)備的驅(qū)動(dòng)裝置,使電子設(shè)備向前或向后移動(dòng)預(yù)設(shè)距離后到達(dá)第二位置,在第二位置時(shí),攝像頭拍攝獲得第二圖像,同樣對第二圖像進(jìn)行目標(biāo)檢測,得到第二圖像中目標(biāo)的高度占該第二圖像的高度的第二比例,并根據(jù)攝像頭的視場角、第一比例以及第二比例,計(jì)算該目標(biāo)的實(shí)際高度,完成初始化配置;之后能夠持續(xù)的獲取第三圖像,針對任意的第三圖像進(jìn)行目標(biāo)檢測,能夠得到第三圖像中目標(biāo)的高度占第三圖像的高度的第三比例,根據(jù)該第三比例以及攝像頭的視場角以及上述計(jì)算出的目標(biāo)的實(shí)際高度,能夠計(jì)算出拍攝第三圖像時(shí)該電子設(shè)備對應(yīng)位置到目標(biāo)的當(dāng)前距離。

      可見,應(yīng)用圖1提供實(shí)施例,通過裝載的攝像頭能夠真實(shí)地獲得目標(biāo)所處場景的圖像,并對獲得的圖像進(jìn)行目標(biāo)檢測,能夠準(zhǔn)確的計(jì)算出目標(biāo)的高度占該圖像的高度的比例,根據(jù)該比例以及目標(biāo)的實(shí)際高度,計(jì)算拍攝該圖像時(shí)該電子設(shè)備對應(yīng)位置到目標(biāo)的當(dāng)前距離,并將當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離作差得到差值,根據(jù)差值移動(dòng)電子設(shè)備,達(dá)到實(shí)時(shí)跟蹤目標(biāo)的目的,減少了對目標(biāo)進(jìn)行跟蹤的誤差,提高了跟蹤的準(zhǔn)確度。

      針對上述的步驟S107,在本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式中,所述計(jì)算該第三圖像中所述目標(biāo)的第三高度占該第三圖像的高度的第三比例,可以包括:

      步驟a:利用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測算法Faster-RCNN,對該第三圖像進(jìn)行目標(biāo)檢測,得到所述目標(biāo);

      由上可知的是,F(xiàn)aster-RCNN由兩部分組成,分別是全卷積神經(jīng)網(wǎng)絡(luò)(Region Proposal Network,簡稱RPN)和快速卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測算法Fast-RCNN。

      RPN的輸入可以是任意大小的圖片,RPN對輸入的圖像進(jìn)行特征提取,特征提取可以采用VGG Net進(jìn)行卷積、池化操作,得到關(guān)于輸入圖像的特征圖譜,再按照預(yù)設(shè)大小的卷積核將特征圖譜分割成多個(gè)矩形窗口,把每個(gè)矩形窗口的中心點(diǎn)當(dāng)成一個(gè)基準(zhǔn)點(diǎn),圍繞這個(gè)基準(zhǔn)點(diǎn)選取9個(gè)不同尺寸的預(yù)選框,對于每一個(gè)預(yù)選框,均在后面連,接一個(gè)二分類器softmax然后再接上一個(gè)邊界框(bounding box)的回歸器,回歸器的輸出為4個(gè)坐標(biāo)點(diǎn),這4個(gè)坐標(biāo)點(diǎn)能夠確定對應(yīng)的預(yù)選框的區(qū)域,這9個(gè)不同尺寸的預(yù)選框構(gòu)成一個(gè)目標(biāo)可能存在的預(yù)選區(qū)域集。

      Fast-RCNN將上述RPN輸入的圖像,以及通過RPN得到的目標(biāo)可能存在的預(yù)選區(qū)域集作為輸入,首先對該圖像進(jìn)行處理得到一個(gè)卷積特征圖,然后為預(yù)選區(qū)域集中每個(gè)區(qū)域的ROI(Region Of Interest)池化層從卷積特征圖中提取一個(gè)固定長度的特征向量,每個(gè)特征向量被送入全連接層,最終得到兩個(gè)輸出,一個(gè)用于確定圖像中目標(biāo)的類別,另一個(gè)用于確定目標(biāo)所處區(qū)域。

      步驟b:計(jì)算所述目標(biāo)的第三高度;

      進(jìn)一步的,所述計(jì)算所述目標(biāo)的第三高度的步驟,可以包括:

      用矩形框?qū)λ瞿繕?biāo)進(jìn)行標(biāo)記,將所述矩形框的高度確定為所述目標(biāo)的第三高度。

      在上述確定出目標(biāo)所處區(qū)域之后,可以用矩形框?qū)δ繕?biāo)所處的區(qū)域進(jìn)行標(biāo)記,最常見的標(biāo)記方法是將目標(biāo)所在的像素點(diǎn)中橫坐標(biāo)的最小值以及縱坐標(biāo)的最大值,分別作為矩形框左上頂點(diǎn)的橫坐標(biāo)以及縱坐標(biāo),將目標(biāo)所在的像素點(diǎn)中橫坐標(biāo)的最大值以及縱坐標(biāo)的最小值,分別作為矩形框右下頂點(diǎn)的橫坐標(biāo)以及縱坐標(biāo),確定出矩形框的左上頂點(diǎn)和右下頂點(diǎn)便能夠確定該矩形框大小。該矩形框的高度即為行人的高度,稱該高度為第三高度,本發(fā)明實(shí)施例中“第一高度”、“第二高度”以及“第三高度”中的“第一”、“第二”以及“第三”僅為區(qū)分不同圖像中的目標(biāo)對應(yīng)的高度,“第一高度”、“第二高度”以及“第三高度”之間并沒有實(shí)際的先后順序之分。

      步驟c:計(jì)算所述第三高度占該第三圖像的高度的第三比例。

      上述計(jì)算出第三高度之后,第三高度占第三圖像的高度的第三比例P3,由于第三比例P3等于行人的實(shí)際高度h與攝像頭拍攝第三圖像時(shí)對應(yīng)的視場高度H3的比值,即P3=h/H3。

      基于上述提供的實(shí)施例,本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式中,在步驟c之前,該方法還可以包括:

      步驟A:利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對所述矩形框進(jìn)行全局特征提取,得到所述矩形框在該第三圖像中所處的位置;

      由于攝像頭拍攝到的圖像中各特征之間的位置關(guān)系與實(shí)際場景中的位置關(guān)系一致,由經(jīng)驗(yàn)可知,采用攝像頭在拍攝目標(biāo)時(shí),當(dāng)攝像頭的中心正對目標(biāo)時(shí),目標(biāo)在攝像頭的鏡頭中通常是處于中間位置的,如果圖像中的目標(biāo)處于圖像中的左側(cè)或右側(cè)的話,那也就意味著此時(shí)的攝像頭并不是正對目標(biāo)的,即與目標(biāo)存在這一定的夾角,如果此時(shí)直接對目標(biāo)進(jìn)行跟蹤的話,極有可能在驅(qū)動(dòng)設(shè)備驅(qū)動(dòng)電子設(shè)備向前移動(dòng)一段距離后,目標(biāo)將超出攝像頭的拍攝范圍,導(dǎo)致目標(biāo)被跟丟。

      考慮到上述因素,為了進(jìn)一步的防止電子設(shè)備向前移動(dòng)一段距離之后,目標(biāo)超出攝像頭的拍攝范圍,在本發(fā)明實(shí)施例提供的技術(shù)方案中,在上述計(jì)算第三高度占該第三圖像的高度的第三比例的步驟之前,利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對所述矩形框進(jìn)行全局特征提取,得到所述矩形框在該第三圖像中所處的位置。

      利用解析網(wǎng)絡(luò)ParseNet對Faster-RCNN輸出的特征圖譜進(jìn)行提取全局特征,具體方法是使用max pooling操作提取新的特征,即全局特征(Global feature),這個(gè)全局特征和Faster-RCNN卷積層的特征一同進(jìn)行歸一化操作并級聯(lián)起來,拼接成一個(gè)新的包含全局信息和局部細(xì)節(jié)的聯(lián)合特征(Combined feature),這個(gè)新的特征送入Faster-RCNN后面的ROI池化層作進(jìn)一步檢測。通過利用ParseNet對前述的特征圖譜進(jìn)行全局特征提取,能夠確定出目標(biāo)在整個(gè)圖像中所處的位置,即用于標(biāo)記目標(biāo)的矩形框在整個(gè)圖像中所處的位置。

      步驟B:判斷所述矩形框在該第三圖像中所處的位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi);

      步驟C:在步驟B判斷結(jié)果為是的情況下,執(zhí)行步驟c。

      由經(jīng)驗(yàn)可知,采用攝像頭在拍攝目標(biāo)時(shí),當(dāng)攝像頭的中心正對目標(biāo)時(shí),目標(biāo)在攝像頭的鏡頭中通常是處于中間位置的,也就是上述的矩形框處于整個(gè)圖像的中間位置。為了使目標(biāo)盡可能處于攝像頭的正前方,防止電子設(shè)備在跟蹤過程中跑偏,可以預(yù)先設(shè)置目標(biāo)跟蹤區(qū)域,即預(yù)設(shè)目標(biāo)跟蹤區(qū)域,然后判斷上述矩形框在該第三圖像中所處的位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi);如果判斷是處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi),那么認(rèn)為此時(shí)的行人處于攝像頭的正前方,繼續(xù)執(zhí)行所述計(jì)算所述第三高度占該第三圖像的高度的第三比例的步驟,進(jìn)而觸發(fā)上述的驅(qū)動(dòng)裝置,向前或向后移動(dòng)電子設(shè)備,達(dá)到穩(wěn)定的跟蹤。

      示例性的,可以以第三圖像的中軸線為中心線,而用于標(biāo)記目標(biāo)的矩形框也有一個(gè)中軸線,該中軸線到中心線的距離稱為偏心距,當(dāng)該偏心距不超過第三圖像的寬度的10%時(shí),認(rèn)為該行人處于攝像頭的正前方;當(dāng)然,該處僅為本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式,并且對于該具體實(shí)現(xiàn)方式中的10%為經(jīng)驗(yàn)值,可根據(jù)實(shí)際的跟蹤精度以及響應(yīng)要求調(diào)整該值的大小,本發(fā)明實(shí)施例并不對其做明確限定。

      綜上可見,應(yīng)用本發(fā)明實(shí)施例提供的方案,利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對矩形框進(jìn)行全局特征提取,得到矩形框在該第三圖像中所處的位置,并通過判斷該位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域之內(nèi),如果是,執(zhí)行計(jì)算所述第三高度占該第三圖像的高度的第三比例的步驟,能夠有效的防止目標(biāo)跟丟的現(xiàn)象,有效的提高了目標(biāo)跟蹤的準(zhǔn)確性。

      在本發(fā)明實(shí)施例提供的另一具體實(shí)現(xiàn)方式中,在上述步驟B判斷結(jié)果為否的情況下,該方法還包括:

      步驟D:觸發(fā)所述驅(qū)動(dòng)裝置,驅(qū)動(dòng)所述電子設(shè)備原地轉(zhuǎn)動(dòng),以使得所述矩形框處于所述預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)。

      由上可知的是,當(dāng)矩形框在該第三圖像中所處的位置不處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)時(shí),說明此時(shí)攝像頭并不是正對著目標(biāo),也就是說攝像頭與目標(biāo)之間存在這夾角,考慮到該現(xiàn)象,為了進(jìn)一步的提高目標(biāo)跟蹤的準(zhǔn)確度,防止目標(biāo)被跟丟的現(xiàn)象,在上述步驟B判斷結(jié)果為否的情況下,即矩形框在該第三圖像中所處的位置不處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)的情況下,可以觸發(fā)驅(qū)動(dòng)裝置,使該電子設(shè)備在原地旋轉(zhuǎn),在旋轉(zhuǎn)過程中,攝像頭會(huì)持續(xù)的拍攝當(dāng)前的圖像,當(dāng)矩形框處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域時(shí),驅(qū)動(dòng)裝置停止轉(zhuǎn)動(dòng)。

      可見,應(yīng)用本發(fā)明實(shí)施例提供的方案,能夠?qū)z像頭時(shí)刻的調(diào)整到正對目標(biāo)的位置,同時(shí)能夠有效的解決目標(biāo)跟丟的現(xiàn)象,在目標(biāo)跟丟的情況下,觸發(fā)驅(qū)動(dòng)裝置,驅(qū)動(dòng)電子設(shè)備原地轉(zhuǎn)動(dòng),360°搜索目標(biāo),大大提高了目標(biāo)跟蹤的穩(wěn)定性。

      圖3為本發(fā)明實(shí)施例提供的一種目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖,該裝置應(yīng)用于裝載攝像頭的電子設(shè)備,所述電子設(shè)備具有驅(qū)動(dòng)裝置,所述驅(qū)動(dòng)裝置能夠驅(qū)動(dòng)所述電子設(shè)備運(yùn)動(dòng);該裝置包括:第一獲得模塊201、第一計(jì)算模塊202、第一觸發(fā)模塊203、第二獲得模塊204、第二計(jì)算模塊205、第三獲得模塊206、第三計(jì)算模塊207、第四計(jì)算模塊208、第五計(jì)算模塊209和跟蹤模塊210,具體的:

      第一獲得模塊201,用于獲得所述攝像頭拍攝的第一圖像,所述第一圖像為在所述電子設(shè)備位于第一位置時(shí)所述攝像頭所拍攝的圖像,所述第一位置為所述攝像頭能夠拍攝到目標(biāo)的初始位置;

      第一計(jì)算模塊202,用于計(jì)算所述第一圖像中所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例;

      第一觸發(fā)模塊203,用于觸發(fā)所述驅(qū)動(dòng)裝置,以驅(qū)動(dòng)所述電子設(shè)備向前或向后移動(dòng)預(yù)設(shè)距離后,到達(dá)第二位置,所述向前為靠近所述目標(biāo),所述向后為遠(yuǎn)離所述目標(biāo);

      第二獲得模塊204,用于獲得所述攝像頭拍攝的第二圖像,并計(jì)算所述第二圖像中所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述第二圖像為所述電子設(shè)備位于所述第二位置時(shí)所述攝像頭所拍攝的圖像;

      第二計(jì)算模塊205,用于根據(jù)所述攝像頭的視場角、所述第一比例、所述預(yù)設(shè)距離和所述第二比例,計(jì)算所述目標(biāo)的實(shí)際高度,完成初始化配置;

      進(jìn)一步的,所述第二計(jì)算模塊205,具體用于:

      根據(jù)所述攝像頭的視場角、所述第一比例、所述預(yù)設(shè)距離和所述第二比例,完成初始化配置可以按照如下公式計(jì)算所述目標(biāo)的實(shí)際高度,完成初始化配置:

      上式中,所述h為所述目標(biāo)的實(shí)際高度,所述P1為所述目標(biāo)的第一高度占所述第一圖像的高度的第一比例,所述P2為所述目標(biāo)的第二高度占所述第二圖像的高度的第二比例,所述Fov為所述攝像頭的視場角,所述x為所述電子設(shè)備向前或向后移動(dòng)的預(yù)設(shè)距離,其中,所述電子設(shè)備向前移動(dòng)時(shí)x值為負(fù),所述電子設(shè)備向后移動(dòng)時(shí)x值為正。

      第三獲得模塊206,用于在完成初始化配置后,持續(xù)獲得所述攝像頭拍攝的第三圖像;

      第三計(jì)算模塊207,用于在所述第三獲得模塊獲得每一張第三圖像后,計(jì)算該第三圖像中所述目標(biāo)的第三高度占該第三圖像的高度的第三比例;

      第四計(jì)算模塊208,用于根據(jù)所述攝像頭的視場角、所述目標(biāo)的實(shí)際高度以及所述第三比例,計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的當(dāng)前距離;

      進(jìn)一步的,所述第四計(jì)算模塊208,具體用于:

      根據(jù)所述攝像頭的視場角、所述目標(biāo)的實(shí)際高度以及所述第三比例,按照如下公式計(jì)算拍攝所述第三圖像時(shí)所述電子設(shè)備所處位置到所述目標(biāo)的當(dāng)前距離:

      其中,所述Lx為拍攝所述第三圖像時(shí)對應(yīng)位置到所述目標(biāo)的當(dāng)前距離,所述h為所述目標(biāo)的實(shí)際高度,所述P3為所述第三圖像中所述目標(biāo)的總高度占所述第三圖像高度的第三比例,所述Fov為所述攝像頭的視場角。

      第五計(jì)算模塊209,用于計(jì)算所述當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離之間的差值;

      跟蹤模塊210,用于觸發(fā)所述驅(qū)動(dòng)裝置,以使得所述驅(qū)動(dòng)裝置根據(jù)所述差值移動(dòng)所述電子設(shè)備,以跟蹤所述目標(biāo)。

      應(yīng)用圖3提供實(shí)施例,通過裝載的攝像頭能夠真是的獲得目標(biāo)所處場景的圖像,并對獲得的圖像進(jìn)行目標(biāo)檢測,能夠準(zhǔn)確的計(jì)算出目標(biāo)的高度占該圖像的高度的比例,根據(jù)該比例以及目標(biāo)的實(shí)際高度,計(jì)算拍攝該圖像時(shí)該電子設(shè)備對應(yīng)位置到目標(biāo)的當(dāng)前距離,并將當(dāng)前距離與預(yù)設(shè)的目標(biāo)跟蹤距離作差得到差值,根據(jù)差值移動(dòng)電子設(shè)備,達(dá)到實(shí)時(shí)跟蹤目標(biāo)的目的,減少了對目標(biāo)進(jìn)行跟蹤的誤差,提高了跟蹤的準(zhǔn)確度。

      可選的,上述的第三計(jì)算模塊207,可以包括:目標(biāo)檢測子模塊、第一計(jì)算子模塊和第二計(jì)算子模塊,具體的:

      目標(biāo)檢測子模塊,用于利用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測算法Faster-RCNN,對該第三圖像進(jìn)行目標(biāo)檢測,得到所述目標(biāo);

      第一計(jì)算子模塊,用于計(jì)算所述目標(biāo)的第三高度;

      進(jìn)一步的,所述第一計(jì)算子模塊,具體用于:

      用矩形框?qū)λ瞿繕?biāo)進(jìn)行標(biāo)記,將所述矩形框的高度確定為所述目標(biāo)的第三高度。

      第二計(jì)算子模塊,用于計(jì)算所述第三高度占該第三圖像的高度的第三比例。

      在本發(fā)明實(shí)施例提供的一種具體實(shí)現(xiàn)方式中,在圖3提供實(shí)施例的基礎(chǔ)上,裝置還包括:特征提取模塊、判斷模塊和第二觸發(fā)模塊,具體的:

      特征提取模塊,用于在執(zhí)行所述第二計(jì)算子模塊之前,利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對所述矩形框進(jìn)行全局特征提取,得到所述矩形框在該第三圖像中所處的位置;

      判斷模塊,用于判斷所述矩形框在該第三圖像中所處的位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi);

      第二觸發(fā)模塊,用于在所述判斷模塊判定結(jié)果為是的情況下,觸發(fā)所述第二計(jì)算子模塊。

      應(yīng)用本發(fā)明實(shí)施例提供的方案,利用解析網(wǎng)絡(luò)ParseNet在該第三圖像中對矩形框進(jìn)行全局特征提取,得到矩形框在該第三圖像中所處的位置,并通過判斷該位置是否處于預(yù)設(shè)目標(biāo)跟蹤區(qū)域之內(nèi),如果是,執(zhí)行計(jì)算所述第三高度占該第三圖像的高度的第三比例的步驟,能夠有效的防止目標(biāo)跟丟的現(xiàn)象,有效的提高了目標(biāo)跟蹤的準(zhǔn)確性。

      基于上述提供的具體實(shí)施例,本發(fā)明實(shí)施例提供了另一種具體實(shí)現(xiàn)方式,在上述的判斷模塊判定結(jié)果為否的情況下,該裝置還包括:第三觸發(fā)模塊,具體的:

      第三觸發(fā)模塊,用于在所述判斷模塊判定結(jié)果為否的情況下,觸發(fā)所述驅(qū)動(dòng)裝置,驅(qū)動(dòng)所述電子設(shè)備原地轉(zhuǎn)動(dòng),以使得所述矩形框處于所述預(yù)設(shè)目標(biāo)跟蹤區(qū)域內(nèi)。

      應(yīng)用本發(fā)明實(shí)施例提供的方案,能夠?qū)z像頭時(shí)刻的調(diào)整到正對目標(biāo)的位置,同時(shí)能夠有效的解決目標(biāo)跟丟的現(xiàn)象,在目標(biāo)跟丟的情況下,觸發(fā)驅(qū)動(dòng)裝置,驅(qū)動(dòng)電子設(shè)備原地轉(zhuǎn)動(dòng),360°搜索目標(biāo),大大提高了目標(biāo)跟蹤的穩(wěn)定性。

      需要說明的是,在本文中,諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來,而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下,由語句“包括一個(gè)……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。

      本說明書中的各個(gè)實(shí)施例均采用相關(guān)的方式描述,各個(gè)實(shí)施例之間相同相似的部分互相參見即可,每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。尤其,對于裝置實(shí)施例而言,由于其基本相似于方法實(shí)施例,所以描述的比較簡單,相關(guān)之處參見方法實(shí)施例的部分說明即可。

      本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述方法實(shí)施方式中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成,所述的程序可以存儲(chǔ)于計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中,這里所稱得的存儲(chǔ)介質(zhì),如:ROM/RAM、磁碟、光盤等。

      以上所述僅為本發(fā)明的較佳實(shí)施例而已,并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換、改進(jìn)等,均包含在本發(fā)明的保護(hù)范圍內(nèi)。

      當(dāng)前第1頁1 2 3 
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會(huì)獲得點(diǎn)贊!
      1