專(zhuān)利名稱(chēng)：一種基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種投籃動(dòng)作識(shí)別方法，尤其涉及一種基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法。

背景技術(shù)：
動(dòng)作捕捉設(shè)備對(duì)場(chǎng)地、服裝和演員都有較高的限制，以光學(xué)捕捉設(shè)備為例，演員需要穿著特定的服裝并貼上標(biāo)記點(diǎn)，需要十分繁瑣的準(zhǔn)備過(guò)程。應(yīng)用從多視點(diǎn)輪廓圖識(shí)別動(dòng)作的方法，可以做到無(wú)標(biāo)記點(diǎn)，以改善用戶(hù)體驗(yàn)，提高交互性。
在近年來(lái)動(dòng)作識(shí)別的相關(guān)研究中，很多學(xué)者結(jié)合計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)等知識(shí)，針對(duì)不同的應(yīng)用領(lǐng)域和需求，提出了從二維圖像序列恢復(fù)三維動(dòng)作的解決方案，其研究成果主要被應(yīng)用于智能監(jiān)控、感知接口、運(yùn)動(dòng)分析和虛擬現(xiàn)實(shí)等方面。如，K.Takahashi等人基于手部動(dòng)作提出了一種全幀匹配方案，使用spatio-temporal vector fields作為識(shí)別依據(jù)，使用CDP(Continuous DynamicProgramming)定位，用于人的有限個(gè)手部動(dòng)作的識(shí)別。而LIU REN等則以舞蹈動(dòng)作為基礎(chǔ)，使用AdaBoost學(xué)習(xí)得到的矩形特征計(jì)算輪廓圖在這些特征上的海明距離，后基于預(yù)先生成的動(dòng)作圖(Motion Graph)進(jìn)行單幅圖像的局部敏感匹配，最后合成與輸入最相近的姿勢(shì)序列。


發(fā)明內(nèi)容
本發(fā)明的目的在于克服動(dòng)作捕捉設(shè)備對(duì)場(chǎng)地、服裝和演員高限制，避免繁瑣的準(zhǔn)備過(guò)程，在無(wú)標(biāo)記點(diǎn)的情況下快速而準(zhǔn)確地識(shí)別出投籃動(dòng)作。
基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法，其特征在于包括以下步驟 1)預(yù)先用動(dòng)作捕捉設(shè)備捕獲各種投籃動(dòng)作存入數(shù)據(jù)庫(kù)中，將所有動(dòng)作向兩側(cè)輕微旋轉(zhuǎn)后渲染成多視角下的二維圖像，然后處理為輪廓圖儲(chǔ)存； 2)標(biāo)記所有動(dòng)作的投籃出手時(shí)刻、出手位置和出手方式，將所有動(dòng)作分為左手單手、右手單手和雙手三大類(lèi)，并建立索引； 3)依據(jù)動(dòng)作分類(lèi)，在每一類(lèi)中平均隨機(jī)取若干動(dòng)作，取其出手時(shí)刻對(duì)應(yīng)的姿勢(shì)為樣本，按類(lèi)標(biāo)記，建立姿勢(shì)分類(lèi)樣本庫(kù)； 4)依據(jù)動(dòng)作分類(lèi)，在每一類(lèi)中平均隨機(jī)取若干姿勢(shì)對(duì)，取兩者圖像的異或值為樣本，并以?xún)烧呷S骨架間的距離是否過(guò)大為標(biāo)記，建立姿勢(shì)區(qū)分樣本庫(kù)； 5)對(duì)姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)中的每一個(gè)樣本，提取基于LUT擴(kuò)展的浮點(diǎn)哈爾特征； 6)使用Multiclass Gentle AdaBoost算法，針對(duì)浮點(diǎn)哈爾特征，從姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)中分別抽取分類(lèi)哈爾特征向量和度量哈爾特征向量； 7)運(yùn)行時(shí)，通過(guò)多視點(diǎn)攝像機(jī)拍攝人投籃的圖片序列，并處理為輪廓圖序列作為輸入； 8)從圖像序列中籃球輪廓是否與人體輪廓分離及其速度、位置，判斷投籃出手時(shí)刻； 9)使用分類(lèi)哈爾特征向量，計(jì)算出手時(shí)刻對(duì)應(yīng)姿勢(shì)的分類(lèi)哈爾特征值，判斷所屬類(lèi)； 10)從數(shù)據(jù)庫(kù)中索引同一類(lèi)的所有動(dòng)作，作為備選相似動(dòng)作； 11)對(duì)每一個(gè)備選相似動(dòng)作，將其與輸入按出手時(shí)刻對(duì)齊，使用度量哈爾特征向量計(jì)算兩兩姿勢(shì)間的度量哈爾特征值，再做動(dòng)態(tài)時(shí)序匹配，得到匹配代價(jià)； 12)取匹配代價(jià)最優(yōu)的備選相似動(dòng)作，作為輸入的識(shí)別結(jié)果。
基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法，其特征在于，所述的對(duì)姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)中的每一個(gè)樣本，提取基于LUT擴(kuò)展的浮點(diǎn)哈爾特征步驟包括 1)選擇若干哈爾特征樣式，按照?qǐng)D像大小和移動(dòng)步長(zhǎng)，選取不同的長(zhǎng)度、寬度和位置，定義若干哈爾特征； 2)對(duì)樣本庫(kù)中的每一個(gè)樣本所對(duì)應(yīng)的二值輪廓圖像，對(duì)每個(gè)已定義的哈爾特征，計(jì)算哈爾特征值； 3)對(duì)每個(gè)已定義的哈爾特征，將其值域等分為K個(gè)子域，對(duì)每個(gè)類(lèi)c統(tǒng)計(jì)每個(gè)子域中哈爾特征值落于該子域的樣本個(gè)數(shù)，得到樣本分布統(tǒng)計(jì)； 4)對(duì)每個(gè)已定義的哈爾特征，根據(jù)樣本分布統(tǒng)計(jì)，計(jì)算每個(gè)子域的類(lèi)屬偏向值，得到基于LUT擴(kuò)展的浮點(diǎn)哈爾特征，類(lèi)屬偏向值的計(jì)算公式是 基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法，其特征在于，所述的使用Multiclass Gentle AdaBoost算法，針對(duì)浮點(diǎn)哈爾特征，從姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)中分別抽取分類(lèi)哈爾特征向量和度量哈爾特征向量步驟包括 1)挑選若干樣本姿勢(shì)分為k類(lèi)，共n個(gè)，初始化樣本W(wǎng)權(quán)重為1/n，并標(biāo)記類(lèi)別c； 2)在每一輪特征選取過(guò)程中，對(duì)每個(gè)浮點(diǎn)哈爾特征，根據(jù)樣本分布統(tǒng)計(jì)和樣本權(quán)重，重新計(jì)算每個(gè)子域的類(lèi)屬偏向值，同時(shí)計(jì)算其對(duì)樣本的錯(cuò)判誤差 挑選錯(cuò)判誤差最小的浮點(diǎn)哈爾特征為本輪中選特征，然后更新樣本權(quán)重 最后歸一化新樣本權(quán)重； 3)重復(fù)步驟2)直至特征集合個(gè)數(shù)滿(mǎn)足要求或錯(cuò)判誤差過(guò)大，得到哈爾特征向量。
基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法，其特征在于，所述的對(duì)每一個(gè)備選相似動(dòng)作，將其與輸入按出手時(shí)刻對(duì)齊，用度量哈爾特征向量計(jì)算兩兩姿勢(shì)間的度量哈爾特征值，再做動(dòng)態(tài)時(shí)序匹配，得到匹配代價(jià)步驟包括 1)對(duì)每一個(gè)備選相似動(dòng)作，將其與輸入按出手時(shí)刻對(duì)齊，用度量哈爾特征向量計(jì)算兩兩姿勢(shì)間的度量哈爾特征值，建立匹配矩陣； 2)以出手時(shí)刻前若干幀為匹配起點(diǎn)集合，后若干幀為匹配終點(diǎn)集合，按照定義的局部連續(xù)性約束和全局連續(xù)性約束，從起點(diǎn)集合開(kāi)始依次擴(kuò)展匹配路徑至終點(diǎn)集合，匹配路徑上的每個(gè)點(diǎn)始終記錄從起點(diǎn)開(kāi)始到達(dá)該點(diǎn)的最優(yōu)匹配代價(jià)和生成該代價(jià)的最優(yōu)父節(jié)點(diǎn)； 3)從匹配終點(diǎn)集合中挑選匹配代價(jià)最優(yōu)的點(diǎn)作為終點(diǎn)，根據(jù)每個(gè)點(diǎn)記錄的最優(yōu)父節(jié)點(diǎn)，回溯得到最優(yōu)匹配路徑和最優(yōu)匹配代價(jià)。
本發(fā)明是通過(guò)多視點(diǎn)攝像機(jī)采集動(dòng)作圖片序列，提取輪廓并抽取圖像特征，再以此為依據(jù)在數(shù)據(jù)庫(kù)中尋找最優(yōu)匹配動(dòng)作，以快速并準(zhǔn)確地達(dá)到識(shí)別投籃動(dòng)作的目的。不同于動(dòng)作捕捉設(shè)備對(duì)場(chǎng)地、服裝和演員的高要求和繁瑣的準(zhǔn)備過(guò)程，本發(fā)明無(wú)標(biāo)記點(diǎn)，無(wú)演員身高、性別、服裝限制，具有良好的用戶(hù)體驗(yàn)，且具有較高的計(jì)算效率，可滿(mǎn)足交互裝置等的準(zhǔn)實(shí)時(shí)響應(yīng)要求，考慮動(dòng)作的時(shí)序性，結(jié)合輪廓圖的特征相似性，具有較高的識(shí)別準(zhǔn)確率。



圖1是基于時(shí)序匹配的多視點(diǎn)輪廓圖序列識(shí)別動(dòng)作方法流程圖； 圖2(a)是動(dòng)作捕捉設(shè)備捕獲投籃動(dòng)作的場(chǎng)景； 圖2(b)是動(dòng)作捕捉設(shè)備捕獲到的動(dòng)作； 圖2(c)是動(dòng)作的輪廓圖； 圖3是本發(fā)明數(shù)據(jù)庫(kù)組織與索引形式； 圖4(a)是哈爾特征示意； 圖4(b)是基于LUT擴(kuò)展的浮點(diǎn)哈爾特征類(lèi)屬偏向值示意； 圖4(c)是根據(jù)偏向值判斷樣本的類(lèi)別示意； 圖5(a)是動(dòng)態(tài)時(shí)序匹配的匹配矩陣和匹配路徑示意； 圖5(b)是動(dòng)態(tài)時(shí)序匹配的局部連續(xù)性約束示意； 圖6(a)是本發(fā)明右手拋球的識(shí)別結(jié)果； 圖6(b)是本發(fā)明雙手右側(cè)投籃的識(shí)別結(jié)果； 圖6(c)是本發(fā)明雙手拋球的識(shí)別結(jié)果。

具體實(shí)施例方式 基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法，其特征在于包括以下步驟 1)預(yù)先用動(dòng)作捕捉設(shè)備捕獲各種投籃動(dòng)作存入數(shù)據(jù)庫(kù)中，將所有動(dòng)作向兩側(cè)輕微旋轉(zhuǎn)后渲染成多視角下的二維圖像，然后處理為輪廓圖儲(chǔ)存； 2)標(biāo)記所有動(dòng)作的投籃出手時(shí)刻、出手位置和出手方式，將所有動(dòng)作分為左手單手、右手單手和雙手三大類(lèi)，并建立索引； 3)依據(jù)動(dòng)作分類(lèi)，在每一類(lèi)中平均隨機(jī)取若干動(dòng)作，取其出手時(shí)刻對(duì)應(yīng)的姿勢(shì)為樣本，按類(lèi)標(biāo)記，建立姿勢(shì)分類(lèi)樣本庫(kù)； 4)依據(jù)動(dòng)作分類(lèi)，在每一類(lèi)中平均隨機(jī)取若干姿勢(shì)對(duì)，取兩者圖像的異或值為樣本，并以?xún)烧呷S骨架間的距離是否過(guò)大為標(biāo)記，建立姿勢(shì)區(qū)分樣本庫(kù)； 5)對(duì)姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)中的每一個(gè)樣本，提取基于LUT擴(kuò)展的浮點(diǎn)哈爾特征； 6)使用Multiclass Gentle AdaBoost算法，針對(duì)浮點(diǎn)哈爾特征，從姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)中分別抽取分類(lèi)哈爾特征向量和度量哈爾特征向量； 7)運(yùn)行時(shí)，通過(guò)多視點(diǎn)攝像機(jī)拍攝人投籃的圖片序列，并處理為輪廓圖序列作為輸入； 8)從圖像序列中籃球輪廓是否與人體輪廓分離及其速度、位置，判斷投籃出手時(shí)刻； 9)使用分類(lèi)哈爾特征向量，計(jì)算出手時(shí)刻對(duì)應(yīng)姿勢(shì)的分類(lèi)哈爾特征值，判斷所屬類(lèi)； 10)從數(shù)據(jù)庫(kù)中索引同一類(lèi)的所有動(dòng)作，作為備選相似動(dòng)作； 11)對(duì)每一個(gè)備選相似動(dòng)作，將其與輸入按出手時(shí)刻對(duì)齊，使用度量哈爾特征向量計(jì)算兩兩姿勢(shì)間的度量哈爾特征值，再做動(dòng)態(tài)時(shí)序匹配，得到匹配代價(jià)； 12)取匹配代價(jià)最優(yōu)的備選相似動(dòng)作，作為輸入的識(shí)別結(jié)果。
基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法，其特征在于，所述的對(duì)姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)中的每一個(gè)樣本，提取基于LUT擴(kuò)展的浮點(diǎn)哈爾特征步驟包括 1)選擇若干哈爾特征樣式，按照?qǐng)D像大小和移動(dòng)步長(zhǎng)，選取不同的長(zhǎng)度、寬度和位置，定義若干哈爾特征； 2)對(duì)樣本庫(kù)中的每一個(gè)樣本所對(duì)應(yīng)的二值輪廓圖像，對(duì)每個(gè)已定義的哈爾特征，計(jì)算哈爾特征值； 3)對(duì)每個(gè)已定義的哈爾特征，將其值域等分為K個(gè)子域，對(duì)每個(gè)類(lèi)c統(tǒng)計(jì)每個(gè)子域中哈爾特征值落于該子域的樣本個(gè)數(shù)，得到樣本分布統(tǒng)計(jì)； 4)對(duì)每個(gè)已定義的哈爾特征，根據(jù)樣本分布統(tǒng)計(jì)，計(jì)算每個(gè)子域的類(lèi)屬偏向值，得到基于LUT擴(kuò)展的浮點(diǎn)哈爾特征，類(lèi)屬偏向值的計(jì)算公式是 基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法，其特征在于，所述的使用Multiclass Gentle AdaBoost算法，針對(duì)浮點(diǎn)哈爾特征，從姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)中分別抽取分類(lèi)哈爾特征向量和度量哈爾特征向量步驟包括 1)挑選若干樣本姿勢(shì)分為k類(lèi)，共n個(gè)，初始化樣本W(wǎng)權(quán)重為1/n，并標(biāo)記類(lèi)別c； 2)在每一輪特征選取過(guò)程中，對(duì)每個(gè)浮點(diǎn)哈爾特征，根據(jù)樣本分布統(tǒng)計(jì)和樣本權(quán)重，重新計(jì)算每個(gè)子域的類(lèi)屬偏向值，同時(shí)計(jì)算其對(duì)樣本的錯(cuò)判誤差 挑選錯(cuò)判誤差最小的浮點(diǎn)哈爾特征為本輪中選特征，然后更新樣本權(quán)重 最后歸一化新樣本權(quán)重； 3)重復(fù)步驟2)直至特征集合個(gè)數(shù)滿(mǎn)足要求或錯(cuò)判誤差過(guò)大，得到哈爾特征向量。
基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法，其特征在于，所述的對(duì)每一個(gè)備選相似動(dòng)作，將其與輸入按出手時(shí)刻對(duì)齊，用度量哈爾特征向量計(jì)算兩兩姿勢(shì)間的度量哈爾特征值，再做動(dòng)態(tài)時(shí)序匹配，得到匹配代價(jià)步驟包括 1)對(duì)每一個(gè)備選相似動(dòng)作，將其與輸入按出手時(shí)刻對(duì)齊，用度量哈爾特征向量計(jì)算兩兩姿勢(shì)間的度量哈爾特征值，建立匹配矩陣； 2)以出手時(shí)刻前若干幀為匹配起點(diǎn)集合，后若干幀為匹配終點(diǎn)集合，按照定義的局部連續(xù)性約束和全局連續(xù)性約束，從起點(diǎn)集合開(kāi)始依次擴(kuò)展匹配路徑至終點(diǎn)集合，匹配路徑上的每個(gè)點(diǎn)始終記錄從起點(diǎn)開(kāi)始到達(dá)該點(diǎn)的最優(yōu)匹配代價(jià)和生成該代價(jià)的最優(yōu)父節(jié)點(diǎn)； 3)從匹配終點(diǎn)集合中挑選匹配代價(jià)最優(yōu)的點(diǎn)作為終點(diǎn)，根據(jù)每個(gè)點(diǎn)記錄的最優(yōu)父節(jié)點(diǎn)，回溯得到最優(yōu)匹配路徑和最優(yōu)匹配代價(jià)。
實(shí)施例 基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法步驟如下 1)首先用動(dòng)作捕捉設(shè)備捕獲各種投籃動(dòng)作到數(shù)據(jù)庫(kù)，如圖2(a)和圖(b)，將所有動(dòng)作向兩側(cè)分別旋轉(zhuǎn)15°以豐富數(shù)據(jù)庫(kù)內(nèi)容。將所有動(dòng)作渲染成多視角下的二維圖像，然后處理為如圖2(c)的輪廓圖儲(chǔ)存在數(shù)據(jù)庫(kù)中； 2)手動(dòng)標(biāo)記所有動(dòng)作的投籃出手時(shí)刻、出手位置和出手方式，根據(jù)出手位置將所有動(dòng)作分為左手單手、右手單手和雙手三大類(lèi)，并如圖3建立索引； 3)依據(jù)動(dòng)作分類(lèi)，在每一類(lèi)中平均隨機(jī)選取動(dòng)作共計(jì)5100個(gè)，取其出手時(shí)刻對(duì)應(yīng)的姿勢(shì)為樣本，按類(lèi)標(biāo)記，建立姿勢(shì)分類(lèi)樣本庫(kù)，再在每一類(lèi)中平均隨機(jī)取姿勢(shì)對(duì)共計(jì)6000個(gè)，取兩者圖像的異或值為樣本，并以?xún)烧呷S骨架間的距離是否過(guò)大為標(biāo)記，建立姿勢(shì)區(qū)分樣本庫(kù)； 4)選擇如圖4(a)的四種哈爾特征樣式，對(duì)姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)中的每一個(gè)樣本，提取基于LUT擴(kuò)展的浮點(diǎn)哈爾特征； 5)使用Multiclass Gentle AdaBoost算法，針對(duì)第4步提取的浮點(diǎn)哈爾特征，從姿勢(shì)分類(lèi)樣本庫(kù)中抽取50個(gè)浮點(diǎn)哈爾特征組成分類(lèi)哈爾特征向量，從姿勢(shì)區(qū)分樣本庫(kù)中抽取150個(gè)浮點(diǎn)哈爾特征組成度量哈爾特征向量； 6)在系統(tǒng)運(yùn)行時(shí)，在左前、右前、后方、右方和右上方架設(shè)多視點(diǎn)攝像機(jī)，先在無(wú)人的環(huán)境下拍攝一組背景照片，再拍攝人投籃的圖片序列，使用上下雙閾值輪廓提取算法將其處理為輪廓圖序列，以此作為輸入； 7)使用圖像序列中的右方和右上方圖像，逐幀判斷其中籃球輪廓是否與人體輪廓分離以及籃球輪廓的速度、位置是否符合物理規(guī)律，若連續(xù)若干幀條件均成立，則將條件成立的第二幀作為輸入序列中的投籃出手時(shí)刻； 8)使用分類(lèi)哈爾特征向量，計(jì)算出手時(shí)刻對(duì)應(yīng)姿勢(shì)的分類(lèi)哈爾特征值，分類(lèi)哈爾特征值中的最大分量所對(duì)應(yīng)的類(lèi)為其所屬類(lèi)，再?gòu)臄?shù)據(jù)庫(kù)中索引同一類(lèi)的所有動(dòng)作，作為備選相似動(dòng)作； 9)對(duì)每一個(gè)備選相似動(dòng)作，將其與輸入序列按出手時(shí)刻對(duì)齊，分別截取備選相似動(dòng)作和輸入序列的出手時(shí)刻前后若干幀作為匹配序列，使用度量哈爾特征向量計(jì)算兩兩姿勢(shì)間的度量哈爾特征值建立匹配矩陣，做動(dòng)態(tài)時(shí)序匹配，得到匹配代價(jià)； 10)取匹配代價(jià)最優(yōu)的備選相似動(dòng)作，作為輸入的識(shí)別結(jié)果，如圖6(a)(b)(c)。
所述的第4步提取基于LUT擴(kuò)展的浮點(diǎn)哈爾特征的步驟為 1)選擇如圖4(a)的哈爾特征樣式，按照?qǐng)D像大小和移動(dòng)步長(zhǎng)，選取不同的長(zhǎng)度、寬度和位置，定義具體的哈爾特征共計(jì)約110000個(gè)； 2)對(duì)樣本庫(kù)中的每一個(gè)樣本所對(duì)應(yīng)的二值輪廓圖像，對(duì)每個(gè)已定義的哈爾特征，計(jì)算哈爾特征值，計(jì)算方法為統(tǒng)計(jì)黑白矩陣中像素點(diǎn)的個(gè)數(shù)差； 3)對(duì)每個(gè)已定義的哈爾特征，將其值域等分為32個(gè)子域，對(duì)每個(gè)類(lèi)c統(tǒng)計(jì)每個(gè)子域中哈爾特征值落于該子域的樣本個(gè)數(shù)，得到樣本分布統(tǒng)計(jì)，再根據(jù)樣本分布統(tǒng)計(jì)，計(jì)算如圖4(b)的每個(gè)子域的類(lèi)屬偏向值，得到基于LUT擴(kuò)展的浮點(diǎn)哈爾特征，類(lèi)屬偏向值的計(jì)算公式是 4)類(lèi)屬偏向值中的最大項(xiàng)所對(duì)應(yīng)的類(lèi)別，即為該浮點(diǎn)哈爾特征對(duì)該樣本的類(lèi)屬判斷，如圖4(c)。
所訴的第5步Multiclass Gentle AdaBoost算法的步驟為 1)挑選若干樣本姿勢(shì)分為k類(lèi)，共n個(gè)，初始化樣本W(wǎng)權(quán)重為1/n，并標(biāo)記類(lèi)別c； 2)在每一輪特征選取過(guò)程中，對(duì)每個(gè)浮點(diǎn)哈爾特征，根據(jù)樣本分布統(tǒng)計(jì)和新的樣本權(quán)重，重新計(jì)算每個(gè)子域的類(lèi)屬偏向值，同時(shí)計(jì)算該特征對(duì)所有樣本的錯(cuò)判誤差 挑選錯(cuò)判誤差最小的浮點(diǎn)哈爾特征為本輪中選特征，然后更新樣本權(quán)重 最后歸一化得到新的樣本權(quán)重； 3)重復(fù)步驟2)直至特征集合個(gè)數(shù)滿(mǎn)足要求或錯(cuò)判誤差過(guò)大，得到哈爾特征向量。
所述的第9步動(dòng)態(tài)時(shí)序匹配的步驟為 1)對(duì)每一個(gè)備選相似動(dòng)作，將其與輸入按出手時(shí)刻對(duì)齊，使用度量哈爾特征向量計(jì)算兩兩姿勢(shì)間的度量哈爾特征值作為姿勢(shì)間的匹配代價(jià)，建立如圖5(a)的匹配矩陣，矩陣中的點(diǎn)用于記錄相應(yīng)姿勢(shì)間的匹配代價(jià)； 2)以出手時(shí)刻前若干幀為匹配起點(diǎn)集合，后若干幀為匹配終點(diǎn)集合，按照如圖5(b)的局部連續(xù)性約束，并要求全局幀錯(cuò)位不得超過(guò)3幀，從起點(diǎn)集合開(kāi)始依次擴(kuò)展匹配路徑至終點(diǎn)集合，匹配路徑上的每個(gè)點(diǎn)始終記錄從起點(diǎn)開(kāi)始到達(dá)該點(diǎn)的最優(yōu)匹配代價(jià)和生成該代價(jià)的最優(yōu)父節(jié)點(diǎn)； 3)從匹配終點(diǎn)集合中挑選匹配代價(jià)最優(yōu)的點(diǎn)作為終點(diǎn)，根據(jù)路徑中每個(gè)點(diǎn)在第2步中記錄的最優(yōu)父節(jié)點(diǎn)，依次回溯得到最優(yōu)匹配路徑，路徑上所有點(diǎn)的匹配代價(jià)之和就是最優(yōu)匹配代價(jià)。
本方法已經(jīng)被實(shí)現(xiàn)為一個(gè)具體的投籃動(dòng)作識(shí)別系統(tǒng)，在Windows下使用C++語(yǔ)言編寫(xiě)實(shí)現(xiàn)。本方法的表現(xiàn)情況主要在于動(dòng)作的識(shí)別率，我們對(duì)其做了大規(guī)模數(shù)據(jù)的識(shí)別測(cè)試。參加測(cè)試的人員共有A、B兩人，每人各做110個(gè)投籃動(dòng)作，包含各種左手、右手和雙手投籃動(dòng)作共220個(gè)動(dòng)作，按照對(duì)匹配要求的不同層次統(tǒng)計(jì)了分類(lèi)命中率和具體動(dòng)作識(shí)別率這兩項(xiàng)數(shù)據(jù)。其中，分類(lèi)命中率值的是識(shí)別出的動(dòng)作與測(cè)試動(dòng)作分類(lèi)的一致性，即是否同為左手、右手或雙手動(dòng)作；具體動(dòng)作識(shí)別率則要求測(cè)試數(shù)據(jù)能夠良好的區(qū)分拋球和投球，并且出手的具體位置也相近。具體測(cè)試結(jié)果如下表
測(cè)試結(jié)果表明本系統(tǒng)對(duì)投籃動(dòng)作的識(shí)別情況良好，且系統(tǒng)的識(shí)別速度快，識(shí)別一個(gè)動(dòng)作大約只需2-3秒鐘，能被應(yīng)用于交互式游戲。
權(quán)利要求
1.一種基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法，其特征在于包括以下步驟
1)預(yù)先用動(dòng)作捕捉設(shè)備捕獲各種投籃動(dòng)作存入數(shù)據(jù)庫(kù)中，將所有動(dòng)作向兩側(cè)輕微旋轉(zhuǎn)后渲染成多視角下的二維圖像，然后處理為輪廓圖儲(chǔ)存；
2)標(biāo)記所有動(dòng)作的投籃出手時(shí)刻、出手位置和出手方式，將所有動(dòng)作分為左手單手、右手單手和雙手三大類(lèi)，并建立索引；
3)依據(jù)動(dòng)作分類(lèi)，在每一類(lèi)中平均隨機(jī)取若干動(dòng)作，取其出手時(shí)刻對(duì)應(yīng)的姿勢(shì)為樣本，按類(lèi)標(biāo)記，建立姿勢(shì)分類(lèi)樣本庫(kù)；
4)依據(jù)動(dòng)作分類(lèi)，在每一類(lèi)中平均隨機(jī)取若干姿勢(shì)對(duì)，取兩者圖像的異或值為樣本，并以?xún)烧呷S骨架間的距離是否過(guò)大為標(biāo)記，建立姿勢(shì)區(qū)分樣本庫(kù)；
5)對(duì)姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)中的每一個(gè)樣本，提取基于LUT擴(kuò)展的浮點(diǎn)哈爾特征；
6)使用Multiclass Gentle AdaBoost算法，針對(duì)浮點(diǎn)哈爾特征，從姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)中分別抽取分類(lèi)哈爾特征向量和度量哈爾特征向量；
7)運(yùn)行時(shí)，通過(guò)多視點(diǎn)攝像機(jī)拍攝人投籃的圖片序列，并處理為輪廓圖序列作為輸入；
8)從圖像序列中籃球輪廓是否與人體輪廓分離及其速度、位置，判斷投籃出手時(shí)刻；
9)使用分類(lèi)哈爾特征向量，計(jì)算出手時(shí)刻對(duì)應(yīng)姿勢(shì)的分類(lèi)哈爾特征值，判斷所屬類(lèi)；
10)從數(shù)據(jù)庫(kù)中索引同一類(lèi)的所有動(dòng)作，作為備選相似動(dòng)作；
11)對(duì)每一個(gè)備選相似動(dòng)作，將其與輸入按出手時(shí)刻對(duì)齊，使用度量哈爾特征向量計(jì)算兩兩姿勢(shì)間的度量哈爾特征值，再做動(dòng)態(tài)時(shí)序匹配，得到匹配代價(jià)；
12)取匹配代價(jià)最優(yōu)的備選相似動(dòng)作，作為輸入的識(shí)別結(jié)果。
2.如權(quán)利要求1所述的一種基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法，其特征在于，所述的對(duì)姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)中的每一個(gè)樣本，提取基于LUT擴(kuò)展的浮點(diǎn)哈爾特征步驟包括
1)選擇若干哈爾特征樣式，按照?qǐng)D像大小和移動(dòng)步長(zhǎng)，選取不同的長(zhǎng)度、寬度和位置，定義若干哈爾特征；
2)對(duì)樣本庫(kù)中的每一個(gè)樣本所對(duì)應(yīng)的二值輪廓圖像，對(duì)每個(gè)已定義的哈爾特征，計(jì)算哈爾特征值；
3)對(duì)每個(gè)已定義的哈爾特征，將其值域等分為K個(gè)子域，對(duì)每個(gè)類(lèi)c統(tǒng)計(jì)每個(gè)子域中哈爾特征值落于該子域的樣本個(gè)數(shù)，得到樣本分布統(tǒng)計(jì)；
4)對(duì)每個(gè)已定義的哈爾特征，根據(jù)樣本分布統(tǒng)計(jì)，計(jì)算每個(gè)子域的類(lèi)屬偏向值，得到基于LUT擴(kuò)展的浮點(diǎn)哈爾特征，類(lèi)屬偏向值的計(jì)算公式是
3.如權(quán)利要求1所述的一種基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法，其特征在于，所述的使用Multiclass Gentle AdaBoost算法，針對(duì)浮點(diǎn)哈爾特征，從姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)中分別抽取分類(lèi)哈爾特征向量和度量哈爾特征向量步驟包括
1)挑選若干樣本姿勢(shì)分為k類(lèi)，共n個(gè)，初始化樣本W(wǎng)權(quán)重為1/n，并標(biāo)記類(lèi)別c；
2)在每一輪特征選取過(guò)程中，對(duì)每個(gè)浮點(diǎn)哈爾特征，根據(jù)樣本分布統(tǒng)計(jì)和樣本權(quán)重，重新計(jì)算每個(gè)子域的類(lèi)屬偏向值，同時(shí)計(jì)算其對(duì)樣本的錯(cuò)判誤差
挑選錯(cuò)判誤差最小的浮點(diǎn)哈爾特征為本輪中選特征，然后更新樣本權(quán)重
最后歸一化新樣本權(quán)重；
3)重復(fù)步驟2)直至特征集合個(gè)數(shù)滿(mǎn)足要求或錯(cuò)判誤差過(guò)大，得到哈爾特征向量。
4.如權(quán)利要求1所述的一種基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法，其特征在于，所述的對(duì)每一個(gè)備選相似動(dòng)作，將其與輸入按出手時(shí)刻對(duì)齊，用度量哈爾特征向量計(jì)算兩兩姿勢(shì)間的度量哈爾特征值，再做動(dòng)態(tài)時(shí)序匹配，得到匹配代價(jià)步驟包括
1)對(duì)每一個(gè)備選相似動(dòng)作，將其與輸入按出手時(shí)刻對(duì)齊，用度量哈爾特征向量計(jì)算兩兩姿勢(shì)間的度量哈爾特征值，建立匹配矩陣；
2)以出手時(shí)刻前若干幀為匹配起點(diǎn)集合，后若干幀為匹配終點(diǎn)集合，按照定義的局部連續(xù)性約束和全局連續(xù)性約束，從起點(diǎn)集合開(kāi)始依次擴(kuò)展匹配路徑至終點(diǎn)集合，匹配路徑上的每個(gè)點(diǎn)始終記錄從起點(diǎn)開(kāi)始到達(dá)該點(diǎn)的最優(yōu)匹配代價(jià)和生成該代價(jià)的最優(yōu)父節(jié)點(diǎn)；
3)從匹配終點(diǎn)集合中挑選匹配代價(jià)最優(yōu)的點(diǎn)作為終點(diǎn)，根據(jù)每個(gè)點(diǎn)記錄的最優(yōu)父節(jié)點(diǎn)，回溯得到最優(yōu)匹配路徑和最優(yōu)匹配代價(jià)。
全文摘要
本發(fā)明公開(kāi)了一種基于哈爾特征和動(dòng)態(tài)時(shí)序匹配的投籃動(dòng)作識(shí)別方法。方法的步驟如下預(yù)先捕獲投籃動(dòng)作到數(shù)據(jù)庫(kù)，將所有動(dòng)作處理成多視角下的二維輪廓圖像后儲(chǔ)存并標(biāo)記和分類(lèi)，再建立姿勢(shì)分類(lèi)樣本庫(kù)和姿勢(shì)區(qū)分樣本庫(kù)分別抽取分類(lèi)哈爾特征和度量哈爾特征。運(yùn)行時(shí)通過(guò)多視點(diǎn)攝像機(jī)拍攝人投籃的圖片序列并處理為輪廓圖序列作為輸入，判斷投籃出手時(shí)刻，計(jì)算該時(shí)刻姿勢(shì)的分類(lèi)哈爾特征值并判斷所屬類(lèi)，再?gòu)臄?shù)據(jù)庫(kù)中索引同一類(lèi)的動(dòng)作作為備選相似動(dòng)作，將這些動(dòng)作與輸入以度量哈爾特征值為相似性度量做動(dòng)態(tài)時(shí)序匹配，取匹配代價(jià)最優(yōu)者為輸入的識(shí)別結(jié)果。本發(fā)明能在無(wú)標(biāo)記點(diǎn)的情況下快速而準(zhǔn)確地識(shí)別出投籃動(dòng)作，可應(yīng)用于實(shí)時(shí)交互設(shè)備。
文檔編號(hào)G06K9/00GK101826155SQ201010140038
公開(kāi)日2010年9月8日 申請(qǐng)日期2010年4月2日 優(yōu)先權(quán)日2010年4月2日
發(fā)明者耿衛(wèi)東, 林馳 申請(qǐng)人:浙江大學(xué)