用于同步顯示運(yùn)動(dòng)動(dòng)作的系統(tǒng)與方法
【專利說(shuō)明】用于同步顯示運(yùn)動(dòng)動(dòng)作的系統(tǒng)與方法
[0001] 相關(guān)專利申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求于2013年3月7日提交的編號(hào)為61/774,050的美國(guó)臨時(shí)專利申請(qǐng)和 于2013年7月1日提交的序號(hào)為13/932,899的美國(guó)專利申請(qǐng)（運(yùn)兩個(gè)專利的名稱均為 "用于測(cè)量極限運(yùn)動(dòng)技巧的方法與裝置"）的優(yōu)先權(quán)，W及要求于2013年7月12日提交的 序號(hào)為61/845, 877的美國(guó)臨時(shí)專利申請(qǐng)和于2013年9月11日提交的序號(hào)為14/024, 502 的美國(guó)專利申請(qǐng)（運(yùn)兩個(gè)專利的名稱均為"使用傳感器的自動(dòng)視頻同步"）的優(yōu)先權(quán)，前述 專利申請(qǐng)的全部?jī)?nèi)容并入本文作為參考。
[0003] 本申請(qǐng)?jiān)O(shè)及于2013年7月1日提交的序號(hào)為13/932, 899、專利名稱為"用于識(shí)別 與特征化運(yùn)動(dòng)動(dòng)作的系統(tǒng)和方法"的美國(guó)專利申請(qǐng)，其公開(kāi)內(nèi)容全部并入本文作為參考。
[0004] 本申請(qǐng)?jiān)O(shè)及于2013年1月4日提交的序號(hào)為13/734, 818、專利名稱為"動(dòng)作視頻 的自動(dòng)數(shù)據(jù)管理與標(biāo)記"的美國(guó)專利申請(qǐng)，其公開(kāi)內(nèi)容全部并入本文作為參考。
[0005] 本申請(qǐng)?jiān)O(shè)及于2012年9月12日提交的序號(hào)為13/612, 470、專利名稱為"使用模 糊邏輯確定運(yùn)動(dòng)員跳躍動(dòng)作的方法與裝置"的美國(guó)專利申請(qǐng)，特此將其公開(kāi)內(nèi)容全部并入 本文作為參考。
【背景技術(shù)】
[0006] 極限運(yùn)動(dòng)（也稱為"極限體育運(yùn)動(dòng)"或"冒險(xiǎn)運(yùn)動(dòng)"）的普及性正在穩(wěn)步增長(zhǎng)。特 別是，滑雪板、滑板、自由式滑雪、沖浪、跳傘、翼裝飛行、自行車越野及其他一些極限運(yùn)動(dòng)正 在成為（或者目前已經(jīng)成為）主流運(yùn)動(dòng)。各種媒體組織越來(lái)越關(guān)注此類運(yùn)動(dòng)，其中某些競(jìng) 賽（如X-Games)?？谥铝Ω鞣N極限運(yùn)動(dòng)。
[0007] 在很多傳統(tǒng)運(yùn)動(dòng)中，使用客觀方法如分?jǐn)?shù)（例如，棒球運(yùn)動(dòng)中的跑壘次數(shù)或得分） 或時(shí)間（例如，賽跑者或下坡滑雪者越過(guò)終點(diǎn)線的時(shí)間）對(duì)比賽進(jìn)行測(cè)量與評(píng)判。相比 而言，在很多極限運(yùn)動(dòng)中，運(yùn)動(dòng)員卻通過(guò)表演跳躍、空翻、旋轉(zhuǎn)等諸如此類的運(yùn)動(dòng)動(dòng)作（例 如"技巧"）進(jìn)行比賽。例如，有關(guān)滑雪常用技巧的描述，可訪問(wèn)http://en.wikipedia. org/w;Lki/List_of_snowboa;rd_t;ricks;有關(guān)滑板常用技巧的描述，可訪問(wèn) skateboardingtrickslist.com〇
[0008] 極限運(yùn)動(dòng)中的很多運(yùn)動(dòng)動(dòng)作都很復(fù)雜，而且表演極其迅速。相應(yīng)地，通常基于各種 主觀因素（包括某一特殊運(yùn)動(dòng)動(dòng)作的難度或美感的個(gè)人感受）由（裁判與觀眾）對(duì)極限運(yùn) 動(dòng)比賽中表演的運(yùn)動(dòng)動(dòng)作進(jìn)行評(píng)判。運(yùn)種做法通常在識(shí)別不同的運(yùn)動(dòng)動(dòng)作W及在比賽中判 斷或評(píng)定此類動(dòng)作時(shí)導(dǎo)致出現(xiàn)問(wèn)題。例如，在高臺(tái)滑雪比賽中，跳躍者的動(dòng)作非?？欤琖致 于觀眾無(wú)法判斷其表演的旋轉(zhuǎn)或空翻的數(shù)目。
[0009] 一些常規(guī)系統(tǒng)試圖用慣性傳感器測(cè)量快速旋轉(zhuǎn)。通常運(yùn)類測(cè)量都相對(duì)于傳感器 軸，但是也可W與絕對(duì)軸相關(guān)。然而，此類常規(guī)系統(tǒng)并不能實(shí)施運(yùn)動(dòng)參與者與觀眾易于理解 的傳感器測(cè)量。常規(guī)系統(tǒng)并不能自動(dòng)識(shí)別與測(cè)量極限運(yùn)動(dòng)"技巧"，因此并不適用于極限運(yùn) 動(dòng)參與者專用的實(shí)際比賽、排行榜、社交網(wǎng)絡(luò)。
[0010] 此外，對(duì)于極限運(yùn)動(dòng)中表演的很多運(yùn)動(dòng)動(dòng)作而言，要定義創(chuàng)建實(shí)際比賽和/或使 實(shí)際比賽自動(dòng)化所需的標(biāo)準(zhǔn)并不簡(jiǎn)單。不像可W簡(jiǎn)單地用分?jǐn)?shù)、速度或時(shí)間衡量的其他運(yùn) 動(dòng)，極限運(yùn)動(dòng)中表演的運(yùn)動(dòng)動(dòng)作通常設(shè)及很多復(fù)雜的動(dòng)作。一些傳統(tǒng)系統(tǒng)試圖通過(guò)對(duì)比表 演其各自動(dòng)作的兩位表演者的視頻來(lái)比較兩位不同的表演者表演的同一個(gè)"技巧"的相似 度。然而，此類比較通常設(shè)及大量的勞動(dòng)密集型操作，例如，人工選擇每個(gè)視頻的相應(yīng)部分， 然后一起播放。此類并排的視頻比較很難準(zhǔn)備，并且通常相互之間并不同步。此外，運(yùn)種方 法阻礙了對(duì)不同表演者表演的同一運(yùn)動(dòng)動(dòng)作進(jìn)行視覺(jué)比較的廣泛使用，或者也阻礙了對(duì)同 一表演者在不同時(shí)間表演的同一動(dòng)作進(jìn)行比較的廣泛使用。本發(fā)明實(shí)施例能夠解決運(yùn)些及 其他問(wèn)題。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明實(shí)施例有助于同步表演運(yùn)動(dòng)動(dòng)作的表演者的多個(gè)視頻片段。此外，各種實(shí) 施例有助于對(duì)運(yùn)動(dòng)動(dòng)作進(jìn)行并行視覺(jué)比較。
[0012] 根據(jù)本發(fā)明一個(gè)實(shí)施例的計(jì)算機(jī)實(shí)現(xiàn)方法包括通過(guò)計(jì)算機(jī)系統(tǒng)接收與表演者在 第一時(shí)間段內(nèi)表演的動(dòng)作相關(guān)的第一傳感器數(shù)據(jù)和與該表演者在第二時(shí)間段內(nèi)表演的動(dòng) 作相關(guān)的第二傳感器數(shù)據(jù)；通過(guò)計(jì)算機(jī)系統(tǒng)并且基于所述第一傳感器數(shù)據(jù)與第二傳感器數(shù) 據(jù)確定多個(gè)運(yùn)動(dòng)特征；基于所述多個(gè)運(yùn)動(dòng)特征識(shí)別與表演者在第一時(shí)間段和第二時(shí)間段內(nèi) 表演的動(dòng)作相關(guān)的運(yùn)動(dòng)動(dòng)作；將所述第一傳感器數(shù)據(jù)與第一時(shí)間段內(nèi)表演的運(yùn)動(dòng)動(dòng)作的視 覺(jué)顯示進(jìn)行同步；將所述第二傳感器數(shù)據(jù)與第一時(shí)間段內(nèi)表演的運(yùn)動(dòng)動(dòng)作的視覺(jué)顯示進(jìn)行 同步；通過(guò)計(jì)算機(jī)系統(tǒng)同時(shí)呈現(xiàn)在第一時(shí)間段內(nèi)表演的運(yùn)動(dòng)動(dòng)作的視覺(jué)顯示和在第二時(shí)間 段內(nèi)表演的運(yùn)動(dòng)動(dòng)作的視覺(jué)顯示。
[0013] 本發(fā)明另一個(gè)實(shí)施例包括具有下列功能的裝置：接收與表演者在第一時(shí)間段內(nèi)表 演的動(dòng)作相關(guān)的第一傳感器數(shù)據(jù)和與該表演者在第二時(shí)間段內(nèi)表演的動(dòng)作相關(guān)的第二傳 感器數(shù)據(jù)；基于所述第一傳感器數(shù)據(jù)與第二傳感器數(shù)據(jù)確定多個(gè)運(yùn)動(dòng)特征；基于所述多個(gè) 運(yùn)動(dòng)特征識(shí)別與表演者在第一時(shí)間段和第二時(shí)間段內(nèi)表演的動(dòng)作相關(guān)的運(yùn)動(dòng)動(dòng)作；將所述 第一傳感器數(shù)據(jù)與第一時(shí)間段內(nèi)表演的運(yùn)動(dòng)動(dòng)作的視覺(jué)顯示進(jìn)行同步；將所述第二傳感器 數(shù)據(jù)與第一時(shí)間段內(nèi)表演的運(yùn)動(dòng)動(dòng)作的視覺(jué)顯示進(jìn)行同步；同時(shí)呈現(xiàn)在第一時(shí)間段內(nèi)表演 的運(yùn)動(dòng)動(dòng)作的視覺(jué)顯示和在第二時(shí)間段內(nèi)表演的運(yùn)動(dòng)動(dòng)作的視覺(jué)顯示。
[0014] 本發(fā)明包括能夠?qū)嵤┻\(yùn)些方法的方法與裝置，其中包括實(shí)施運(yùn)些方法的數(shù)據(jù)處理 系統(tǒng)，W及含有在數(shù)據(jù)處理系統(tǒng)上執(zhí)行時(shí)可促使系統(tǒng)實(shí)施運(yùn)些方法的指令的計(jì)算機(jī)可讀介 質(zhì)。
[0015] 根據(jù)下述附圖與【具體實(shí)施方式】，本發(fā)明的其他特征是顯而易見(jiàn)的。
【附圖說(shuō)明】
[0016] 根據(jù)下文【具體實(shí)施方式】與權(quán)利要求書(shū)并結(jié)合下列示意圖，將能更全面地理解某些 實(shí)施例。
[0017] 圖1和圖IA為根據(jù)各種實(shí)施例表示示例性流程的流程圖。
[001引圖2為根據(jù)各種實(shí)施例的示例性方框圖。
[001引圖3、4、5、6A、她和7為根據(jù)本發(fā)明各個(gè)方面的示例圖。
[0020] 圖8為根據(jù)本發(fā)明各個(gè)方面表示運(yùn)動(dòng)動(dòng)作顯示同步示例性流程的流程圖。
[0021] 圖9為可結(jié)合圖8所示流程使用的傳感器數(shù)據(jù)的示例圖。
[0022] 圖10和圖11為疊加于動(dòng)作視頻上的某個(gè)動(dòng)作的圖示的示例性屏幕截圖。
[0023] 圖12表示根據(jù)本發(fā)明各個(gè)方面確定實(shí)際視頻帖率的例子。
[0024] 圖13A和13B表示通用時(shí)間（如，GPS時(shí)間）與CPU時(shí)間之間的時(shí)間同步的各個(gè) 方面，W及與通用時(shí)間相比的典型CPU時(shí)間錯(cuò)誤。
[00巧]圖14表示巧螺儀傳感器特征標(biāo)記中識(shí)別的運(yùn)動(dòng)動(dòng)作的不同階段。
【具體實(shí)施方式】
[0026] 下列描述與附圖只是用來(lái)說(shuō)明本發(fā)明，并非用來(lái)限制本發(fā)明。為了便于對(duì)本發(fā)明 的全面理解，描述了很多具體細(xì)節(jié)。然而，在某些情況下，為了避免混淆本發(fā)明的技術(shù)內(nèi)容， 并未對(duì)公知或常規(guī)細(xì)節(jié)加W描述。在本發(fā)明所稱一個(gè)實(shí)施例或?qū)嵤├灰欢ㄖ赶嗤膶?shí)施 例；當(dāng)然，此類稱謂至少指一個(gè)實(shí)施例。
[0027] 本說(shuō)明書(shū)中所稱"一個(gè)實(shí)施例"或"實(shí)施例"是指可包含于本發(fā)明至少一個(gè)實(shí)施例 中的特定特性、結(jié)構(gòu)或特征。在本說(shuō)明書(shū)中不同地方出現(xiàn)的"在一個(gè)實(shí)施例中"并非均指同 一個(gè)實(shí)施例，也不是與其他實(shí)施例互相排斥的單獨(dú)或可選實(shí)施例。此外，在本說(shuō)明書(shū)中描述 的一些特性可能在一些實(shí)施例中顯示而在其他實(shí)施例中并未顯示。同樣地，本說(shuō)明書(shū)描述 的各種要求可能在一些實(shí)施例中有要求而在其他實(shí)施例中并未要求。
[0028] 在此所述方法之要素的組合和/或子集可采用任何合適的次序并結(jié)合任何合適 的系統(tǒng)、設(shè)備和/或流程實(shí)施。在此所述之方法可W任何方式（如通過(guò)在一個(gè)或多個(gè)計(jì)算 機(jī)系統(tǒng)上運(yùn)行的軟件）實(shí)施。所述軟件可包括儲(chǔ)存在有形的計(jì)算機(jī)可讀介質(zhì)（如計(jì)算機(jī)系 統(tǒng)的存儲(chǔ)器）的計(jì)算機(jī)可讀指令，并可由一個(gè)或多個(gè)處理器執(zhí)行，W實(shí)施各種實(shí)施例對(duì)應(yīng) 的方法。
[0029] 圖1描繪了根據(jù)本發(fā)明各實(shí)施例的示例性流程。在圖1中，方法100包括接收與 表演者在某個(gè)時(shí)間段內(nèi)表演的動(dòng)作相關(guān)的傳感器數(shù)據(jù)（105)并基于傳感器數(shù)據(jù)確定動(dòng)作 特征（110)。方法100進(jìn)一步包括接收與運(yùn)動(dòng)動(dòng)作定義相關(guān)的輸入（115)，將一個(gè)或多個(gè)運(yùn) 動(dòng)特征與所述定義關(guān)聯(lián)（120)，并將運(yùn)動(dòng)動(dòng)作定義及相關(guān)的運(yùn)動(dòng)特征儲(chǔ)存到數(shù)據(jù)庫(kù)（125)。 方法100進(jìn)一步包括基于確定的運(yùn)動(dòng)特征識(shí)別一個(gè)或多個(gè)運(yùn)動(dòng)動(dòng)作（130)，判定已確定運(yùn) 動(dòng)特征和與已識(shí)別運(yùn)動(dòng)動(dòng)作相關(guān)的運(yùn)動(dòng)特征之間的相似度（135)，并且當(dāng)相似度低于某個(gè) 預(yù)定闊值時(shí)產(chǎn)生告警（140)。方法100還包括把與運(yùn)動(dòng)動(dòng)作相關(guān)的信息和運(yùn)動(dòng)動(dòng)作視頻進(jìn) 行綜合或者將此等信息疊加到運(yùn)動(dòng)動(dòng)作視頻上（145)?？赏ㄟ^(guò)在計(jì)算機(jī)系統(tǒng)中運(yùn)行的軟件 (如圖2所示的示例性計(jì)算機(jī)系統(tǒng)200) (W任何想要的次序部分或全部）實(shí)現(xiàn)方法100的 各個(gè)步驟。
[0030] 本發(fā)明實(shí)施例可從任何數(shù)量與型號(hào)的傳感器（如加速計(jì)、巧螺儀、磁力儀、霍爾效 應(yīng)傳感器、全球定位系統(tǒng)、超聲波傳感器與光學(xué)傳感器及其組合）直接或間接接收傳感器 數(shù)據(jù)（105)。來(lái)自不同傳感器的信息可一起使用或單獨(dú)使用，W確定表演者和/或表演者器 材的各種運(yùn)動(dòng)特征。在本文中，表演運(yùn)動(dòng)動(dòng)作的"表演者"可指任何人（例如，滑雪者、滑板 者、騎車者、潛水者、運(yùn)動(dòng)員等）及與人相關(guān)或者由人操控的體育器材。此類體育器材可包 括，例如，交通工具（如自行車、船、汽車、摩托車等）、滑板、雪橋、滑雪板、降落傘及其他器 材或設(shè)備。
[0031] 例如，霍爾效應(yīng)傳感器可用于監(jiān)測(cè)特技自行車運(yùn)動(dòng)員在跳躍之前、跳躍期間及跳 躍之后的車輪速度，而來(lái)自一套加速計(jì)和巧螺儀的數(shù)據(jù)則可監(jiān)測(cè)自行車運(yùn)動(dòng)員表演的空翻 與旋轉(zhuǎn)，另一套加速計(jì)和巧螺儀則可監(jiān)測(cè)自行車本身的空翻與旋轉(zhuǎn)。其他傳感器，如光學(xué)傳 感器（如，接近傳感器）或全球定位系統(tǒng)可用于幫助確定表演者與地面、斜坡、其他表演者 及其他物體相對(duì)的位置。各種實(shí)施例可利用來(lái)自嵌入或附著于表演者衣服、皮膚、器材或周 邊環(huán)境（如，表演者用來(lái)表演跳躍的斜坡）的傳感器的數(shù)據(jù)。可采用任何合適的方式（如， 從與表演者和/或表演者器材連接的數(shù)據(jù)采集系統(tǒng)W無(wú)線方式）接收傳感器數(shù)據(jù)。利用編 號(hào)為13/612,470的美國(guó)專利申請(qǐng)中描述的模糊邏輯通過(guò)監(jiān)測(cè)與分析特征標(biāo)記識(shí)別與測(cè)量 跳躍動(dòng)作，即可確定表演動(dòng)作或"技巧"時(shí)的時(shí)間間隔，該專利申請(qǐng)的內(nèi)容并入本文作為參 考。例如，圖7比較了在滑板運(yùn)動(dòng)員表演動(dòng)作期間由連接在滑板上的設(shè)備記錄的加速計(jì)與 巧螺儀傳感器的信號(hào)。為了幫助分離所述信號(hào)，加速計(jì)定額被提高至1000毫伽（mili-g)。 圖7表示盡管由于滑板振動(dòng)造成加速計(jì)信號(hào)的噪聲很大，但是巧螺儀信號(hào)與技巧表演期間 的相關(guān)性要好得多。
[0032] 本發(fā)明實(shí)施例在基于客觀數(shù)據(jù)識(shí)別與特征化極限運(yùn)動(dòng)的運(yùn)動(dòng)動(dòng)作方面特別有效。 此外，各種實(shí)施例可用于各種其他體育運(yùn)動(dòng)和活動(dòng)，如棒球、籃球、曲棍球、足球和橄攬球。 例如，本發(fā)明實(shí)施例可被配置成接收來(lái)自與棒球運(yùn)動(dòng)員的球棒連接的傳感器的數(shù)據(jù)W及來(lái) 自與運(yùn)動(dòng)員的制服連接和/或嵌入棒球的傳感器的數(shù)據(jù)。在一個(gè)此種實(shí)施例中，可向各種 用戶，如棒球運(yùn)動(dòng)的觀眾或設(shè)法優(yōu)化揮棒動(dòng)作的訓(xùn)練員，提供有關(guān)運(yùn)動(dòng)員擊球的信息，如運(yùn) 動(dòng)員揮棒