專利名稱：音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)及實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于教學(xué)設(shè)備領(lǐng)域，涉及一種應(yīng)用于教學(xué)的訓(xùn)練系統(tǒng)，以 及該系統(tǒng)的使用方法。
背景技術(shù)：
教學(xué)訓(xùn)練的目的是提高教師的教學(xué)技能，訓(xùn)練基本教學(xué)技能的方 式，通常是將教師的教學(xué)能力分解為幾種基本教學(xué)技能，以角色扮演 的方式組成微型課堂，在嚴(yán)格控制學(xué)生規(guī)模和授課時(shí)間的條件下，集 中訓(xùn)練一兩種特定的教學(xué)技能。
受訓(xùn)者借助音像i;某介，觀察演示某一技能的"示范者，，的范例，從 中發(fā)現(xiàn)個(gè)別教學(xué)技能的種種特征，然后進(jìn)行實(shí)際教學(xué)，努力使自己的 行為，按范例的路線形成，并用錄像攝下教學(xué)實(shí)況，觀察自己實(shí)際教 學(xué)的實(shí)況錄像并聽取評(píng)語，同時(shí)也作自我分析。
目前的教學(xué)系統(tǒng)的基本做法是通過監(jiān)控系統(tǒng)，將上課過程錄制下 來，通過回放進(jìn)行評(píng)價(jià)分析。這種簡(jiǎn)單的錄放工作，有著極大的不足。 首先，錄制的信息不全面，因?yàn)榻處熍c學(xué)生，是兩個(gè)不同的信息源， 當(dāng)前的技術(shù)，無法將它們?nèi)诤显谝黄?；其次，教師、學(xué)生以及導(dǎo)師等， 不同身份的之間，難以進(jìn)行統(tǒng)計(jì)與識(shí)別；第三，教師在講課過程中的 板書信息，或電子文檔的播放信息，難易與其它的錄制內(nèi)容相融合。
也就是說，教學(xué)訓(xùn)練系統(tǒng)中，會(huì)包含很多種數(shù)據(jù)流(或稱為信息 流)，如果沒有合適的系統(tǒng)及實(shí)現(xiàn)方法，是難易將它們?nèi)诤掀饋恚瑏?提高教學(xué)訓(xùn)練效果的。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種教學(xué)訓(xùn)練中將多種信息流合并在一起 的系統(tǒng)，以及該系統(tǒng)的實(shí)現(xiàn)方法。
一種音視頻多流合并教學(xué)系統(tǒng)，它是這樣實(shí)現(xiàn)的，該系統(tǒng)包括 教師音視頻錄制裝置，包括有用以拍攝教師講課過程的教師攝像機(jī)， 以及用以錄制教師聲音的教師拾音器；學(xué)生音視頻錄制裝置，包括有 用以拍攝學(xué)生聽課過程的學(xué)生攝像機(jī)，以及用以錄制學(xué)生聲音的學(xué)生
拾音器；身份識(shí)別器，是用于實(shí)現(xiàn)人員身份識(shí)別的物理裝置；主機(jī)， 包括有用于存儲(chǔ)來自于所述教師音視頻錄制裝置、學(xué)生音視頻錄制裝 置的數(shù)據(jù)，以及用于存儲(chǔ)音視頻數(shù)據(jù)合并的運(yùn)行程序的存儲(chǔ)器，用于 實(shí)現(xiàn)音視頻數(shù)據(jù)合成的運(yùn)算操作，以及用以指令發(fā)送的運(yùn)算處理器， 和用于顯示音視頻數(shù)據(jù)合并后信息的顯示屏。
一種音視頻多流合并教學(xué)系統(tǒng)的實(shí)現(xiàn)方法，它是這樣實(shí)現(xiàn)的，該 方法包括有如下步驟步驟l，利用身份識(shí)別器完成對(duì)用戶身份的識(shí) 別；步驟2，利用教師音視頻錄制裝置、學(xué)生音視頻錄制裝置，實(shí)現(xiàn) 對(duì)教師與學(xué)生的音視頻信號(hào)的錄制操作；步驟3，分析所錄制的教師 觸發(fā)信息與學(xué)生觸發(fā)信息；步驟4,利用步驟3中的教師觸發(fā)信息與 學(xué)生觸發(fā)信息，來完成教師音視頻信息與學(xué)生音視頻信息的數(shù)據(jù)流合 并操作。
本發(fā)明的優(yōu)點(diǎn)在于利用本發(fā)明中的教師音視頻錄制裝置與學(xué)生 音視頻錄制裝置，可以全面地錄制教學(xué)訓(xùn)練中的各種信息，利用身份 識(shí)別器可以有效地識(shí)別不同人員的身份，而利用主機(jī)與本發(fā)明所描述 的方法，可以有效地將多種數(shù)據(jù)流進(jìn)行合并，全面地展示教學(xué)訓(xùn)練的 過程與細(xì)節(jié)，提高訓(xùn)練效果。


下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)說明。 圖1是本發(fā)明所述的音視頻多流合并教學(xué)系統(tǒng)的原理框圖。 圖2是本發(fā)明所述系統(tǒng)中的身份識(shí)別器的一種實(shí)施例的頂視圖。 圖3是本發(fā)明所述系統(tǒng)中的身份識(shí)別器的另一種實(shí)施例的立體 示意圖。
圖4a是本發(fā)明所述系統(tǒng)中的教師操作面板的頂視圖。 圖4b是本發(fā)明所述系統(tǒng)中的學(xué)生操作面板的頂視圖。 圖5是本發(fā)明所述系統(tǒng)中的學(xué)生操作面板的另 一種實(shí)施方案。 圖6是本發(fā)明所述的音視頻多流合并教學(xué)系統(tǒng)的實(shí)現(xiàn)方法的流 程圖。
圖7是本發(fā)明所述實(shí)現(xiàn)方法中的觸發(fā)信息的樹圖。 圖8是本發(fā)明所述實(shí)現(xiàn)方法中，客戶端演示數(shù)據(jù)流合并結(jié)果的一 個(gè)示意圖。
圖9是本發(fā)明所述實(shí)現(xiàn)方法中，電子文檔觸發(fā)時(shí)間軸的示意圖。
圖中的數(shù)字標(biāo)號(hào)說明
100-多流合并教學(xué)訓(xùn)練系統(tǒng)；200 -教師音視頻錄制裝置，201 -教師攝像機(jī)，202 -教師拾音器，210-教師操作面板，211-教師 操作面板顯示屏，212-教師操作面板觸摸屏，213-教師操作面板控 制鍵；300 -學(xué)生音視頻錄制裝置，301-學(xué)生攝像機(jī)，302 -學(xué)生拾音 器，310-學(xué)生操作面板，311 -學(xué)生操作面板顯示屏，312-學(xué)生操 作面板觸摸屏，313-學(xué)生操作面板控制鍵，320 -—體型學(xué)生操作裝 置，321-底座，322 -連桿，323 -話筒；400 -身份識(shí)別器，410-代 碼式識(shí)別器，411-字符鍵，412-識(shí)別器控制鍵，413-識(shí)別器顯示 屏，420 -磁卡刷卡器，421-刷卡槽，422 -身份選擇鍵，423 -教師 身份鍵，424 -學(xué)生身份鍵，425 -導(dǎo)師身份鍵，426 -識(shí)別器狀態(tài)燈； 500 -投影儀，501-投影面，502 -投影儀終端，510-黑板攝像機(jī)， 511-黑板；600 -主機(jī)，610-客戶端，611-客戶端顯示屏，612 -主角區(qū)域，613-配角區(qū)域；700 -實(shí)現(xiàn)方法流程圖，710-觸發(fā)信 息，711-按鍵觸發(fā)信息，712-攝像觸發(fā)信息，713-聲音觸發(fā)信 息；800 -電子文檔觸發(fā)時(shí)間軸，810 -電子文檔操作點(diǎn)。
具體實(shí)施例方式
本發(fā)明所述的音視頻多流合并系統(tǒng)及教學(xué)方法，它可以高效地將 教師的音視頻信息進(jìn)行錄制，同時(shí)也將學(xué)生的音視頻信息進(jìn)行錄制， 然后，通過系統(tǒng)中的主機(jī)，將音視頻的信息進(jìn)行合并。另外，將不同 的信息源的信息進(jìn)行合并，比如，將教師的板書信息進(jìn)行錄制，并合 并到教師的音視頻信息體系中。該系統(tǒng)通過有效的信息合并系統(tǒng)及方 法，可為教師的訓(xùn)練過程提供有力的參考及輔助。
圖1的說明
參圖中所示，這兒所展示的是本發(fā)明所述的音視頻多流合并系統(tǒng) 的原理圖。多流合并教學(xué)訓(xùn)練系統(tǒng)100,主要包括有如下部分教師 音視頻錄制裝置200,學(xué)生音視頻錄制裝置300,身份識(shí)別器400， 主才幾600。
所述的教師音視頻錄制裝置200,在本發(fā)明中，主要包括有三部 分，分別是教師攝像機(jī)201、教師拾音器202、教師操作面板210。
其中的教師攝像機(jī)201 ，主要用于拍攝教師在講課過程中的表情、 動(dòng)作、形態(tài)等。本方案中的教師攝像機(jī)210,適合采用數(shù)字?jǐn)z像機(jī)來 實(shí)現(xiàn)，所拍攝的數(shù)據(jù)方便于多流合并。教師攝像機(jī)201,可在教師前 方設(shè)置一臺(tái)；也可以根據(jù)需要，相對(duì)于教師的不同視角分別設(shè)置多臺(tái)。
其中的教師拾音器202,主要用于錄制教師在講課過程中的聲音 信息，根據(jù)該聲音信息來判斷、識(shí)別、比較教師聲音的語音、語調(diào)， 以及清晰度、流暢性、感染力，以及表述內(nèi)容是否能夠達(dá)意、是否簡(jiǎn) 潔、是否幽默、是否引人入勝，等等。教師拾音器202，主要包括用 于錄制聲音的麥克風(fēng)，以及相關(guān)的附設(shè)。為了能夠達(dá)到清晰錄制教師 聲音的目的，教師拾音器202，還可以做成佩帶式的教師拾音器件， 教師在講課的過程中，將其佩帶在靠近口部的衣服處，就可以對(duì)教師 的講課聲音進(jìn)行有效錄制了。另外，也可以在遠(yuǎn)處設(shè)置教師拾音器 202 ，這種情況下，需要為教師拾音器202增設(shè)聲音聚焦裝置，以 及聲音的處理裝置等。當(dāng)然，只要能達(dá)到有效錄制教師聲音的目的， 具體的實(shí)施方案是不限定的。
其中的教師操作面板210,是用于方便教師在講課過程中進(jìn)行相 關(guān)操作的硬件結(jié)構(gòu)。下面還會(huì)有說明。
所述的學(xué)生音視頻錄制裝置300，也主要包括有三部分學(xué)生攝 像機(jī)301、學(xué)生拾音器302、學(xué)生操作面板310。其中的學(xué)生攝像機(jī) 301，主要用于拍攝學(xué)生在聽課過程中的表情、動(dòng)作、形態(tài)等。其中 的學(xué)生拾音器302,主要用于錄制學(xué)生在聽課過程中的聲音內(nèi)容，比 如發(fā)言信息等。其中的學(xué)生操作面板310,還可以方便于聽課學(xué)生與 教師之間進(jìn)行互動(dòng)交流。
所述的身份識(shí)別器400,是用于實(shí)現(xiàn)人員身份識(shí)別的物理裝置。
適用于本發(fā)明的身份識(shí)別器的種類有多種
第一，可以通過磁卡刷卡器來實(shí)現(xiàn)。該磁卡刷卡器，能夠識(shí)別磁
卡信息，每位用戶配備有相應(yīng)的磁卡。不同的磁卡中寫有不同的身份 檸自
第二，可以通過接觸式IC卡刷卡器來實(shí)現(xiàn)。每位用戶配備有已 寫入相應(yīng)信息IC卡，當(dāng)需要身份識(shí)別時(shí)，用戶刷卡就可以了。
第三，可以通過具有RFID讀頭的非接觸式RFID刷卡器來實(shí)現(xiàn)。 RFID是通過射頻電路來實(shí)現(xiàn)的非接觸性IC卡芯片結(jié)構(gòu)。每位用戶配 備有已寫入不同信息的RFID卡。當(dāng)需要身份識(shí)別的時(shí)候，用戶的RFID 卡與刷卡器的讀頭接近，不需要接觸，即可實(shí)現(xiàn)身份識(shí)別的目的。
第四，可以通過生物識(shí)別器來實(shí)現(xiàn)。生物識(shí)別器，是通過辨別人 體的生物特征，來實(shí)現(xiàn)識(shí)別目的的設(shè)備。常用的聲音識(shí)別器包括如下 數(shù)種a，通過指紋來實(shí)現(xiàn)識(shí)別效果的指紋識(shí)別器；b通過掌骨部分來 實(shí)現(xiàn)識(shí)別效果的掌骨識(shí)別器；c通過對(duì)人體面部圖像的分析，來達(dá)到 識(shí)別目的的面像識(shí)別器；d通過對(duì)人體眼睛中的虹膜圖像進(jìn)行分析， 來達(dá)到識(shí)別目的的虹膜識(shí)別器；e通過聲音中聲紋的識(shí)別與分析，來 實(shí)現(xiàn)識(shí)別目的的聲音識(shí)別器。這些生物識(shí)別器，在目前技術(shù)都是成熟 的，可以直接應(yīng)用到本發(fā)明中。
所述的主機(jī)600，是用于收集與處理來自于教師音^L頻錄制裝置 200和學(xué)生音視頻錄制裝置300中數(shù)據(jù)的設(shè)備。
在主機(jī)600中，需要配備存儲(chǔ)器、運(yùn)算處理器、數(shù)據(jù)接口、輸入 /輸出設(shè)備等。所述的存儲(chǔ)器，用于存儲(chǔ)來自于所述教師音視頻錄制 裝置、學(xué)生音視頻錄制裝置的數(shù)據(jù)，以及用于存儲(chǔ)音視頻數(shù)據(jù)合并的 運(yùn)行程序的存儲(chǔ)器。具體說來，該存儲(chǔ)器在本發(fā)明中，主要有兩個(gè)作 用，首先，用于存儲(chǔ)所采集到的數(shù)據(jù)，特別是來自于教師與學(xué)生的數(shù) 據(jù)；其次，用于存儲(chǔ)執(zhí)行本發(fā)明各種功能的程序，程序的功能包括采 集教師和學(xué)生的音視頻數(shù)據(jù)，以及按照預(yù)定的方式進(jìn)行音視頻的多流 合并，然后采用合適的方式通過客戶端向外界展示。
所述的運(yùn)算處理器，在本發(fā)明中，主要用于實(shí)現(xiàn)音視頻數(shù)據(jù)合成 的運(yùn)算操作，以及用以進(jìn)行指令發(fā)送等功能。所設(shè)置的數(shù)據(jù)接口，用 于和音視頻錄制裝置200、學(xué)生音視頻錄制裝置300、身份識(shí)別器 400 、投影儀500等多種結(jié)構(gòu)相連通，提供交互的數(shù)據(jù)交流。
所述的輸入/輸出設(shè)備，是我們所常見的電腦外設(shè)，輸入設(shè)備包 括鍵盤、鼠標(biāo)、麥克風(fēng)、光驅(qū)，等等；輸出設(shè)備，比如顯示屏、揚(yáng)聲 器等。其中的顯示屏，還有一個(gè)功能，就是用于顯示音視頻數(shù)據(jù)合并 后信息。
用于實(shí)現(xiàn)主才幾600的良好結(jié)構(gòu)，是電腦，比如，可以采用有電腦 服務(wù)器來實(shí)現(xiàn)。
另外，為了錄制教師的板書信息，還設(shè)置有相應(yīng)的結(jié)構(gòu)。其中，
對(duì)于通過投影儀500來實(shí)現(xiàn)的電子文檔信息，可直接通過投影儀終端 502，將電子文檔信息傳輸?shù)街鳈C(jī)600中。這兒所設(shè)置的投影儀終端 502,是一臺(tái)電腦(PC機(jī))。對(duì)于教師在黑板511上所進(jìn)行的手工板 書信息，可通過黑板攝像機(jī)510采集相應(yīng)的信息。
電子文檔信息還有一種特殊的實(shí)現(xiàn)形式，具體是通過電子白板來 實(shí)現(xiàn)的。所述的電子白板，設(shè)置的位置，與黑板的位置相當(dāng)。當(dāng)用戶 用配套的筆直接在電子白板上書寫時(shí)，電子白板就可以記錄相應(yīng)信息 并顯示出來。另外，電子白板的表面，如果做成觸摸屏的形式，直接 用手指等觸摸，也可以完成書寫操作。另外，電子白板還可以通過投 影儀與觸摸板來實(shí)現(xiàn)，教師在觸摸板上書寫，信息即可顯示在投影面 中。在本發(fā)明中，凡是通過手工書寫來完成教師板書過程的設(shè)備形式， 統(tǒng)稱為電子白板。電板白板中所獲得信息，為數(shù)字?jǐn)?shù)據(jù)的形式，可直 接作為一種電子文檔信息，故下面不再單獨(dú)描述。
另外，通過主機(jī)600所獲得的多流合并信息，可通過客戶端610 呈現(xiàn)給需要觀看的用戶。
圖2的說明
參圖中所示，這兒展示了身份識(shí)別器400的另一種實(shí)施例。本實(shí) 施例中，該識(shí)別器被稱為代碼式識(shí)別器410。所述的代碼器識(shí)別器 410,是通過用戶輸入能代表個(gè)人信息的數(shù)字或字母等字符信息，來 完成個(gè)人身份識(shí)別的裝置。在該代碼式識(shí)別器410中，包括有用于顯 示識(shí)別信息的識(shí)別器顯示屏413，用于輸入字符信息的字符鍵411， 用于實(shí)現(xiàn)控制操作的識(shí)別器控制鍵412。
操作的流程可以是這樣，在代碼式識(shí)別器410被啟動(dòng)的情況下， 用戶通過字符鍵411將個(gè)人的代碼內(nèi)容輸入，然后，是否被有效識(shí)別， 可通過識(shí)別器顯示屏413將相應(yīng)信息顯示出來。如果用戶所輸入的個(gè) 人信息不正確，則可以通過識(shí)別器控制鍵412,取消原有操作，重新 輸入個(gè)人信息的，并點(diǎn)按識(shí)別器控制鍵412,完成輸入內(nèi)容的確定操 作。
圖3的說明
本圖展示了身份識(shí)別器400的另一種實(shí)施例。該實(shí)施例中，識(shí)別 器是通過磁卡刷卡器420來實(shí)現(xiàn)的。利用磁卡，通過刷卡槽421進(jìn)行 刷卡，就可以完成識(shí)別過程。
為了更好地實(shí)現(xiàn)識(shí)別效果，在本實(shí)施例中，還設(shè)置了身份選擇鍵 422。所述的身份選擇鍵422，是用于選擇用戶身份、角色的按鍵。 比如，在本發(fā)明的教學(xué)訓(xùn)練系統(tǒng)，主要的身份有三種， 一是講課教師 本人，二是在下面聽課的學(xué)生，三是指導(dǎo)、評(píng)價(jià)教師講課效果的導(dǎo)師。
于是，在本發(fā)明中，身份選擇鍵421也包括有相應(yīng)的三種教師 身份鍵423、學(xué)生身份鍵424、導(dǎo)師身份鍵425。當(dāng)用戶完成個(gè)人身 份識(shí)別之后，再按動(dòng)相應(yīng)的身份選擇鍵422,就可以選擇自己在該教 學(xué)訓(xùn)練中的角色了。
在本實(shí)施例中，還設(shè)置有識(shí)別器狀態(tài)燈426。識(shí)別器狀態(tài)燈426 是用于顯示用戶的識(shí)別狀態(tài)是否完成的發(fā)光燈。在本實(shí)施例中，設(shè)置 有兩個(gè)顏色的燈，比如， 一個(gè)是紅燈，另外一個(gè)是綠燈。當(dāng)用戶未完 成識(shí)別過程時(shí)，紅燈亮；當(dāng)用戶正確地完成識(shí)別過程后，綠燈亮。
本圖所描述的身份選擇鍵422和識(shí)別器狀態(tài)燈426，可以根據(jù)需 要應(yīng)用到前面所述的各種身份識(shí)別器400中。
圖4a、 4b的說明
參圖4a所示，這兒展示了教師操作面板210的一種實(shí)施例。在 該操作面板中，包括有教師操作面板顯示屏211,用于顯示教師在講 課過程中所需要進(jìn)行操作的內(nèi)容。該顯示屏，還可以是觸摸屏的形式， 即教師操作面板觸摸屏212。用戶需要選擇相應(yīng)內(nèi)容時(shí)，只需要用手 指進(jìn)行觸摸，就可以了。
另外，本實(shí)施例還設(shè)置有操作面板控制鍵213，用于實(shí)現(xiàn)相應(yīng)的 輸入及控制操作。當(dāng)然，在設(shè)置有教師操作面板觸摸屏212的情況下， 還可以不設(shè)置教師操作面板控制鍵213。
可以根據(jù)需要，將教師操作面板210中的操作信息，傳遞到主機(jī) 600中。
參圖3b所示，這兒所展示的學(xué)生操作面板310，與教師操作面 板210的結(jié)構(gòu)是類似的。學(xué)生操作面板310主要包括有學(xué)生操作面板
顯示屏311和操作面板控制鍵313，另外，學(xué)生操作面板顯示屏311， 還可以是觸摸屏的形式，即學(xué)生操作面板觸摸屏312。同樣可以根據(jù) 需要，將學(xué)生操作面板310中的信息傳遞到主機(jī)600中。
另一方面，在教師操作面板210與學(xué)生操作面板310之間，還可 以直接建立起通信連接，實(shí)現(xiàn)交互搡作的目的。
圖5的說明
參圖中所示，這是學(xué)生操作面板310的另一種實(shí)施例，在該實(shí)施 例中，件學(xué)生操作面板310和學(xué)生拾音器302融合在一起了。
在本發(fā)明中，這種結(jié)構(gòu)被稱為一體型學(xué)生操作裝置320。在一體 型學(xué)生操作裝置320的下方，設(shè)置有能夠?qū)崿F(xiàn)支撐目的的底座321。 在底座321上，設(shè)置有學(xué)生操作面板控制鍵313和學(xué)生操作面板顯示 屏311。在底座321的上方，設(shè)置有能夠彎曲的連桿322，在連桿322 的盡頭，設(shè)置有話筒323。在話筒323中設(shè)置有麥克風(fēng)。其中的連桿 322和話筒323，在本實(shí)施例中，構(gòu)成了用于錄制學(xué)生聲音的學(xué)生拾 音器302。
這種結(jié)構(gòu)的操作裝置，能夠與學(xué)生的一些行為，包括發(fā)言、提問 等，帶來便利。
圖6、圖7、圖8的說明
參圖6中所示，這兒說明了一種音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)的
實(shí)現(xiàn)方法的流程圖。
整個(gè)系統(tǒng)的工作流程是這樣實(shí)現(xiàn)的
步驟1，利用身份識(shí)別器完成對(duì)用戶身份的識(shí)別。
系統(tǒng)啟動(dòng)之后，包括教師與學(xué)生在內(nèi)，通過身份識(shí)別器400進(jìn)行
身份識(shí)別。該識(shí)別過程，是先由身份識(shí)別器400獲得的信息，然后傳
遞到主機(jī)6 00中進(jìn)行比較、識(shí)別。
步驟2,利用教師音視頻錄制裝置、學(xué)生音^L頻錄制裝置，實(shí)現(xiàn)
對(duì)教師與學(xué)生的音視頻信號(hào)的錄制操作。
接著前一步驟，教師開始講課。在講課的過程中，由教師攝像機(jī)
201和教師拾音器202來完成教師信息的錄制工作。在教師講課的過
程中，控制操作可以通過教師操作面板210來實(shí)現(xiàn)。
學(xué)生在聽課的過程中，可通過學(xué)生攝像機(jī)301和學(xué)生拾音器302, 對(duì)學(xué)生的信息進(jìn)行錄制，同時(shí)，學(xué)生可以通過學(xué)生操作面板310,來 完成聽課過程中的控制操作，以及和教師之間的交互性操作。
另外，錄制操作的過程，還可以包括對(duì)教師板書信息的錄制。 在教師講課的過程中，教師的板書信息有兩種形式， 一種是通過 投影儀等電子設(shè)備來實(shí)現(xiàn)的電子文檔信息，另一種是通過教師在黑板 上進(jìn)行板書來實(shí)現(xiàn)的手工板書信息。其中的電子文檔信息，可經(jīng)由投 影儀終端502傳輸?shù)街鳈C(jī)600中。而手工板書信息，則可以通過黑板 攝像機(jī)510進(jìn)行拍攝，再傳遞到主機(jī)600中。
另外，在錄制的信息內(nèi)容中，還包括一類的信息，用于觸發(fā)音視 頻數(shù)據(jù)的合并操作進(jìn)程，稱為觸發(fā)信息。在很多情況下，音視頻多流 合并的操作，主要是針對(duì)于兩個(gè)方面的信息， 一是來自于教師的音視 頻信息，二是來自于學(xué)生的音視頻信息。由于一個(gè)屏幕上的空間有限， 播放重點(diǎn)只適合是一種，于是，在多流合并的過程中，要對(duì)這兩方面 的信息進(jìn)行有效的切換。進(jìn)行切換的線索，就是前述的觸發(fā)信息。
參圖7所示，這是觸摸信息類型的組成樹圖。所述的觸發(fā)信息， 主要包括有三種，分別是按鍵觸發(fā)信息711,攝像觸發(fā)信息712,聲 音觸發(fā)信息713。
所述的按鍵觸發(fā)信息711，指的是通過按壓特定的按鍵(或觸摸 屏，如果設(shè)置的話)，來判斷教師與學(xué)生哪一方處于活動(dòng)狀態(tài)。舉例 當(dāng)教師開始講課時(shí)，通過按壓教師操作面板210上的按鍵，或者觸壓 教師操作面板觸摸屏212,代表著教師處于活動(dòng)狀態(tài)，從而啟動(dòng)對(duì)教 師講課內(nèi)容的音視頻信息進(jìn)行播放操作，即這種情況下，經(jīng)主機(jī) 600處理后的信息，在客戶端處主要播放的是來自于教師的音視頻信 息。學(xué)生在聽課的過程中，如果有問題要提問，也要通過按壓相應(yīng)的 鍵，比如按壓學(xué)生操作面板310上的按鍵，然后，開始提問及回答。 這種情況下，學(xué)生按壓按鍵的信息，即按鍵觸發(fā)信息711,代表著學(xué) 生處于活動(dòng)狀態(tài)。經(jīng)該按鍵觸發(fā)之后，由學(xué)生音視頻錄制裝置300所 獲得的音視頻信息，將切換為向外播放的主要音視頻信息。依此類推， 教師與學(xué)生之間，通過按壓相應(yīng)的控制按鍵，來切換在播放內(nèi)容中的角色。
所述的攝像觸發(fā)信息712，是通過對(duì)教師與學(xué)生進(jìn)行攝像及識(shí)別，
來判斷哪一方處于活動(dòng)狀態(tài)，從而切換播放內(nèi)容的角色。比如，當(dāng)學(xué) 生要提問的時(shí)候，就會(huì)站起來發(fā)問。學(xué)生站起來與坐下的圖像，有著 明顯的差異，這可以通過攝像進(jìn)行識(shí)別。當(dāng)學(xué)生站起來的時(shí)候，就可 以將學(xué)生的狀態(tài)視作為活動(dòng)狀態(tài)，從而，將音視頻播放的主角轉(zhuǎn)到學(xué) 生這一邊。
所述的聲音觸發(fā)信息713,是通過聲音的觸發(fā)來識(shí)別哪一方是處 于活動(dòng)狀態(tài)。比如，當(dāng)教師處在講課的過程中，教師是主要的聲源， 于是，可以據(jù)此來判定教師是處于活動(dòng)狀態(tài)的。當(dāng)學(xué)生在發(fā)問時(shí)，學(xué) 生通常會(huì)發(fā)出聲音，這種情況下，教師的聲音通常會(huì)暫停。于是，就 可以將學(xué)生發(fā)聲且教師聲音暫停的這一情況，作為一個(gè)觸發(fā)信息，該 觸發(fā)信息意味著學(xué)生轉(zhuǎn)入到活動(dòng)狀態(tài)了。當(dāng)學(xué)生停止發(fā)聲且教師開始 發(fā)聲時(shí)，就意味著教師轉(zhuǎn)入到活動(dòng)狀態(tài)了。哪一方進(jìn)入到活動(dòng)狀態(tài)， 就將哪一方作為音視頻播放內(nèi)容的主角。
顯然，將聲音作為觸發(fā)信息，是方便而易于實(shí)現(xiàn)。為了有效地防 止雜音成為聲音觸發(fā)信息，適合對(duì)聲音觸發(fā)信息做一些限定。重要的 限定方面包括有三種1,當(dāng)聲音作為觸發(fā)信息時(shí)，該聲音有一個(gè)持 續(xù)時(shí)間的限制，即持續(xù)時(shí)間域值，比如，當(dāng)一個(gè)聲音必須持續(xù)3秒鐘 以上，才可以作為聲音觸發(fā)信息；2，當(dāng)聲音作為觸發(fā)信息時(shí)，該聲音 必須要超過一定的強(qiáng)度，也就是說，聲音有一個(gè)強(qiáng)度閾值，即必須要 超過一定的強(qiáng)度，才能夠作為聲音觸發(fā)信息；3，當(dāng)聲音作為觸發(fā)信 息時(shí)，作為教師和學(xué)生雙方，必須要有一方處于聲音停止?fàn)顟B(tài)，而另 一方處于聲音活躍狀態(tài)。其中前面所說的第一種和第二種限定，可并 列作為兩個(gè)主要限制，而所述的第三類限定，可根據(jù)情況實(shí)施。
步驟3,分析所錄制的教師觸發(fā)信息與學(xué)生觸發(fā)信息。 在主機(jī)600中，將所收集到的信息內(nèi)容進(jìn)行處理，將來自教師及
學(xué)生的信息進(jìn)行合并處理，以及將音頻、視頻信息進(jìn)行合并處理，亦
可將板書信息進(jìn)行合并處理等。
主機(jī)600在上一步驟中，除了獲得音視頻信息之外，還獲得了來
自于教師和學(xué)生的觸發(fā)信息。主機(jī)600需要將這些觸發(fā)信息分析出
來，來作為音視頻多流合并的重要基礎(chǔ)。
步驟4，利用步驟3中的教師觸發(fā)信息與學(xué)生觸發(fā)信息，來完成 教師音視頻信息與學(xué)生音視頻信息的數(shù)據(jù)流合并操作。
主機(jī)600利用教師觸發(fā)信息與學(xué)生觸發(fā)信息，來判定教師和學(xué)生
哪一方是處于活動(dòng)狀態(tài)的，從而，將信息合并后的播放界面中的主角， 安排到處于活動(dòng)狀態(tài)的一方。進(jìn)而，完成教師音視頻信息與學(xué)生音視 頻信息的數(shù)據(jù)流合并工作。合并后的信息，根據(jù)用戶的需求，在合適
的客戶端610中展示出來。
參圖8所示，這兒展示了一個(gè)音視頻合并后，在客戶端610的客 戶端顯示屏611上進(jìn)行播放的一個(gè)實(shí)施例。其中，顯示內(nèi)容主要分為 兩個(gè)區(qū)域，分別是主角區(qū)域612和配角區(qū)域613。其中，主角區(qū)域612 站的幅度大，所對(duì)應(yīng)的是處于活動(dòng)狀態(tài)的一方，配角區(qū)域613所占的 幅度小，代表的是出于非活動(dòng)狀態(tài)的一方。當(dāng)然，主角與配角的幅度 是不限定的，可以根據(jù)需要具體安排。
圖9的說明
在主機(jī)進(jìn)行音視頻的多流合并的過程中，還會(huì)涉及到教師的板書 信息。對(duì)于不同的板書信息類型，應(yīng)采用不同方式，合并到音視頻信 息之中。
對(duì)于利用投影儀來進(jìn)行投影的電子文檔信息來說，有合適的信息 流合并方式。所述的電子文檔信息，有多種表現(xiàn)形式，比如word文 檔、pdf文檔、PPT文檔，或網(wǎng)絡(luò)文檔，或圖片信息，或聲音信息， 或視頻信息，或多媒體信息，等等，都可以；作為典型的實(shí)施例，可 選用PPT文檔來舉例說明。
在用戶播放PPT文檔時(shí)，需要采用配套電腦中的按鍵、鼠標(biāo)等， 對(duì)文檔內(nèi)容進(jìn)行更新操作。于是，就可以記錄下這些電腦針對(duì)于PPT 文檔的操作信息，特別是這些操作的發(fā)生時(shí)間，以及對(duì)應(yīng)的PPT文檔 中的具體內(nèi)容。
系統(tǒng)主機(jī)所合成的電子文檔信息的展示次序，是以教師對(duì)電子文 檔內(nèi)容的控制操作的電子文檔操作點(diǎn)，作為電子文檔觸發(fā)時(shí)間軸來展 開的。
參圖9所示，用戶每一步針對(duì)于電子文檔信息所進(jìn)行的操作，都
視作一個(gè)電子文檔操作點(diǎn)810。全部的操作點(diǎn)延續(xù)開來，即可對(duì)應(yīng)整
個(gè)文檔內(nèi)容。于是，這些電子文檔操作點(diǎn)810,就構(gòu)成了電子文檔觸 發(fā)時(shí)間軸800。
當(dāng)主機(jī)600合并好音視頻信息后，對(duì)應(yīng)著每一步的播放內(nèi)容，可 以結(jié)合著電子文檔觸發(fā)時(shí)間軸800,與具體的電子文檔內(nèi)容相對(duì)應(yīng)。 用戶需要查看時(shí)，可直接索引，很方便。
另夕卜，對(duì)于手工板書信息來說，適合與教師音視頻錄制一并處理。
以上是對(duì)本發(fā)明的描述而非限定，基于本發(fā)明思想的其它實(shí)施方 式，均在本發(fā)明的保護(hù)范圍之中。
權(quán)利要求
1.一種音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特征在于該系統(tǒng)包括教師音視頻錄制裝置，包括有用以拍攝教師講課過程的教師攝像機(jī)，以及用以錄制教師聲音的教師拾音器；學(xué)生音視頻錄制裝置，包括有用以拍攝學(xué)生聽課過程的學(xué)生攝像機(jī)，以及用以錄制學(xué)生聲音的學(xué)生拾音器；身份識(shí)別器，是用于實(shí)現(xiàn)人員身份識(shí)別的物理裝置；主機(jī)，包括有用于存儲(chǔ)來自于所述教師音視頻錄制裝置、學(xué)生音視頻錄制裝置的數(shù)據(jù)，以及用于存儲(chǔ)音視頻數(shù)據(jù)合并的運(yùn)行程序的存儲(chǔ)器，用于實(shí)現(xiàn)音視頻數(shù)據(jù)合成的運(yùn)算操作，以及用以指令發(fā)送的運(yùn)算處理器，和用于顯示音視頻數(shù)據(jù)合并后信息的顯示屏。
2. 根據(jù)權(quán)利要求1所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特征 在于所述的身份識(shí)別器，是通過配套的磁卡來實(shí)現(xiàn)的磁卡刷卡器。
3. 根據(jù)權(quán)利要求1所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特征 在于所述的身份識(shí)別器，是通過相互接觸的IC卡來實(shí)現(xiàn)的接觸式 IC卡刷卡器。
4. 根據(jù)權(quán)利要求1所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特征 在于所述的身份識(shí)別器，是包括有RFID讀頭的非接觸式RFID刷卡器。
5. 根據(jù)權(quán)利要求1所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特征 在于所述的身份識(shí)別器，是通過人體的生物特征來實(shí)現(xiàn)識(shí)別目的的 生物識(shí)別器，為下述識(shí)別器是其中之一，a, 通過指紋來實(shí)現(xiàn)識(shí)別效果的指紋識(shí)別器，b, 通過掌骨部分來實(shí)現(xiàn)識(shí)別效果的掌骨識(shí)別器，c，通過對(duì)人體面部圖像的分析來實(shí)現(xiàn)識(shí)別效果的面像識(shí)別器，d, 通過對(duì)眼睛中的虹膜圖像的分析來實(shí)現(xiàn)識(shí)別效果的虹膜識(shí)別器，e, 通過聲音中聲紋的識(shí)別與分析來實(shí)現(xiàn)識(shí)別效果的聲音識(shí)別器。
6. 根據(jù)權(quán)利要求1所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特征 在于所述的身份識(shí)別器，是包含有數(shù)字與字母兩者至少其一的代碼 式識(shí)別器。
7. 根據(jù)權(quán)利要求1或2或3或4或5或6所述的音視頻多流合并 教學(xué)訓(xùn)練系統(tǒng)，其特征在于所述的身份識(shí)別器上，設(shè)置有包括學(xué)生 身份鍵與教師身份鍵在內(nèi)的身份選擇鍵。
8. 根據(jù)權(quán)利要求1或2或3或4或5或6所述的音視頻多流合并 教學(xué)訓(xùn)練系統(tǒng)，其特征在于所述的身份識(shí)別器上，設(shè)置有用以指示 識(shí)別狀態(tài)的識(shí)別器狀態(tài)燈。
9. 根據(jù)權(quán)利要求1所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特征 在于配合著教師音視頻錄制裝置，設(shè)置有的包括按鍵與顯示屏兩者 至少其一的教師操作面板。
10. 根據(jù)權(quán)利要求9所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特 征在于所述的設(shè)置在教師操作面板上的顯示屏，是能夠感應(yīng)到手指 觸摸操作的觸摸屏。
11. 根據(jù)權(quán)利要求1所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特 征在于配合著學(xué)生音視頻錄制裝置，設(shè)置有包括按鍵與顯示屏兩者 至少其一的學(xué)生操作面板。
12. 根據(jù)權(quán)利要求10所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特 征在于所述的設(shè)置在學(xué)生操作面板上的顯示屏，是能夠感應(yīng)到手指 觸摸操作的觸摸屏。
13. 根據(jù)權(quán)利要求1或11所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)， 其特征在于所設(shè)置的學(xué)生拾音器與學(xué)生操作面板連為一體，其中學(xué) 生拾音器設(shè)置在上方，學(xué)生操作面板在下方的底座處。
14. 根據(jù)權(quán)利要求1所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特 征在于配合著教師音視頻錄制裝置，在主機(jī)上設(shè)置有用于獲得投影 儀電腦終端中電子文檔信息的信息傳輸接口。
15. 根據(jù)權(quán)利要求1所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特 征在于配合著教師音視頻錄制裝置，設(shè)置有用于實(shí)現(xiàn)手工板書的黑 板。
16. 根據(jù)權(quán)利要求15所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特 征在于配合著所述的黑板，設(shè)置有用于錄制黑板中手工板書信息的 黑板攝像機(jī)。
17. 根據(jù)權(quán)利要求1所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)，其特 征在于配合著教師音視頻錄制裝置，設(shè)置有用于將教師的手工板書 信息轉(zhuǎn)變成數(shù)字?jǐn)?shù)據(jù)的電子白板。
18. —種音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)的實(shí)現(xiàn)方法，其特征在于該方法包括有如下步驟步驟1,利用身份識(shí)別器完成對(duì)用戶身份的識(shí)別；步驟2,利用教師音視頻錄制裝置、學(xué)生音視頻錄制裝置，實(shí)現(xiàn)對(duì)教師與學(xué)生的音視頻信號(hào)的錄制操作；步驟3,分析所錄制的教師觸發(fā)信息與學(xué)生觸發(fā)信息；步驟4,利用步驟3中的教師觸發(fā)信息與學(xué)生觸發(fā)信息，來完成教師音視頻信息與學(xué)生音視頻信息的數(shù)據(jù)流合并操作。
19. 根據(jù)權(quán)利要求18所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)的實(shí) 現(xiàn)方法，其特征在于在所述的步驟l中，用戶利用身份識(shí)別器完成 了身份識(shí)別之后，用手動(dòng)的方法按下身份選擇鍵，來選擇自身的角色。
20. 根據(jù)權(quán)利要求18所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)的實(shí) 現(xiàn)方法，其特征在于在所述的步驟2中，利用教師音視頻錄制裝置、 學(xué)生音視頻錄制裝置工作的同時(shí)，所述系統(tǒng)的主機(jī)從對(duì)應(yīng)著教師設(shè)置 的投影儀終端中獲得電子文檔信息。
21. 根據(jù)權(quán)利要求18所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)的實(shí) 現(xiàn)方法，其特征在于在所述的步驟2中，利用教師音^f見頻錄制裝置、 學(xué)生音視頻錄制裝置工作的同時(shí)，還利用黑板攝像機(jī)對(duì)教師在黑板上 的手工板書進(jìn)行攝像操作。
22. 根據(jù)權(quán)利要求18所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)的實(shí) 現(xiàn)方法，其特征在于在所述的步驟3中，教師觸發(fā)信息與學(xué)生觸發(fā) 信息分別為如下三種觸發(fā)信息中至少其一 ，a，是通過按鍵的按壓操作來實(shí)現(xiàn)的按鍵觸發(fā)信息，b, 是通過對(duì)教師或?qū)W生進(jìn)行的攝像識(shí)別來實(shí)現(xiàn)的攝像觸發(fā)信息，c, 是通過對(duì)教師或?qū)W生的聲音來進(jìn)行識(shí)別的聲音觸發(fā)信息。
23. 根據(jù)權(quán)利要求22所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)的實(shí) 現(xiàn)方法，其特征在于在所述的聲音觸發(fā)信息，設(shè)置有包含聲音強(qiáng)度與聲音持續(xù)時(shí)間兩者至少其 一 的聲音觸發(fā)域值。
24. 根據(jù)權(quán)利要求18所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)的實(shí) 現(xiàn)方法，其特征在于在所述的步驟4中，發(fā)出觸發(fā)信息的對(duì)象在合 并后的音視頻中處于主角地位。
25.根據(jù)權(quán)利要求18或20所述的音視頻多流合并教學(xué)訓(xùn)練系統(tǒng) 的實(shí)現(xiàn)方法，其特征在于在所述的步驟2和步驟4中，系統(tǒng)主機(jī)所 合成的電子文檔信息的展示次序，是以教師對(duì)電子文檔內(nèi)容的控制操 作的電子文檔操作點(diǎn)，作為電子文檔觸發(fā)時(shí)間軸來展開的。
全文摘要
本發(fā)明提供一種音視頻多流合并教學(xué)訓(xùn)練系統(tǒng)及實(shí)現(xiàn)方法，屬于教學(xué)設(shè)備領(lǐng)域，涉及一種應(yīng)用于教學(xué)的訓(xùn)練系統(tǒng)，以及該系統(tǒng)的使用方法。本發(fā)明中的系統(tǒng)，主要包括教師音視頻錄制裝置，由教師攝像機(jī)和教師拾音器組成；學(xué)生音視頻錄制裝置，由學(xué)生攝像機(jī)和學(xué)生拾音器組成；身份識(shí)別器，是用于實(shí)現(xiàn)人員身份識(shí)別的物理裝置；主機(jī)，包括有用于存儲(chǔ)來數(shù)據(jù)和運(yùn)行程序的存儲(chǔ)器，以及運(yùn)算處理器、顯示屏等。本發(fā)明的優(yōu)點(diǎn)在于利用本發(fā)明可以全面地錄制教學(xué)訓(xùn)練中的各種信息，可以有效地將多種數(shù)據(jù)流進(jìn)行合并，全面地展示教學(xué)訓(xùn)練的過程與細(xì)節(jié)，提高訓(xùn)練效果。
文檔編號(hào)G09B5/00GK101105895SQ200710044758
公開日2008年1月16日 申請(qǐng)日期2007年8月10日 優(yōu)先權(quán)日2007年8月10日
發(fā)明者王向安, 穆陟晅, 馬宇塵 申請(qǐng)人:上海邁輝信息技術(shù)有限公司