本發(fā)明屬于電子白板投屏領(lǐng)域，具體涉及一種電子白板投屏程序獲取usb麥克風和攝像頭設(shè)備的方法。

背景技術(shù)：

1、隨著現(xiàn)代教育和會議系統(tǒng)的普及，電子白板上的投屏軟件作為一種交互式工具被廣泛應(yīng)用。由于電子白板上使用的操作系統(tǒng)的不同，導(dǎo)致usb麥克風和攝像頭數(shù)據(jù)采集困難，同時采集到的視頻數(shù)據(jù)和音頻數(shù)據(jù)上傳至計算機端需要占據(jù)大量內(nèi)存，影響計算機端的處理和使用。

2、傳統(tǒng)的采集方法通常采用usb麥克風和攝像頭直接與計算機連接，以實時采集音頻和視頻數(shù)據(jù)，但由于電子白板和計算機使用的操作系統(tǒng)不同，usb麥克風和攝像頭的驅(qū)動程序無法在所有操作系統(tǒng)上無縫運行，這導(dǎo)致了數(shù)據(jù)采集過程中的不穩(wěn)定性。同時傳統(tǒng)方法通常未對采集的音視頻數(shù)據(jù)進行壓縮，導(dǎo)致數(shù)據(jù)體積龐大，不僅增加了數(shù)據(jù)傳輸?shù)膸捫枨?，也?dǎo)致傳輸速度減慢，而傳統(tǒng)的視頻壓縮技術(shù)追求高壓縮率，影響視頻的質(zhì)量。因此，以上方法都不能很好地采集電子白板上的usb麥克風和攝像頭數(shù)據(jù)，影響系統(tǒng)的整體性能。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提供了一種電子白板投屏程序獲取usb麥克風和攝像頭設(shè)備的方法，

2、本發(fā)明的目的可以通過以下技術(shù)方案實現(xiàn)：

3、一種電子白板投屏程序獲取usb麥克風和攝像頭設(shè)備的方法，包括：

4、獲取原始電子白板視頻數(shù)據(jù)，macos電腦端通過mdns電子白板模型得到電子白板設(shè)備信息，所述電子白板設(shè)備信息包括電子白板設(shè)備id和電子白板設(shè)備ip地址；

5、根據(jù)所述電子白板設(shè)備信息通過建立設(shè)備列表數(shù)據(jù)傳輸模型得到電子白板選擇設(shè)備；

6、根據(jù)所述電子白板選擇設(shè)備通過音視頻數(shù)據(jù)通道模型得到電子白板音頻數(shù)據(jù)和電子白板視頻數(shù)據(jù)；

7、根據(jù)所述電子白板音頻數(shù)據(jù)通過音頻壓縮傳輸模型傳輸?shù)絤acos虛擬聲卡輸入端；

8、根據(jù)所述電子白板視頻數(shù)據(jù)通過視頻壓縮傳輸模型傳輸?shù)絤acos虛擬攝像頭輸入端。

9、優(yōu)選的，所述mdns電子白板模型具體包括macos電腦通過mdns協(xié)議多播方式在局域網(wǎng)內(nèi)廣播設(shè)備得到局域網(wǎng)設(shè)備列表，所述局域網(wǎng)設(shè)備列表攜帶設(shè)備數(shù)量標簽；

10、判斷所述設(shè)備數(shù)量標簽是否為0，是，則檢查網(wǎng)絡(luò)連接、電子白板設(shè)備狀態(tài)、macos狀態(tài)；

11、否，則根據(jù)所述局域網(wǎng)設(shè)備列表通過解析得到所述電子白板設(shè)備信息。

12、優(yōu)選的，所述根據(jù)所述電子白板設(shè)備信息通過建立設(shè)備列表數(shù)據(jù)傳輸模型得到電子白板選擇設(shè)備包括：

13、根據(jù)所述電子白板設(shè)備信息與局域網(wǎng)設(shè)備信息通過數(shù)據(jù)校驗判斷建立數(shù)據(jù)傳輸連接通道，所述局域網(wǎng)設(shè)備信息為局域網(wǎng)內(nèi)電子白板的信息；

14、根據(jù)所述數(shù)據(jù)傳輸連接通道通過tls加密協(xié)議得到數(shù)據(jù)傳輸加密連接通道；

15、根據(jù)所述數(shù)據(jù)傳輸加密連接通道通過發(fā)送設(shè)備查詢請求得到usb外設(shè)列表數(shù)據(jù)包；

16、根據(jù)所述usb外設(shè)列表數(shù)據(jù)包通過解析得到所述電子白板選擇設(shè)備。

17、優(yōu)選的，所述數(shù)據(jù)校驗判斷包括：

18、判斷所述電子白板設(shè)備信息與所述局域網(wǎng)設(shè)備信息是否相等，是，則建立所述數(shù)據(jù)傳輸加密連接通道；

19、否，則重新連接macos和電子白板。

20、優(yōu)選的，所述根據(jù)所述電子白板選擇設(shè)備通過音視頻數(shù)據(jù)通道模型得到電子白板音頻數(shù)據(jù)和電子白板視頻數(shù)據(jù)包括：

21、根據(jù)所述電子白板選擇設(shè)備向所述macos發(fā)送數(shù)據(jù)連接請求，所述數(shù)據(jù)連接請求攜帶連接成功標簽；

22、根據(jù)所述連接成功標簽通過發(fā)送數(shù)據(jù)連接請求判斷建立音視頻數(shù)據(jù)通道；

23、根據(jù)所述音視頻數(shù)據(jù)通道通過webrtc協(xié)議得到音視頻數(shù)據(jù)加強通道，所述webrtc協(xié)議是確保數(shù)據(jù)傳輸?shù)蜁r延和高質(zhì)量的協(xié)議；

24、根據(jù)所述音視頻數(shù)據(jù)加強通道通過接收得到所述電子白板音頻數(shù)據(jù)和所述電子白板視頻數(shù)據(jù)。

25、優(yōu)選的，所述發(fā)送數(shù)據(jù)連接請求判斷包括：

26、判斷所述連接成功標簽是否為1，是，則建立所述音視頻數(shù)據(jù)通道；

27、否，則重新連接macos和電子白板。

28、優(yōu)選的，所述根據(jù)所述電子白板音頻數(shù)據(jù)通過音頻壓縮傳輸模型傳輸?shù)絤acos虛擬聲卡輸入端包括：

29、根據(jù)所述電子白板音頻數(shù)據(jù)通過aac編碼得到電子白板aac音頻數(shù)據(jù)，所述電子白板aac音頻數(shù)據(jù)攜帶音頻數(shù)據(jù)數(shù)量標簽；

30、根據(jù)所述電子白板aac音頻數(shù)據(jù)通過音頻數(shù)據(jù)數(shù)量標簽判斷上傳至macos虛擬聲卡輸入端。

31、優(yōu)選的，所述音頻數(shù)據(jù)數(shù)量標簽判斷包括：

32、判斷所述音頻數(shù)據(jù)數(shù)量標簽是否為0，是，則對所述電子白板音頻數(shù)據(jù)重新進行aac編碼；

33、否，則根據(jù)所述電子白板aac音頻數(shù)據(jù)通過socket傳輸?shù)絤acos虛擬聲卡輸入端。

34、優(yōu)選的，所述根據(jù)所述電子白板視頻數(shù)據(jù)通過視頻壓縮傳輸模型傳輸?shù)絤acos虛擬攝像頭輸入端包括：

35、根據(jù)所述電子白板視頻數(shù)據(jù)通過深度學(xué)習(xí)自編碼器視頻壓縮方法得到電子白板壓縮視頻數(shù)據(jù)；

36、根據(jù)所述電子白板壓縮視頻數(shù)據(jù)通過socket傳輸?shù)絤acos虛擬攝像頭輸入端。

37、優(yōu)選的，所述根據(jù)所述電子白板視頻數(shù)據(jù)通過深度學(xué)習(xí)自編碼器視頻壓縮方法得到電子白板壓縮視頻數(shù)據(jù)包括：

38、根據(jù)所述原始電子白板視頻數(shù)據(jù)通過卷積得到原始電子白板視頻數(shù)據(jù)特征圖；

39、將所述原始電子白板視頻數(shù)據(jù)特征圖通過最大值池化得到原始電子白板視頻數(shù)據(jù)池化特征圖；

40、將所述原始電子白板視頻數(shù)據(jù)池化特征圖通過全連接層得到原始電子白板壓縮視頻數(shù)據(jù)；

41、根據(jù)所述原始電子白板深度學(xué)習(xí)視頻數(shù)據(jù)通過電子白板視頻數(shù)據(jù)反卷積神經(jīng)網(wǎng)絡(luò)得到原始電子白板深度學(xué)習(xí)視頻數(shù)據(jù)；

42、根據(jù)所述原始電子白板深度學(xué)習(xí)視頻數(shù)據(jù)與所述原始電子白板視頻數(shù)據(jù)通過原始電子白板感知損失函數(shù)得到原始電子白板視頻數(shù)據(jù)損失值；

43、根據(jù)所述原始電子白板視頻數(shù)據(jù)損失值通過原始電子白板視頻數(shù)據(jù)參數(shù)更新得到訓(xùn)練后電子白板視頻數(shù)據(jù)卷積神經(jīng)網(wǎng)絡(luò)；

44、根據(jù)所述電子白板視頻數(shù)據(jù)通過所述訓(xùn)練后電子白板視頻數(shù)據(jù)卷積神經(jīng)網(wǎng)絡(luò)得到電子白板壓縮視頻數(shù)據(jù)，所述電子白板壓縮視頻數(shù)據(jù)攜帶視頻數(shù)據(jù)數(shù)量標簽；

45、根據(jù)所述電子白板壓縮視頻數(shù)據(jù)通過視頻數(shù)據(jù)數(shù)量標簽判斷上傳至macos虛擬攝像頭輸入端。

46、優(yōu)選的，所述原始電子白板感知損失函數(shù)的計算公式為：

47、

48、其中，lperceptual為所述原始電子白板視頻數(shù)據(jù)損失值，x為所述原始電子白板視頻數(shù)據(jù)，為所述原始電子白板深度學(xué)習(xí)視頻數(shù)據(jù)，l表示所述卷積神經(jīng)網(wǎng)絡(luò)第l層，φl表示從所述卷積神經(jīng)網(wǎng)絡(luò)中提取的在第l層的特征映射，α為權(quán)重參數(shù)，β為權(quán)重參數(shù)。

49、優(yōu)選的，所述原始電子白板視頻數(shù)據(jù)參數(shù)更新的表達式為：

50、

51、其中，θe為電子白板視頻數(shù)據(jù)卷積神經(jīng)網(wǎng)絡(luò)參數(shù)，θd為電子白板視頻數(shù)據(jù)反卷積神經(jīng)網(wǎng)絡(luò)參數(shù)，argmin表示取原始電子白板視頻數(shù)據(jù)參數(shù)更新函數(shù)值最小的θe和θd，n表示原始電子白板視頻數(shù)據(jù)的數(shù)量，x(i)表示第i個所述原始電子白板視頻數(shù)據(jù)，g表示所述電子白板視頻數(shù)據(jù)反卷積神經(jīng)網(wǎng)絡(luò)，f表示所述電子白板視頻數(shù)據(jù)卷積神經(jīng)網(wǎng)絡(luò)，表示通過原始電子白板視頻數(shù)據(jù)參數(shù)更新的θe，表示通過原始電子白板視頻數(shù)據(jù)參數(shù)更新的θd。

52、優(yōu)選的，所述視頻數(shù)據(jù)數(shù)量標簽判斷包括：

53、判斷所述視頻數(shù)據(jù)數(shù)量標簽是否為0，是，則對所述電子白板視頻數(shù)據(jù)重新通過所述訓(xùn)練后電子白板視頻數(shù)據(jù)卷積神經(jīng)網(wǎng)絡(luò)；

54、否，則根據(jù)所述電子白板壓縮視頻數(shù)據(jù)通過socket傳輸?shù)絤acos虛擬攝像頭輸入端。

55、一種基于電子白板投屏程序獲取usb麥克風和攝像頭設(shè)備的方法的電子白板投屏程序獲取usb麥克風和攝像頭設(shè)備系統(tǒng)，包括信息采集模塊、建立連接模塊、數(shù)據(jù)獲取模塊、音頻傳輸模塊、視頻傳輸模塊，包括：

56、所述信息采集模塊，用于獲取原始電子白板視頻數(shù)據(jù)，macos電腦端通過mdns電子白板模型得到電子白板設(shè)備信息，所述電子白板設(shè)備信息包括電子白板設(shè)備id和電子白板設(shè)備ip地址；

57、所述建立連接模塊，用于根據(jù)所述電子白板設(shè)備信息通過建立設(shè)備列表數(shù)據(jù)傳輸模型得到電子白板選擇設(shè)備；

58、所述數(shù)據(jù)獲取模塊，用于根據(jù)所述電子白板選擇設(shè)備通過音視頻數(shù)據(jù)通道模型得到電子白板音頻數(shù)據(jù)和電子白板視頻數(shù)據(jù)；

59、所述音頻傳輸模塊，用于根據(jù)所述電子白板音頻數(shù)據(jù)通過音頻壓縮傳輸模型傳輸?shù)絤acos虛擬聲卡輸入端；

60、所述視頻傳輸模塊，用于根據(jù)所述電子白板視頻數(shù)據(jù)通過視頻壓縮傳輸模型傳輸?shù)絤acos虛擬攝像頭輸入端。

61、一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)上述電子白板投屏程序獲取usb麥克風和攝像頭設(shè)備方法。

62、一種包含計算機可執(zhí)行指令的存儲介質(zhì)，所述計算機可執(zhí)行指令在由計算機處理器執(zhí)行時用于執(zhí)行上述電子白板投屏程序獲取usb麥克風和攝像頭設(shè)備方法。

63、本發(fā)明的有益效果為：

64、(1)通過所述數(shù)據(jù)校驗判斷、所述發(fā)送數(shù)據(jù)連接請求判斷、所述音頻數(shù)據(jù)數(shù)量標簽判斷、所述視頻數(shù)據(jù)數(shù)量標簽判斷，保證了數(shù)據(jù)傳輸?shù)姆€(wěn)定性和準確性；

65、(2)通過tls加密協(xié)議，對所述數(shù)據(jù)傳輸連接通道進行現(xiàn)加密，防止數(shù)據(jù)在傳輸過程中遭受未授權(quán)訪問、篡改、泄露，保證數(shù)據(jù)在傳輸過程中的安全性和完整性；

66、(3)通過webrtc協(xié)議的點對點連接，實現(xiàn)了實時、低時延的音視頻傳輸，同時利用srtp和dtls加密保證了音視頻數(shù)據(jù)傳輸?shù)陌踩瑢崿F(xiàn)了不同操作系統(tǒng)之間數(shù)據(jù)的安全傳輸；

67、(4)通過深度學(xué)習(xí)自編碼器視頻壓縮方法，對所述電子白板視頻數(shù)據(jù)進行壓縮，在加快所述電子白板視頻數(shù)據(jù)傳輸效率的同時，保證了所述電子白板視頻數(shù)據(jù)的質(zhì)量。