本發(fā)明涉及ar眼鏡，具體而言，涉及一種雙向視頻融合互動的檢修ar眼鏡系統(tǒng)及檢修方法。

背景技術(shù)：

1、當(dāng)前，對于變電站內(nèi)繼電保護檢修，可以使檢修人員通過ar（augmented?reality，即增強現(xiàn)實）眼鏡實現(xiàn)檢修。

2、相關(guān)技術(shù)中，通過提前對檢修現(xiàn)場建模，可以構(gòu)建多種標(biāo)準(zhǔn)化作業(yè)的流程信息并上傳到服務(wù)器，然后客戶端向服務(wù)器請求下載與當(dāng)前的檢修作業(yè)對應(yīng)的標(biāo)準(zhǔn)化作業(yè)的流程信息，并由客戶端或ar眼鏡的揚聲器播放該標(biāo)準(zhǔn)化作業(yè)的流程信息，且ar眼鏡的顯示屏顯示流程的當(dāng)前步驟，如此，檢修人員可以通過播放的流程信息以及顯示屏顯示的當(dāng)前步驟進行檢修。

3、然而，上述檢修方案需要提前對現(xiàn)場建模，而模型建立和維護的工作量大，一旦現(xiàn)場發(fā)生變動，需要對模型進行修改。并且，當(dāng)前的ar眼鏡工作模式無法實現(xiàn)前后臺實時互動，無法滿足現(xiàn)場復(fù)雜的互動需求，用戶體驗較差。此外，當(dāng)前ar眼鏡的指導(dǎo)是依據(jù)單向視頻的，檢修人員和后臺通過語音互動，而繼電保護作業(yè)要求比較精確，對壓板、端子排等方面的操作需要厘米級精度的指導(dǎo)，單純依靠當(dāng)前的語音、指導(dǎo)模式無法完成工作。

4、針對上述的問題，目前尚未提出有效的解決方案。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例提供了一種雙向視頻融合互動的檢修ar眼鏡系統(tǒng)及檢修方法，以至少解決相關(guān)技術(shù)中的ar眼鏡互動性較差，無法滿足精確的檢修需求的技術(shù)問題。

2、根據(jù)本發(fā)明實施例的一個方面，提供了一種雙向視頻融合互動的檢修ar眼鏡系統(tǒng)，所述檢修ar眼鏡系統(tǒng)包括：增強現(xiàn)實眼鏡，用于采集現(xiàn)場圖像數(shù)據(jù)，并將所述現(xiàn)場圖像數(shù)據(jù)傳輸至邊緣計算服務(wù)器；目標(biāo)作業(yè)終端，用于獲取勾畫信息以及手勢圖像數(shù)據(jù)，并將所述勾畫信息以及所述手勢圖像數(shù)據(jù)傳輸至所述邊緣計算服務(wù)器；所述邊緣計算服務(wù)器，用于對所述現(xiàn)場圖像數(shù)據(jù)、所述勾畫信息以及所述手勢圖像數(shù)據(jù)進行融合，生成融合互動視頻，并將所述融合互動視頻發(fā)送至所述增強現(xiàn)實眼鏡以及所述目標(biāo)作業(yè)終端進行展示，其中，所述融合互動視頻用于指導(dǎo)佩戴所述增強現(xiàn)實眼鏡的檢修對象執(zhí)行檢修操作。

3、進一步地，所述增強現(xiàn)實眼鏡包括：攝像頭模塊，用于采集所述現(xiàn)場圖像數(shù)據(jù)；數(shù)據(jù)傳輸模塊，用于向所述邊緣計算服務(wù)器以及所述目標(biāo)作業(yè)終端傳輸所述現(xiàn)場圖像數(shù)據(jù)；顯示模塊，用于顯示所述邊緣計算服務(wù)器傳輸?shù)乃鋈诤匣右曨l。

4、進一步地，所述目標(biāo)作業(yè)終端包括：觸摸屏，用于顯示所述現(xiàn)場圖像數(shù)據(jù)，并接收所述勾畫信息，其中，所述現(xiàn)場圖像數(shù)據(jù)包括：多張現(xiàn)場圖像，所述勾畫信息是在所述觸摸屏展示的現(xiàn)場圖像上進行勾畫得到的信息；動作捕捉模塊，用于捕捉對所述現(xiàn)場圖像進行指導(dǎo)的所述手勢圖像數(shù)據(jù)。

5、進一步地，所述邊緣計算服務(wù)器包括：數(shù)據(jù)處理模塊，用于對接收到的所述現(xiàn)場圖像數(shù)據(jù)進行預(yù)處理，得到目標(biāo)圖像數(shù)據(jù)，并從所述手勢圖像數(shù)據(jù)中提取指導(dǎo)動作圖像；雙向視頻融合模塊，用于將所述指導(dǎo)動作圖像、所述勾畫信息與所述現(xiàn)場圖像數(shù)據(jù)中的現(xiàn)場圖像進行融合，生成所述融合互動視頻，其中，每張所述指導(dǎo)動作圖像與一張所述現(xiàn)場圖像對應(yīng)，所述勾畫信息與一張所述現(xiàn)場圖像對應(yīng)。

6、進一步地，對接收到的所述現(xiàn)場圖像數(shù)據(jù)進行預(yù)處理，得到目標(biāo)圖像數(shù)據(jù)的步驟，包括：對所述現(xiàn)場圖像數(shù)據(jù)中的每張所述現(xiàn)場圖像進行去模糊化處理，得到第一圖像；對每張所述第一圖像進行強化處理，得到第二圖像；對每張所述第二圖像進行去噪處理，得到第三圖像；對每張所述第三圖像進行誤差處理，得到所述目標(biāo)圖像數(shù)據(jù)。

7、進一步地，將所述指導(dǎo)動作圖像、所述勾畫信息與所述現(xiàn)場圖像數(shù)據(jù)中的現(xiàn)場圖像進行融合的步驟，包括：確定在勾畫所述勾畫信息時的觸碰區(qū)域，將所述觸碰區(qū)域與所述勾畫信息對應(yīng)的所述現(xiàn)場圖像上的圖像區(qū)域進行匹配；在所述觸碰區(qū)域的區(qū)域位置與目標(biāo)圖像區(qū)域的目標(biāo)區(qū)域位置一致的情況下，將所述勾畫信息標(biāo)記在所述現(xiàn)場圖像上的目標(biāo)圖像區(qū)域上；確定所述指導(dǎo)動作圖像指示的圖像區(qū)域范圍，并在所述現(xiàn)場圖像上的圖像區(qū)域范圍內(nèi)覆蓋所述指導(dǎo)動作圖像。

8、根據(jù)本發(fā)明實施例的另一方面，還提供了一種應(yīng)用上述雙向視頻融合互動的檢修ar眼鏡系統(tǒng)的檢修方法，包括：采集現(xiàn)場圖像數(shù)據(jù)，并獲取與所述現(xiàn)場圖像數(shù)據(jù)的每張現(xiàn)場圖像對應(yīng)的勾畫信息以及手勢圖像數(shù)據(jù)；對所述現(xiàn)場圖像數(shù)據(jù)進行預(yù)處理，得到目標(biāo)圖像數(shù)據(jù)，并從所述手勢圖像數(shù)據(jù)中提取指導(dǎo)動作圖像；將所述指導(dǎo)動作圖像、所述勾畫信息與所述目標(biāo)圖像數(shù)據(jù)中的目標(biāo)現(xiàn)場圖像進行融合，生成融合互動視頻，其中，所述融合互動視頻用于指導(dǎo)佩戴所述增強現(xiàn)實眼鏡的檢修對象進行檢修操作。

9、進一步地，在獲取所述手勢圖像數(shù)據(jù)之前，確定動作捕捉模塊的捕捉背景區(qū)域，并在所述捕捉背景區(qū)域上覆蓋預(yù)設(shè)顏色的目標(biāo)物體。

10、根據(jù)本發(fā)明實施例的另一方面，還提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)包括存儲的計算機程序，其中，在所述計算機程序運行時控制所述計算機可讀存儲介質(zhì)所在設(shè)備執(zhí)行上述任意一項檢修方法。

11、根據(jù)本發(fā)明實施例的另一方面，還提供了一種電子設(shè)備，包括一個或多個處理器和存儲器，所述存儲器用于存儲一個或多個程序，其中，當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行時，使得所述一個或多個處理器實現(xiàn)上述任意一項檢修方法。

12、在本發(fā)明中，檢修ar眼鏡系統(tǒng)包括：增強現(xiàn)實眼鏡，用于采集現(xiàn)場圖像數(shù)據(jù)，并將現(xiàn)場圖像數(shù)據(jù)傳輸至邊緣計算服務(wù)器；目標(biāo)作業(yè)終端，用于獲取勾畫信息以及手勢圖像數(shù)據(jù)，并將勾畫信息以及手勢圖像數(shù)據(jù)傳輸至邊緣計算服務(wù)器；邊緣計算服務(wù)器，用于對現(xiàn)場圖像數(shù)據(jù)、勾畫信息以及手勢圖像數(shù)據(jù)進行融合，生成融合互動視頻，并將融合互動視頻發(fā)送至增強現(xiàn)實眼鏡以及目標(biāo)作業(yè)終端進行展示。

13、在本發(fā)明中，通過檢修ar眼鏡系統(tǒng)，能夠?qū)⒃鰪姮F(xiàn)實眼鏡采集的現(xiàn)場圖像數(shù)據(jù)以及目標(biāo)作業(yè)終端根據(jù)現(xiàn)場圖像數(shù)據(jù)生成的勾畫信息以及手勢圖像數(shù)據(jù)傳輸至邊緣計算服務(wù)器進行處理，以生成融合互動視頻，并將該融合互動視頻增強現(xiàn)實眼鏡以及目標(biāo)作業(yè)終端進行展示，能夠提高前后端之前的互動性，實現(xiàn)現(xiàn)場的精確檢修，進而解決了相關(guān)技術(shù)中的ar眼鏡互動性較差，無法滿足精確的檢修需求的技術(shù)問題。

技術(shù)特征：

1.一種雙向視頻融合互動的檢修ar眼鏡系統(tǒng)，其特征在于，所述檢修ar眼鏡系統(tǒng)包括：

2.根據(jù)權(quán)利要求1所述的檢修ar眼鏡系統(tǒng)，其特征在于，所述增強現(xiàn)實眼鏡包括：

3.根據(jù)權(quán)利要求1所述的檢修ar眼鏡系統(tǒng)，其特征在于，所述目標(biāo)作業(yè)終端包括：

4.根據(jù)權(quán)利要求1所述的檢修ar眼鏡系統(tǒng)，其特征在于，所述邊緣計算服務(wù)器包括：

5.根據(jù)權(quán)利要求4所述的檢修ar眼鏡系統(tǒng)，其特征在于，對接收到的所述現(xiàn)場圖像數(shù)據(jù)進行預(yù)處理，得到目標(biāo)圖像數(shù)據(jù)的步驟，包括：

6.根據(jù)權(quán)利要求4所述的檢修ar眼鏡系統(tǒng)，其特征在于，將所述指導(dǎo)動作圖像、所述勾畫信息與所述現(xiàn)場圖像數(shù)據(jù)中的現(xiàn)場圖像進行融合的步驟，包括：

7.一種應(yīng)用權(quán)利要求1中所述的雙向視頻融合互動的檢修ar眼鏡系統(tǒng)的檢修方法，其特征在于，包括：

8.根據(jù)權(quán)利要求7所述的檢修方法，其特征在于，在獲取所述手勢圖像數(shù)據(jù)之前，確定動作捕捉模塊的捕捉背景區(qū)域，并在所述捕捉背景區(qū)域上覆蓋預(yù)設(shè)顏色的目標(biāo)物體。

9.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)包括存儲的計算機程序，其中，在所述計算機程序運行時控制所述計算機可讀存儲介質(zhì)所在設(shè)備執(zhí)行權(quán)利要求7至8中任意一項所述的檢修方法。

10.一種電子設(shè)備，其特征在于，包括一個或多個處理器和存儲器，所述存儲器用于存儲一個或多個程序，其中，當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行時，使得所述一個或多個處理器實現(xiàn)權(quán)利要求7至8中任意一項所述的檢修方法。

技術(shù)總結(jié)
本發(fā)明公開了一種雙向視頻融合互動的檢修AR眼鏡系統(tǒng)及檢修方法，涉及AR眼鏡技術(shù)領(lǐng)域，其中，該檢修AR眼鏡系統(tǒng)包括：增強現(xiàn)實眼鏡，用于采集現(xiàn)場圖像數(shù)據(jù)，并將現(xiàn)場圖像數(shù)據(jù)傳輸至邊緣計算服務(wù)器；目標(biāo)作業(yè)終端，用于獲取勾畫信息以及手勢圖像數(shù)據(jù)，并將勾畫信息以及手勢圖像數(shù)據(jù)傳輸至邊緣計算服務(wù)器；邊緣計算服務(wù)器，用于對現(xiàn)場圖像數(shù)據(jù)、勾畫信息以及手勢圖像數(shù)據(jù)進行融合，生成融合互動視頻，并將融合互動視頻發(fā)送至增強現(xiàn)實眼鏡以及目標(biāo)作業(yè)終端進行展示。本發(fā)明解決了相關(guān)技術(shù)中的AR眼鏡互動性較差，無法滿足精確的檢修需求的技術(shù)問題。

技術(shù)研發(fā)人員：張勇志,肖帥,張永挺,謝幸生,周桂,蔡永智,朱浩,李垂有,湯曉暉,吳乾江,蔣炯鋒,王啟東,張勇,洪有源,林永昌,郭佳慶,謝紹敏,代博祉,周海育,陽雙婷,陳年蔚,陳星竹,韓彥微,周偉昆,王華佑
受保護的技術(shù)使用者：廣東電網(wǎng)有限責(zé)任公司中山供電局
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19