本技術(shù)涉及圖像識(shí)別，具體為一種基于手勢識(shí)別的玩具機(jī)器人點(diǎn)讀控制方法。

背景技術(shù)：

1、手勢識(shí)別技術(shù)在玩具機(jī)器人中的應(yīng)用，是人機(jī)交互（human–computerinteraction，hci）領(lǐng)域的一個(gè)創(chuàng)新方向，它利用計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)算法，使得機(jī)器人能夠理解并響應(yīng)人類的手勢動(dòng)作，從而實(shí)現(xiàn)更加自然和直觀的控制方式。玩具機(jī)器人作為兒童或者成人的娛樂、教育工具，通過集成手勢識(shí)別技術(shù)，可以大幅提升用戶體驗(yàn)，增加互動(dòng)性和趣味性。

2、目前的機(jī)器人的手勢識(shí)別主要依賴于計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)算法，通過訓(xùn)練手勢識(shí)別的深度學(xué)習(xí)模型對(duì)交互手勢進(jìn)行識(shí)別分析，并進(jìn)一步控制機(jī)器人執(zhí)行相應(yīng)的指令。但是對(duì)于玩具機(jī)器人來說，其搭載的處理器性能通常較低，直接對(duì)采集的圖像進(jìn)行分割、識(shí)別可能會(huì)造成處理時(shí)間過長，且對(duì)于復(fù)雜背景下，直接進(jìn)行識(shí)別可能會(huì)造成誤識(shí)別或漏識(shí)別等情況。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)的目的在于提供一種基于手勢識(shí)別的玩具機(jī)器人點(diǎn)讀控制方法，以解決在處理器性能被限制的應(yīng)用場景下如何精準(zhǔn)地對(duì)交互手勢進(jìn)行識(shí)別的技術(shù)問題。

2、為實(shí)現(xiàn)上述目的，本技術(shù)提供如下技術(shù)方案：

3、一種基于手勢識(shí)別的玩具機(jī)器人點(diǎn)讀控制方法，包括：

4、獲取多個(gè)時(shí)序手勢識(shí)別圖像；

5、基于各個(gè)時(shí)序手勢識(shí)別圖像，獲取多個(gè)超像素塊；

6、基于多個(gè)超像素塊，獲取與各個(gè)超像素塊一一對(duì)應(yīng)的手勢信息系數(shù)；所述手勢信息系數(shù)至少用于表示對(duì)應(yīng)的超像素塊中具有手勢的概率；

7、基于所述手勢信息系數(shù)，由多個(gè)超像素塊，獲取多個(gè)連通域；

8、基于多個(gè)連通域，獲取第一連通域；所述第一連通域?yàn)楦鱾€(gè)連通域中的各個(gè)超像素塊的手勢信息系數(shù)平均值最高的連通域；

9、基于所述第一連通域，獲取當(dāng)前手勢識(shí)別圖像；

10、基于當(dāng)前手勢識(shí)別圖像，控制所述玩具機(jī)器人。

11、作為本技術(shù)技術(shù)方案中一個(gè)具體的方案，所述基于多個(gè)超像素塊，獲取與各個(gè)超像素塊一一對(duì)應(yīng)的手勢信息系數(shù)，包括：

12、基于多個(gè)超像素塊，獲取第一超像素塊和第一時(shí)序手勢識(shí)別圖像；其中，所述第一超像素塊為各個(gè)超像素塊中的任意一個(gè)超像素塊；所述第一時(shí)序手勢識(shí)別圖像為與所述第一超像素塊相對(duì)應(yīng)的時(shí)序手勢識(shí)別圖像；

13、基于所述第一超像素塊，獲取第一質(zhì)心坐標(biāo)；

14、基于所述第一時(shí)序手勢識(shí)別圖像，獲取圖像中心坐標(biāo)；

15、基于所述第一質(zhì)心坐標(biāo)和所述圖像中心坐標(biāo)，獲取第一距離；

16、基于所述第一距離，獲取與各個(gè)超像素塊一一對(duì)應(yīng)的手勢信息系數(shù)。

17、作為本技術(shù)技術(shù)方案中一個(gè)具體的方案，所述基于所述第一距離，獲取與各個(gè)超像素塊一一對(duì)應(yīng)的手勢信息系數(shù)，包括：

18、基于各個(gè)時(shí)序手勢識(shí)別圖像，獲取預(yù)設(shè)時(shí)間內(nèi)且時(shí)序位于所述第一時(shí)序手勢識(shí)別圖像之后的多個(gè)第二時(shí)序手勢識(shí)別圖像；

19、基于多個(gè)第二時(shí)序手勢識(shí)別圖像，獲取與各個(gè)第二時(shí)序手勢識(shí)別圖像一一對(duì)應(yīng)的第二超像素塊；所述第二超像素塊為對(duì)應(yīng)的第二時(shí)序手勢識(shí)別圖像中與所述第一超像素塊結(jié)構(gòu)相似度最高的超像素塊；

20、基于多個(gè)第二超像素塊，獲取與各個(gè)第二超像素塊一一對(duì)應(yīng)的第二質(zhì)心坐標(biāo)；

21、基于所述第一質(zhì)心坐標(biāo)和各個(gè)第二質(zhì)心坐標(biāo)，獲取多個(gè)線段；每個(gè)線段的起點(diǎn)為所述第一質(zhì)心坐標(biāo)，終點(diǎn)為各個(gè)第二質(zhì)心坐標(biāo)中的任意一個(gè)第二質(zhì)心坐標(biāo)；

22、基于多個(gè)線段，獲取多個(gè)斜率；

23、基于多個(gè)斜率，獲取斜率方差；

24、基于所述斜率方差和所述第一距離，獲取第一系數(shù)；所述第一系數(shù)至少用于表示所述第一超像素塊所對(duì)應(yīng)的物體為非直線運(yùn)動(dòng)物體的概率；

25、基于所述第一系數(shù)，獲取與各個(gè)超像素塊一一對(duì)應(yīng)的手勢信息系數(shù)。

26、作為本技術(shù)技術(shù)方案中一個(gè)具體的方案，所述基于所述斜率方差和所述第一距離，獲取第一系數(shù)的計(jì)算公式如下：

27、；

28、其中，表示第一系數(shù)；表示第一距離；表示斜率方差；表示用于將括號(hào)內(nèi)的數(shù)值映射至[0,1]區(qū)間范圍內(nèi)的映射函數(shù)；b為大于0的正數(shù)。

29、作為本技術(shù)技術(shù)方案中一個(gè)具體的方案，所述基于所述第一系數(shù)，獲取與各個(gè)超像素塊一一對(duì)應(yīng)的手勢信息系數(shù)，包括：

30、基于所述第一時(shí)序手勢識(shí)別圖像，獲取多個(gè)第三超像素塊；所述第三超像素塊為所述第一時(shí)序手勢識(shí)別圖像中任意一個(gè)超像素塊；

31、將各個(gè)第三超像素塊按照第一系數(shù)由大到小進(jìn)行排列；

32、基于各個(gè)第三超像素塊，獲取平均方差和第四超像素塊；所述平均方差為各個(gè)第三超像素塊中像素值方差的平均值；所述第四超像素塊為排序靠前，并且對(duì)應(yīng)的像素值方差大于所述平均方差的任意一個(gè)第三超像素塊；

33、基于所述第四超像素塊，獲取第一像素均值和第一方差；所述第一像素均值為所述第四超像素塊中各個(gè)像素點(diǎn)中r通道像素值的平均值；所述第一方差為所述第四超像素塊中各個(gè)像素點(diǎn)中v通道像素值的方差；

34、基于所述第一像素均值和所述第一方差，獲取第二系數(shù)；

35、基于所述第二系數(shù)，獲取與各個(gè)超像素塊一一對(duì)應(yīng)的手勢信息系數(shù)。

36、作為本技術(shù)技術(shù)方案中一個(gè)具體的方案，所述基于所述第二系數(shù)，獲取與各個(gè)超像素塊一一對(duì)應(yīng)的手勢信息系數(shù)，包括：

37、基于邊緣算法由所述第四超像素塊，獲取多個(gè)紋理像素點(diǎn)；

38、基于各個(gè)紋理像素點(diǎn)，獲取多個(gè)第二方差；所述第二方差為各個(gè)紋理像素點(diǎn)坐標(biāo)的方差；

39、基于所述第二方差和所述第二系數(shù)，獲取第三系數(shù)；

40、基于所述第三系數(shù)，獲取與各個(gè)超像素塊一一對(duì)應(yīng)的手勢信息系數(shù)。

41、作為本技術(shù)技術(shù)方案中一個(gè)具體的方案，所述基于所述第二方差和所述第二系數(shù)，獲取第三系數(shù)的計(jì)算公式如下：

42、；

43、其中，表示第三系數(shù)；表示第一像素均值；表示第一方差；表示第二方差。

44、作為本技術(shù)技術(shù)方案中一個(gè)具體的方案，所述基于所述第三系數(shù)，獲取與各個(gè)超像素塊一一對(duì)應(yīng)的手勢信息系數(shù)，包括：

45、基于各個(gè)第三系數(shù)，獲取系數(shù)平均值；所述系數(shù)平均值為各個(gè)第三系數(shù)中最大值和最小值的平均值；

46、基于所述第一超像素塊，獲取固定系數(shù)；所述固定系數(shù)為與所述第一超像素塊對(duì)應(yīng)的第三系數(shù)；

47、基于所述系數(shù)平均值和固定系數(shù)，獲取與所述第一超像素塊對(duì)應(yīng)的手勢信息系數(shù)。

48、作為本技術(shù)技術(shù)方案中一個(gè)具體的方案，所述基于所述系數(shù)平均值和固定系數(shù)，獲取與所述第一超像素塊對(duì)應(yīng)的手勢信息系數(shù)的計(jì)算公式如下：

49、；

50、其中，表示與所述第一超像素塊對(duì)應(yīng)的手勢信息系數(shù)；表示系數(shù)平均值；表示所述第一超像素塊的固定系數(shù)；表示求絕對(duì)值；為大于0的正數(shù)。

51、作為本技術(shù)技術(shù)方案中一個(gè)具體的方案，所述基于所述手勢信息系數(shù)，由多個(gè)超像素塊，獲取多個(gè)連通域，包括：

52、基于各個(gè)超像素塊，獲取多個(gè)第五超像素塊；所述第五超像素塊為各個(gè)超像素塊中手勢信息系數(shù)由大到小進(jìn)行排序，序號(hào)位于前50%的超像素塊；

53、基于多個(gè)第五超像素塊，獲取多個(gè)連通域；

54、所述基于多個(gè)連通域，獲取第一連通域，包括：

55、基于各個(gè)連通域，獲取多個(gè)第二連通域；所述第二連通域?yàn)楦鱾€(gè)連通域中任意具有所述第四超像素塊的連通域；

56、基于多個(gè)第二連通域，獲取第三連通域和第四連通域；所述第三連通域?yàn)楦鱾€(gè)第二連通域中任意一個(gè)連通域；所述第四連通域?yàn)楦鱾€(gè)第二連通域中與所述第三連通域不同的任意連通域；

57、基于所述第三連通域和所述第四連通域，選取切線圍成范圍內(nèi)的超像素塊進(jìn)行組合，直至獲取所述第一連通域。

58、與現(xiàn)有技術(shù)相比，本技術(shù)的有益效果是：

59、本技術(shù)獲取多幀時(shí)序手勢識(shí)別圖像并對(duì)其進(jìn)行分塊后，利用幀差法結(jié)合手部運(yùn)動(dòng)的特征，分析關(guān)鍵手部區(qū)域（也即第四超像素塊），然后通過評(píng)估手心和手背的圖像特征，對(duì)其他超像素塊中包含的手心和手背特征進(jìn)行評(píng)估，并與第四超像素塊的圖像特征進(jìn)行對(duì)比，提取時(shí)序手勢識(shí)別圖像中的手部信息區(qū)域（也即第一連通域），并輸入識(shí)別模型，輸出點(diǎn)讀控制信息。與現(xiàn)有技術(shù)相比，分割過程降低了復(fù)雜光照和背景的干擾，避免了提前錄入手部特征，在不同采像條件下無法識(shí)別分割的情況發(fā)生，也即提升了在復(fù)雜背景下的識(shí)別精準(zhǔn)度，減少了手勢識(shí)別的時(shí)耗。