本發(fā)明涉及儀器管理,尤其涉及一種基于機(jī)器視覺(jué)和物聯(lián)網(wǎng)技術(shù)的大型儀器管理方法。
背景技術(shù):
1、目前,實(shí)驗(yàn)室內(nèi)目前擁有大量的大型儀器,這些儀器通常是昂貴且復(fù)雜的設(shè)備,具有多個(gè)模塊和組件,可用于進(jìn)行多種實(shí)驗(yàn)內(nèi)容。然而,實(shí)驗(yàn)室,特別是高校實(shí)驗(yàn)室,由于人員變動(dòng)頻繁,很多人無(wú)法正確使用大型儀器,導(dǎo)致很多儀器的組件損壞。由于大型儀器的復(fù)雜性和高價(jià)值,不正確的使用和維護(hù)可能導(dǎo)致儀器故障和損壞,這不僅浪費(fèi)了資源,還影響了實(shí)驗(yàn)室的工作進(jìn)展。這種情況下,實(shí)驗(yàn)室儀器管理嚴(yán)重滯后,存在以下問(wèn)題:
2、1、無(wú)法了解儀器的實(shí)際狀態(tài):采用傳統(tǒng)的管理方式,無(wú)法實(shí)現(xiàn)儀器數(shù)據(jù)的自動(dòng)獲取,對(duì)儀器實(shí)時(shí)的狀態(tài)無(wú)法進(jìn)行有效的管理,往往只能在人員日常檢查后,才能發(fā)現(xiàn)故障儀器,同時(shí)很難找到損壞的人員。
3、2、使用過(guò)程不全面:傳統(tǒng)的管理方式,往往只能解決儀器使用登記的管理,無(wú)法對(duì)實(shí)驗(yàn)人員是否按照登記實(shí)驗(yàn)的內(nèi)容進(jìn)行實(shí)驗(yàn),是否進(jìn)行了其他的實(shí)驗(yàn),是否在實(shí)驗(yàn)過(guò)程中有違規(guī)操作等進(jìn)行管理,存在明顯的管理漏洞。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中存在的缺點(diǎn),而提出的一種基于機(jī)器視覺(jué)和物聯(lián)網(wǎng)技術(shù)的大型儀器管理方法。
2、為實(shí)現(xiàn)上述目的,本發(fā)明采用了如下技術(shù)方案:
3、一種基于機(jī)器視覺(jué)和物聯(lián)網(wǎng)技術(shù)的大型儀器管理方法,包括儀器預(yù)約平臺(tái),采集設(shè)備、試驗(yàn)室內(nèi)的各大型儀器;
4、還包括以下步驟:
5、s1:采集儀器預(yù)約范圍數(shù)據(jù);
6、根據(jù)用戶在預(yù)約平臺(tái)的預(yù)約或登記獲取預(yù)約人員的姓名,預(yù)約的實(shí)驗(yàn),預(yù)約的儀器,預(yù)約時(shí)間段的信息;
7、s2:應(yīng)用采集設(shè)備采集儀器的指示燈數(shù)據(jù)和電流數(shù)據(jù);
8、在大型儀器的主板、電源的位置,安裝采集設(shè)備,對(duì)儀器自身的運(yùn)行數(shù)據(jù)進(jìn)行采集,獲取指示燈數(shù)據(jù)和電流數(shù)據(jù);
9、s3:對(duì)儀器工作狀態(tài)和工作方式進(jìn)行判斷;
10、根據(jù)固定頻率采集到電流數(shù)據(jù)和指示燈數(shù)據(jù)分析判斷,確認(rèn)儀器的工作狀態(tài)和工作方式;
11、s4:采集操作視頻數(shù)據(jù);
12、s5:對(duì)操作視頻數(shù)據(jù)是否超過(guò)預(yù)約范圍進(jìn)行判斷分析;
13、通過(guò)對(duì)采集的人員的動(dòng)作以及設(shè)備的動(dòng)作,輸入訓(xùn)練完成的識(shí)別模型,進(jìn)行算法識(shí)別判斷,確認(rèn)使用人員是否按照預(yù)約或者登記的情況正確使用了儀器;
14、s51:收集數(shù)據(jù)訓(xùn)練識(shí)別模型;
15、收集大型儀器正確操作的視頻以及常見(jiàn)錯(cuò)誤操作的視頻,將這些正確和錯(cuò)誤操作的視頻,分解成一幀幀的圖片,打上對(duì)應(yīng)的標(biāo)簽作為樣本,將樣本作為訓(xùn)練數(shù)據(jù)輸入機(jī)器學(xué)習(xí)算法訓(xùn)練對(duì)應(yīng)的識(shí)別模型;
16、s52:多維數(shù)據(jù)全過(guò)程分析;
17、根據(jù)電流數(shù)據(jù)、指示燈數(shù)據(jù)和操作視頻數(shù)據(jù)識(shí)別相結(jié)合判斷實(shí)驗(yàn)過(guò)程,生成試驗(yàn)記錄。
18、進(jìn)一步的,儀器預(yù)約平臺(tái)包括信息數(shù)據(jù)庫(kù),所述信息數(shù)據(jù)庫(kù)存儲(chǔ)人員信息、儀器信息、儀器檢測(cè)內(nèi)容信息;
19、所述人員信息包括姓名、聯(lián)系方式、圖像信息;
20、儀器信息包括儀器名稱、儀器型號(hào)以及儀器編碼,儀器編碼為儀器唯一的身份標(biāo)識(shí);
21、儀器檢測(cè)內(nèi)容信息涵蓋各儀器的所有工作方式、各工作方式運(yùn)行的電流大小信息。
22、進(jìn)一步的,步驟s2包括:
23、s21:收集儀器指示燈信號(hào):
24、在大型儀器的主板上指示燈的位置安裝光電感應(yīng)器,采集指示燈的顏色信號(hào);
25、s22:收集儀器運(yùn)行信號(hào):
26、在大型儀器的電源前端安裝智能插座或霍爾傳感器,采集儀器運(yùn)行的電流信息;
27、s23:數(shù)據(jù)處理:
28、將s21和s22采集到的信號(hào),集中傳輸?shù)街醒肟刂破鲉卧ㄟ^(guò)中央控制器單元對(duì)信號(hào)進(jìn)行處理,轉(zhuǎn)化成數(shù)字量信號(hào),獲得指示燈數(shù)據(jù)和電流數(shù)據(jù)。
29、進(jìn)一步的,步驟s3中,指示燈數(shù)據(jù)包括指示燈的顏色,包括綠色、黃色、紅色;其中綠色為正常工作狀態(tài),黃色為故障狀態(tài),紅色為有危險(xiǎn)狀態(tài);根據(jù)指示燈數(shù)據(jù)判斷儀器的工作狀態(tài),將工作狀態(tài)根據(jù)采集時(shí)間的先后順序存儲(chǔ)為工作狀態(tài)信息庫(kù);工作狀態(tài)信息庫(kù)內(nèi)包括儀器編碼、工作狀態(tài)以及時(shí)間;
30、獲取信息數(shù)據(jù)庫(kù)中對(duì)應(yīng)儀器的儀器檢測(cè)內(nèi)容信息,將獲得的電流數(shù)據(jù)與儀器的各工作方式運(yùn)行的電流數(shù)據(jù)相比較,比較電流大小,獲得當(dāng)前使用的儀器的工作方式,最后將工作方式根據(jù)采集時(shí)間的先后順序存儲(chǔ)為工作方式信息庫(kù);工作方式信息庫(kù)包括儀器編碼、工作方式以及時(shí)間。
31、進(jìn)一步的,在涉及到操作的步驟、實(shí)驗(yàn)室對(duì)象的處理、以及使用儀器不同的組件及配件的地方或者過(guò)程處安裝攝像頭,進(jìn)行攝像頭捕捉,采集包括人員的面部信息、人員的動(dòng)作、設(shè)備的動(dòng)作操作視頻數(shù)據(jù);
32、為每個(gè)攝像頭分配一個(gè)唯一的設(shè)備標(biāo)識(shí)符,在攝像頭配置中設(shè)置唯一的設(shè)備標(biāo)識(shí)符,采集的操作視頻數(shù)據(jù)中編碼該設(shè)備標(biāo)識(shí)符,建立設(shè)備標(biāo)識(shí)符與被采集的儀器編碼的對(duì)應(yīng)碼表。
33、進(jìn)一步的,步驟s52包括:
34、s521:獲得儀器預(yù)約范圍數(shù)據(jù);
35、實(shí)驗(yàn)前,從儀器預(yù)約平臺(tái)得到預(yù)約人員的姓名,預(yù)約的實(shí)驗(yàn),預(yù)約的儀器,預(yù)約時(shí)間段信息;預(yù)約的實(shí)驗(yàn)包括實(shí)驗(yàn)內(nèi)容以及需要用到哪些儀器檢測(cè)內(nèi)容;儀器檢測(cè)內(nèi)容即為儀器的工作方式;
36、s522:識(shí)別實(shí)驗(yàn)人員和預(yù)約人員是否為同一人;
37、采集預(yù)約時(shí)間段實(shí)驗(yàn)中的人員面部信息,采用視覺(jué)人臉級(jí)別技術(shù),將采集的人員面部信息與人員信息中的圖像信息進(jìn)行對(duì)比,識(shí)別操作人員的圖像信息,根據(jù)圖像信息獲取操作人員的姓名,根據(jù)操作人員的姓名與獲取的預(yù)約人員的姓名進(jìn)行比較是否為同一人;
38、s523:判斷操作的儀器和預(yù)約的儀器是否一致;
39、首先,根據(jù)預(yù)約時(shí)間段分別獲取工作狀態(tài)信息庫(kù)和工作方式信息庫(kù)中對(duì)應(yīng)時(shí)段的所有儀器的工作狀態(tài)和工作方式,獲取預(yù)約時(shí)間段內(nèi)所有運(yùn)行的儀器編碼;
40、接著,根據(jù)建立的對(duì)應(yīng)碼表,依據(jù)獲得的運(yùn)行的儀器編碼獲得對(duì)應(yīng)攝像頭的設(shè)備標(biāo)識(shí)符,獲得含有設(shè)備標(biāo)識(shí)符的操作視頻數(shù)據(jù),按照時(shí)間裁剪操作視頻數(shù)據(jù),獲得預(yù)約時(shí)間段內(nèi)操作視頻數(shù)據(jù);
41、然后,根據(jù)s522中識(shí)別出的操作人員的圖像信息,利用視覺(jué)人臉識(shí)別技術(shù),將視頻拆分成單幀圖片后進(jìn)行人臉識(shí)別,在每一幀中運(yùn)行人臉檢測(cè),識(shí)別出視頻中的人物,篩選出包含操作人員的視頻,并在視頻中標(biāo)記出包含該操作人員的時(shí)間區(qū)間,裁剪時(shí)間區(qū)間獲得有效視頻數(shù)據(jù);
42、緊接著,將有效視頻數(shù)據(jù)輸入訓(xùn)練好的識(shí)別模型,判斷預(yù)約人員實(shí)際操作的儀器;
43、最后,將實(shí)際操作的儀器與預(yù)約的儀器進(jìn)行對(duì)比,對(duì)儀器編碼進(jìn)行比較,判斷操作的儀器與預(yù)約的儀器是否一致,若不一致,則標(biāo)識(shí)超出預(yù)約范圍的儀器;根據(jù)實(shí)際操作的儀器,獲取工作方式信息庫(kù)中的工作方式,并與預(yù)約的實(shí)驗(yàn)中需要用到哪些儀器檢測(cè)內(nèi)容進(jìn)行對(duì)比,判斷是否相同,若相同則進(jìn)行下一步,若不同,則標(biāo)識(shí)超出預(yù)約范圍的儀器檢測(cè)內(nèi)容;
44、s524:識(shí)別判斷實(shí)驗(yàn)員在實(shí)驗(yàn)過(guò)程中的操作是否正確;
45、將有效視頻數(shù)據(jù)輸入訓(xùn)練好的識(shí)別模型,獲得識(shí)別模型輸出結(jié)果,根據(jù)識(shí)別結(jié)果獲得操作過(guò)程是否正確;若錯(cuò)誤操作則標(biāo)識(shí)操作錯(cuò)誤的儀器;
46、s525:實(shí)驗(yàn)后,判斷是否關(guān)閉儀器電源;
47、獲得實(shí)際操作的電流數(shù)據(jù),根據(jù)電流大小判斷是否關(guān)閉儀器電源;
48、s526:生成實(shí)驗(yàn)記錄;
49、內(nèi)置實(shí)驗(yàn)記錄模版,調(diào)用實(shí)驗(yàn)記錄模版,將判斷結(jié)果寫(xiě)入實(shí)驗(yàn)記錄模版中,生成實(shí)驗(yàn)記錄并進(jìn)行存儲(chǔ)。
50、進(jìn)一步的,實(shí)驗(yàn)記錄模版包括是否為預(yù)約人員區(qū)域、是否為預(yù)約儀器區(qū)域、是否為預(yù)約的實(shí)驗(yàn)區(qū)域、是否操作正確區(qū)域以及是否關(guān)閉電源區(qū)域;
51、根據(jù)s522的判斷結(jié)果在是否為預(yù)約人員區(qū)域內(nèi)寫(xiě)入是或否,根據(jù)s523的判定結(jié)果,在是否為預(yù)約儀器區(qū)域?qū)懭胧腔蚍?,若為否,將?biāo)識(shí)的超出預(yù)約范圍的儀器寫(xiě)入是否為預(yù)約儀器區(qū)域,記錄超出預(yù)約范圍的儀器的儀器編碼;
52、根據(jù)工作方式是否超出預(yù)約范圍的儀器檢測(cè)內(nèi)容的判定結(jié)果,在是否為預(yù)約的實(shí)驗(yàn)區(qū)域內(nèi)寫(xiě)入是或否,若為否,將標(biāo)識(shí)的超出預(yù)約范圍的儀器檢測(cè)內(nèi)容寫(xiě)入是否為預(yù)約的實(shí)驗(yàn)區(qū)域;
53、根據(jù)s524的判定結(jié)果,在是否操作正確區(qū)域?qū)懭胧腔蚍瘢瑢?biāo)識(shí)為操作錯(cuò)誤的儀器寫(xiě)入是否操作正確區(qū)域內(nèi);
54、根據(jù)s525的判定結(jié)果,在是否關(guān)閉電源區(qū)域內(nèi)寫(xiě)入是或否。
55、進(jìn)一步的,常見(jiàn)錯(cuò)誤操作的視頻包括不佩戴個(gè)人防護(hù)裝備、不進(jìn)行儀器預(yù)熱和校準(zhǔn)、不正確處理廢棄物、使用電子天平不關(guān)閉防風(fēng)罩直接用手觸摸樣品盤(pán)。
56、進(jìn)一步的,機(jī)器學(xué)習(xí)算法選擇循環(huán)神經(jīng)網(wǎng)絡(luò)。
57、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果為:(1)本發(fā)明的方法通過(guò)將大型儀器的管理和機(jī)器視覺(jué)技術(shù)、物聯(lián)網(wǎng)技術(shù)相結(jié)合,通過(guò)物聯(lián)網(wǎng)技術(shù)實(shí)現(xiàn)對(duì)大型儀器自身運(yùn)行的數(shù)據(jù)的管理,通過(guò)機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)對(duì)大型儀器操作過(guò)程中的過(guò)程進(jìn)行管理,從而提高實(shí)驗(yàn)室大型儀器的使用及管理安全性及管理效率。(2)本發(fā)明對(duì)實(shí)驗(yàn)的全過(guò)程分析,最終將所有判定的結(jié)果生成試驗(yàn)記錄,并進(jìn)行存儲(chǔ)。方便管理人員隨時(shí)掌握儀器的情況,提高追溯性,避免管理漏洞,方便追蹤操作者在實(shí)驗(yàn)過(guò)程中是否發(fā)生違規(guī)操作,并監(jiān)控儀器的工作狀態(tài),對(duì)實(shí)驗(yàn)全過(guò)程分析記錄,掌握儀器狀態(tài),便于尋責(zé)任人。(3)本發(fā)明在全過(guò)程分析過(guò)程中,對(duì)預(yù)約時(shí)間段內(nèi)采集的操作視頻數(shù)據(jù)處理篩選出有效數(shù)據(jù),減小后續(xù)模型識(shí)別的處理量,提高處理判定的速度處理,滿足公共實(shí)驗(yàn)室的市場(chǎng)需求,并且能夠提高識(shí)別的準(zhǔn)確性,避免識(shí)別模型誤識(shí)別。由于識(shí)別模型只能識(shí)別操作動(dòng)作,無(wú)法區(qū)分特定操作員的操作,無(wú)法判定是否超出預(yù)約范圍,本發(fā)明通過(guò)篩選有效視頻數(shù)據(jù),準(zhǔn)確判定是否超出預(yù)約范圍,有效獲取信息,通過(guò)視覺(jué)人臉識(shí)別技術(shù)簡(jiǎn)化了追蹤算法的需求,大大減少了模型訓(xùn)練樣本的需求量。