一種多線接力包裹分揀物聯(lián)網(wǎng)視覺(jué)檢測(cè)方法及系統(tǒng)裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像檢測(cè)領(lǐng)域，特別涉及一種多線接力包裹分揀物聯(lián)網(wǎng)視覺(jué)檢測(cè)方法 及系統(tǒng)裝置。
【背景技術(shù)】
[0002] 物流業(yè)是我國(guó)經(jīng)濟(jì)發(fā)展的不可缺少的重要組成部分，近年來(lái)隨著物流業(yè)被列入我 國(guó)十大行業(yè)振興計(jì)劃，我國(guó)物流業(yè)實(shí)現(xiàn)了持續(xù)高速發(fā)展。隨著物流業(yè)的發(fā)展，物流自動(dòng)化技 術(shù)變得非常關(guān)鍵。包裹分揀系統(tǒng)是物流系統(tǒng)的重要組成部分，在包裹分揀系統(tǒng)中包裹被放 置在流水線上進(jìn)行傳輸，包裹需要被編碼錄入物流信息系統(tǒng)，包裹在流水線上的位置需要 被監(jiān)控以保證包裹在要求的位置被分揀出，物流流水線長(zhǎng)度長(zhǎng)，在運(yùn)行時(shí)流水線上的包裹 多，通過(guò)人為觀察、編碼不僅容易產(chǎn)生錯(cuò)誤，亦會(huì)增加企業(yè)的運(yùn)營(yíng)成本。在現(xiàn)代物流系統(tǒng)中 機(jī)器視覺(jué)技術(shù)被引入到包裹流水線檢測(cè)中，通過(guò)在流水線中設(shè)置成像通道，使用相機(jī)拍攝 圖像分析包裹信息，并且對(duì)包裹進(jìn)行編號(hào)。該方法能夠?qū)崿F(xiàn)對(duì)于包裹信息的檢測(cè)，但無(wú)法實(shí) 時(shí)檢測(cè)包裹在流水線上的位置變化，流水線上需要設(shè)置的成像通道數(shù)量多，無(wú)法實(shí)現(xiàn)一個(gè) 成像通道對(duì)多流水線的同時(shí)檢測(cè)，且系統(tǒng)復(fù)雜，生產(chǎn)成本高。

【發(fā)明內(nèi)容】

[0003] 為了克服上述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種多線接力包裹分揀物 聯(lián)網(wǎng)視覺(jué)檢測(cè)方法及系統(tǒng)裝置，可實(shí)現(xiàn)對(duì)包裹分揀系統(tǒng)的多條流水線上包裹的識(shí)別、編碼、 跟蹤定位。
[0004] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：
[0005] 一種多線接力包裹分揀物聯(lián)網(wǎng)視覺(jué)檢測(cè)系統(tǒng)裝置，各分揀流水線平行設(shè)置，包 括：
[0006] 等間距排成單列的若干物聯(lián)網(wǎng)視覺(jué)感知裝置，其列與分揀流水線平行且位于各分 揀流水線的中心線上方，每個(gè)物聯(lián)網(wǎng)視覺(jué)感知裝置的圖像采集端均朝向分揀流水線的包裹 送出方向，沿分揀流水線的長(zhǎng)度方向?qū)⒎謷魉€劃分為多個(gè)監(jiān)控段，每個(gè)物聯(lián)網(wǎng)視覺(jué)感 知裝置采集一個(gè)監(jiān)控段中包含的多條分揀流水線的一段；
[0007] 與所述物聯(lián)網(wǎng)視覺(jué)感知裝置連接的監(jiān)控計(jì)算機(jī)，將各個(gè)物聯(lián)網(wǎng)視覺(jué)感知裝置采集 的圖像中的分揀流水線的一段根據(jù)距離相應(yīng)物聯(lián)網(wǎng)視覺(jué)感知裝置由近及遠(yuǎn)分割為包裹檢 測(cè)區(qū)、包裹跟蹤區(qū)和終點(diǎn)區(qū)，識(shí)別并定位各監(jiān)控段的包裹，然后將各物聯(lián)網(wǎng)視覺(jué)感知裝置獲 取的圖像信息進(jìn)行接力跟蹤，從而得到每條流水線上的包裹信息及定位坐標(biāo)。
[0008] 所述物聯(lián)網(wǎng)視覺(jué)感知裝置可以為相機(jī)。
[0009] 本發(fā)明還提供了一種多線接力包裹分揀物聯(lián)網(wǎng)視覺(jué)檢測(cè)方法，各分揀流水線平行 設(shè)置，包括如下步驟：
[0010] 在分揀流水線上方設(shè)置等間距排成單列的若干物聯(lián)網(wǎng)視覺(jué)感知裝置，其列與分揀 流水線平行且位于各分揀流水線的中心線上方，每個(gè)物聯(lián)網(wǎng)視覺(jué)感知裝置的圖像采集端均 朝向分揀流水線的包裹送出方向，沿分揀流水線的長(zhǎng)度方向?qū)⒎謷魉€劃分為多個(gè)監(jiān)控 段，每個(gè)物聯(lián)網(wǎng)視覺(jué)感知裝置采集一個(gè)監(jiān)控段中包含的多條分揀流水線的一段；
[0011] 將各個(gè)物聯(lián)網(wǎng)視覺(jué)感知裝置采集的圖像中的分揀流水線的一段根據(jù)距離相應(yīng)物 聯(lián)網(wǎng)視覺(jué)感知裝置由近及遠(yuǎn)分割為包裹檢測(cè)區(qū)、包裹跟蹤區(qū)和終點(diǎn)區(qū)；
[0012] 通過(guò)各監(jiān)控段的包裹識(shí)別、編碼、跟蹤、定位、跟蹤丟失處理以及物聯(lián)網(wǎng)視覺(jué)感知 裝置間的接力跟蹤算法得到多條流水線上所有包裹的形狀信息、編碼、定位坐標(biāo)，并通過(guò)以 太網(wǎng)將包裹數(shù)據(jù)發(fā)送往客戶端計(jì)算機(jī)。
[0013] 所述包裹檢測(cè)區(qū)、包裹跟蹤區(qū)和終點(diǎn)區(qū)在監(jiān)控圖像中的形狀均為梯形，每幀圖像 的圖像處理過(guò)程均在這三個(gè)區(qū)域內(nèi)進(jìn)行。
[0014] 所述包裹識(shí)別算法為：
[0015] 在對(duì)灰度圖進(jìn)行平滑濾波消除噪聲后，使用閾值分割等對(duì)圖像進(jìn)行二值化處理， 搜索二值化圖像中包裹檢測(cè)區(qū)內(nèi)的團(tuán)塊并統(tǒng)計(jì)其像素?cái)?shù)目，判斷該團(tuán)塊所包含的像素?cái)?shù)目 是否達(dá)到閾值并判斷該團(tuán)塊是否與圖像邊界相連接，若該團(tuán)塊像素?cái)?shù)目達(dá)到閾值且不與圖 像邊界相連則識(shí)別該團(tuán)塊為包裹。
[0016] 所述包裹編碼算法為：
[0017] 當(dāng)包裹檢測(cè)區(qū)內(nèi)有團(tuán)塊被識(shí)別為包裹后，檢測(cè)該包裹是否為已編碼包裹，若未編 碼，則對(duì)包裹進(jìn)行編碼，然后使用像素統(tǒng)計(jì)方法得到該包裹的形狀信息并存儲(chǔ)。
[0018] 具體地，由于傳送帶的速度固定，根據(jù)傳送帶速度能夠估算出已編碼包裹在下一 幀圖像中出現(xiàn)的可能區(qū)域，即包裹的預(yù)計(jì)到達(dá)區(qū)域。檢測(cè)每個(gè)被識(shí)別包裹是否出現(xiàn)在上一 幀圖像中已編碼的包裹的預(yù)計(jì)到達(dá)區(qū)域內(nèi)，通過(guò)像素統(tǒng)計(jì)的方法得到包裹的像素?cái)?shù)量并計(jì) 算本幀圖像中包裹的像素?cái)?shù)量與上一幀圖像中包裹的像素?cái)?shù)量的比值，若該比值大于形變 率閾值則該包裹為已編碼包裹，否則為未編碼包裹。
[0019] 所述包裹跟蹤算法為：
[0020] 由分揀流水線的運(yùn)轉(zhuǎn)速度估算每個(gè)包裹在下一幀圖像中的預(yù)計(jì)到達(dá)區(qū)域，在下一 幀圖像中的包裹預(yù)計(jì)到達(dá)區(qū)域中搜索包裹，若找到包裹則對(duì)包裹的像素點(diǎn)數(shù)進(jìn)行統(tǒng)計(jì)，若 兩幀圖像中包裹的像素點(diǎn)數(shù)之比在形變率閾值范圍內(nèi)則認(rèn)定該包裹為上一幀的包裹，實(shí)現(xiàn) 了對(duì)于包裹的跟蹤。
[0021] 即：首先檢測(cè)本幀圖像中跟蹤區(qū)內(nèi)的包裹是否出現(xiàn)在上一幀圖像的包裹的預(yù)計(jì)到 達(dá)區(qū)域內(nèi)，通過(guò)像素統(tǒng)計(jì)的方法得到包裹的像素?cái)?shù)量并計(jì)算本幀圖像中包裹的像素?cái)?shù)量與 上一幀圖像中包裹的像素?cái)?shù)量之間的比值，若比例大于形變率閾值則認(rèn)定該包裹為上一幀 圖像中的包裹，即實(shí)現(xiàn)了對(duì)于包裹的跟蹤。
[0022] 通過(guò)簡(jiǎn)化的成像模型計(jì)算包裹的前邊緣與相機(jī)之間的真實(shí)距離，根據(jù)包裹形狀信 息得到其中心位置距離其前邊緣的真實(shí)距離，將兩段距離相加得到包裹的中心位置的縱向 坐標(biāo)，由于包裹在傳送帶上的運(yùn)動(dòng)過(guò)程中，基本無(wú)橫向位移，故使用對(duì)包裹進(jìn)行編碼時(shí)存儲(chǔ) 的包裹橫向坐標(biāo)。
[0023] 包裹在流水線上進(jìn)行傳送時(shí)由于工作人員的手動(dòng)干預(yù)會(huì)導(dǎo)致包裹的跟蹤丟失，本 發(fā)明對(duì)于該問(wèn)題的處理方法為統(tǒng)計(jì)每一幀圖像中的包裹總數(shù)，檢測(cè)圖像中是否有未能在上 一幀圖像中的包裹預(yù)計(jì)運(yùn)動(dòng)范圍內(nèi)搜索到的包裹，若有則在本幀圖像中擴(kuò)大該包裹的搜索 范圍，檢測(cè)是否找到該包裹，若未找到則記錄該包裹的丟失位置、編碼、形狀信息，在之后連 續(xù)五幀圖像中在該包裹可能移動(dòng)到的范圍內(nèi)進(jìn)行搜索，若在連續(xù)五幀圖像中均未找到該包 裹將該包裹標(biāo)記為丟失并將丟失包裹的信息錄入系統(tǒng)。
[0024] 所述包裹定位算法為：
[0025] 通過(guò)成像模型計(jì)算包裹前邊緣距離相應(yīng)物聯(lián)網(wǎng)視覺(jué)感知裝置的距離，根據(jù)包裹編 碼得到存儲(chǔ)的包裹中心位置距離其前邊緣的距離，將兩段距離相加得到包裹的中心位置的 縱向坐標(biāo)，根據(jù)已存儲(chǔ)的包裹形狀信息得到包裹的橫向坐標(biāo)，更新包裹位置坐標(biāo)。
[0026] 若包裹未編碼，在系統(tǒng)中錄入包裹編碼，使用像素統(tǒng)計(jì)的方法得到包裹的像素點(diǎn) 數(shù)，將像素點(diǎn)數(shù)作為包裹的形狀信息存入包裹信息系統(tǒng)。使用像素統(tǒng)計(jì)的方法得到包裹的 中心位置距離包裹前邊緣的行數(shù)，根據(jù)成像模型將該段距離換算為實(shí)際長(zhǎng)度并將該長(zhǎng)度作 為包裹的形狀信息存入包裹信息系統(tǒng)。通過(guò)像素統(tǒng)計(jì)的方法得到包裹前邊緣距圖像底邊的 行數(shù)，通過(guò)簡(jiǎn)單成像模型換算為物聯(lián)網(wǎng)視覺(jué)感知裝置與包裹前邊緣的實(shí)際距離。將兩段距 離相加得到包裹縱向坐標(biāo)，使用像素統(tǒng)計(jì)方法和簡(jiǎn)單成像模型得到包裹中心距離流水線左 邊緣的距離，將該距離作為包裹的橫向坐標(biāo)并將該坐標(biāo)存入包裹信息系統(tǒng)。若包裹已編碼 則更新包裹坐標(biāo)，坐標(biāo)計(jì)算方法與未編碼包裹坐標(biāo)計(jì)算方法相同。
[0027] 所述包裹跟蹤丟失處理算法為：
[0028] 檢測(cè)圖像中是否有未在預(yù)計(jì)運(yùn)動(dòng)范圍內(nèi)搜索到的包裹，若有，則擴(kuò)大該包裹的搜 索范圍，檢測(cè)是否找到該包裹，若未找到則記錄丟失包裹編碼，在之后連續(xù)五幀圖像中在該 包裹的預(yù)計(jì)運(yùn)動(dòng)范圍內(nèi)進(jìn)行搜索，若均未找到，將該包裹標(biāo)記為丟失郵包。
[0029] 所述物聯(lián)網(wǎng)視覺(jué)感知裝置的接力跟蹤算法為：
[0030] 當(dāng)包裹進(jìn)入本監(jiān)控段的終點(diǎn)區(qū)后，開(kāi)啟定時(shí)器并設(shè)置閾值時(shí)間，即預(yù)計(jì)包裹到達(dá) 下一個(gè)監(jiān)控段的時(shí)間，在閾值時(shí)間后檢測(cè)下一個(gè)監(jiān)控段是否有包裹進(jìn)入；若有，則檢測(cè)包裹 的形狀信息是否與上一監(jiān)控段的包裹形狀信息相同，若相同，則將上一段的包裹編碼賦給 該包裹，完成兩個(gè)監(jiān)控段之間的接力跟蹤。
[0031] 即：在進(jìn)入每個(gè)監(jiān)控段的終點(diǎn)區(qū)后包裹會(huì)在一定時(shí)間內(nèi)進(jìn)入下一個(gè)監(jiān)控段，在包 裹進(jìn)入終點(diǎn)區(qū)后為該包裹設(shè)置定時(shí)器并開(kāi)啟，設(shè)置閾值時(shí)間，即包裹到達(dá)下一個(gè)監(jiān)控段的 預(yù)計(jì)時(shí)間，在閾值時(shí)間后檢測(cè)下一個(gè)監(jiān)控段內(nèi)是否有包裹進(jìn)入，若有則檢測(cè)包裹的像素點(diǎn) 數(shù)與上一監(jiān)控段對(duì)包裹編碼時(shí)存儲(chǔ)的包裹像素點(diǎn)數(shù)是否相同，若相同則將之前的包裹編碼 賦給該包裹完成兩個(gè)監(jiān)控段之間的接力跟蹤，在終點(diǎn)區(qū)內(nèi)的包裹若未完全進(jìn)入下一個(gè)監(jiān)控 段則使用前一個(gè)監(jiān)控段的圖像進(jìn)行坐標(biāo)計(jì)算，若進(jìn)入后一個(gè)監(jiān)控段則使用后一個(gè)監(jiān)控段的 圖像進(jìn)行坐標(biāo)計(jì)算，后一個(gè)監(jiān)控段的縱向坐標(biāo)應(yīng)加上之前監(jiān)控段的總長(zhǎng)度以換算為距離流 水線起點(diǎn)的距離，由于每個(gè)監(jiān)控段包含多條流水線，對(duì)每條流水線用上述方法進(jìn)行處理即 可實(shí)現(xiàn)對(duì)多條流水線的接力跟蹤。
[0032] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：
[0033] 本發(fā)明提出的多線跟蹤算法可以實(shí)現(xiàn)一臺(tái)視覺(jué)感知裝置（例如相機(jī)）對(duì)于其視場(chǎng) 范圍內(nèi)的多條生產(chǎn)線上的所有包裹的檢測(cè)、編碼、跟蹤，目前沒(méi)有相關(guān)技術(shù)被應(yīng)用于包裹分 揀系統(tǒng)。
[0034] 本發(fā)明提出的接力跟蹤算法能夠通過(guò)多臺(tái)視覺(jué)感