本發(fā)明涉及一種裝配式建筑智能吊裝方法，具體涉及一種基于機器視覺的裝配式建筑智能吊裝方法與系統(tǒng)。屬于智能建筑技術領域。

背景技術：

節(jié)能減排是推進經(jīng)濟結構調(diào)整、轉(zhuǎn)變發(fā)展方式、實現(xiàn)經(jīng)濟和社會可持續(xù)發(fā)展的必然要求。裝配式建筑是發(fā)展節(jié)能減排，降低能源消耗，促進我國經(jīng)濟可持續(xù)發(fā)展的一種新方式。裝配式建筑是用預制件在工地裝配而成的建筑，由于預制件是根據(jù)市場和用戶需求提前制作出來，所以具有建筑速度快、成本小、受氣候天氣影響較小、節(jié)約勞動力、降低施工現(xiàn)場的工作量和復雜度并且可以提高建筑質(zhì)量等一系列優(yōu)點。目前裝配式建筑在我國建筑工程建設中被越來越多的采用。

目前，裝配式建筑的吊裝還主要是以人工吊裝的方式為主，而人工吊裝有著一系列的問題，勞動強度大、效率低、工期長、吊裝準確性不佳等問題嚴重拖慢了裝配式建筑的吊裝效率。裝配式建筑的人工吊裝主要基于人工視覺來判斷裝配式建筑預制件的吊裝路徑，而隨著機器視覺的發(fā)展，用機器視覺的方法把人解放出來，自動實現(xiàn)障礙物識別及吊裝路徑規(guī)劃，有助于裝配式建筑吊裝智能化，改善人工吊裝的缺點。但現(xiàn)有裝配式建筑吊裝技術并未考慮這一問題，且在機器視覺基礎上，如何在復雜的裝配場景中進行障礙物識別及吊裝路徑規(guī)劃也需要給出合理的解決方案。

技術實現(xiàn)要素：

本發(fā)明的目的是為克服上述現(xiàn)有技術的不足，提供一種基于機器視覺的裝配式建筑智能吊裝方法。

本發(fā)明還提供了上述吊裝方法對應的基于機器視覺的裝配式建筑智能吊裝系統(tǒng)。

為實現(xiàn)上述目的，本發(fā)明采用下述技術方案：

基于機器視覺的裝配式建筑智能吊裝方法，包括步驟：

(1)圖像采集模塊通過安裝在裝配式建筑吊裝施工現(xiàn)場的攝像頭采集圖像，構建施工現(xiàn)場的機器視覺數(shù)據(jù)庫，并通過第一通信模塊傳輸給圖像處理和決策模塊；

(2)圖像處理和決策模塊進行圖像分析，找出裝配式建筑的預制件最佳吊裝路徑，并通過第二通信模塊發(fā)送給設備控制模塊；

(3)設備控制模塊計算出具體吊裝所需數(shù)據(jù)，進而利用塔吊控制模塊實現(xiàn)預制件吊裝；

(4)在吊裝過程中，攝像頭控制模塊控制攝像頭獲取實時圖像，并經(jīng)圖像處理和決策模塊判斷預制件是否符合步驟(2)設定的預制件最佳吊裝路徑，倘若出現(xiàn)偏差，則通過塔吊控制模塊進行修正，倘若沒有，則完成預制件吊裝，返回步驟(1)，進入下一預制件吊裝，直至完成所有預制件的總體吊裝。

作為優(yōu)選技術方案之一，針對會對預制件吊裝路徑造成影響的設備、裝配式建筑的外墻以及預制件的外表面，提前進行圖像采集，進而與步驟(1)中采集到的圖像一并構建施工現(xiàn)場的機器視覺數(shù)據(jù)庫。

作為優(yōu)選技術方案之一，步驟(2)的具體方法是：圖像處理和決策模塊利用卷積神經(jīng)網(wǎng)(cnn)和二型模糊神經(jīng)網(wǎng)絡(t2fnn)構成的深度學習模型對圖像采集模塊采集到的裝配式建筑吊裝施工現(xiàn)場的實時圖像進行分析，找出影響裝配式建筑吊裝的障礙物，通過柵格表確定障礙物位置；并通過蟻群算法找出裝配式建筑的預制件最佳吊裝路徑；最后，通過第二通信模塊將裝配式建筑預制件最佳吊裝路徑發(fā)送給設備控制模塊。具體包括步驟：

(21)將裝配式建筑吊裝施工現(xiàn)場的實時圖像的橫向與縱向等分，將其劃分為二維圖像矩陣塊；

(22)通過基于cnn+t2fnn的深度學習模型，確定障礙物在施工現(xiàn)場的各圖像矩陣塊中是否存在，若存在則用二維柵格表示出該障礙物的二維位置，進而構建出整個施工現(xiàn)場的二維柵格表；

(23)通過分析不同角度攝像頭傳來的施工現(xiàn)場的實時圖像進而構建不同的二維柵格表，將不同角度的二維柵格表轉(zhuǎn)化成一個標有障礙物的三維柵格表；

(24)根據(jù)三維柵格表，得出裝配式建筑吊裝施工現(xiàn)場障礙物的數(shù)量、大小以及具體位置，進而用蟻群算法計算預制件最佳吊裝路徑，該最佳吊裝路徑需使得預制件吊裝時間最短、預制件避開所有現(xiàn)場障礙物。

作為進一步優(yōu)選技術方案之一，cnn部分包括六層，具體如下：第一層為輸入層，輸入為灰度化后的場景圖像；第二層與第四層同為卷積層，對上層輸出進行卷積操作；第三層與第五層同為采樣層，對上層輸出進行采樣操作；最后一層為光柵化層，將上層輸出特征排成一列，分別與下一部分相連，該層共有n個特征，n為大于2的整數(shù)。

作為進一步優(yōu)選技術方案之一，t2fnn部分包括三層，具體如下：

第一層為模糊化層，將cnn部分中光柵化層的每一個輸出特征進行模糊化，將其映射為二型模糊集；

第二層為規(guī)則層，第j條規(guī)則r^j的具體規(guī)則形式如下

r^j：若x1為x2為為則y為

其中，xi為光柵化層的第i個輸出特征，其中i＝1,2,…,n，n為特征個數(shù)；為第i個輸出特征對應的第j個二型模糊集，其中j＝1,2,…,m，m為規(guī)則個數(shù)，為規(guī)則r^j的輸出區(qū)間權重；

第三層為降型輸出層，該層輸出y(x)＝ξ(x,θ)^tw，其中ξ(x,θ)為激活強度標準化后的強度向量，θ為所有二型模糊集的中心及寬度的參數(shù)向量，為區(qū)間權重構成的向量。

基于cnn+t2fnn的深度學習模型的訓練過程如下：

從機器視覺數(shù)據(jù)庫中任取一場景圖像樣本(vk,yk)，其中，vk為原始圖像，yk為障礙物標簽，對該樣本進行灰度化操作，使樣本由rgb圖像轉(zhuǎn)化為灰度圖像，灰度化后的圖像表示為(vk′,yk)，通過(vk′,yk)對深度學習模型進行訓練。該模型的訓練分為兩部分進行，其中一部分為cnn的訓練，另一部分為t2fnn的訓練。

cnn部分的參數(shù)訓練方法如下：

①對該部分所有的連接權重進行初始化，一般采用的方法為在較小的區(qū)間內(nèi)隨機生成；

②將vk′作為輸入，根據(jù)隨機生成的初始權重，得到網(wǎng)絡的實際輸出標簽ok；

③計算網(wǎng)絡的實際輸出標簽ok與期望輸出標簽yk的差值，即輸出誤差；

④通過最小化誤差的反向傳播方法調(diào)節(jié)cnn部分的連接權重參數(shù)矩陣；

⑤遍歷機器視覺庫中的所有場景圖片樣本，訓練結束；

t2fnn部分的參數(shù)訓練方法如下：

①計算機器視覺數(shù)據(jù)庫中所有樣本的誤差平方和e(w)：

其中，l為訓練樣本數(shù)目，φ＝[ξ(x1,θ),ξ(x2,θ),…,ξ(xl,θ)]^t，xl＝[xl1,xl2,…,xln]^t為第l個樣本的特征向量，y＝[y1,y2,…,yl]^t且yl為第l個樣本的輸出標簽；

②采用最小二乘算法對e(w)進行求解，得到t2fnn的最佳參數(shù)向量

w＝φ⁺y

其中，φ⁺為矩陣φ的廣義逆。

作為進一步優(yōu)選技術方案之一，通過蟻群算法找出裝配式建筑的預制件最佳吊裝路徑的具體方法如下：

①參數(shù)初始化：螞蟻生成時間間隔t、迭代次數(shù)nc＝0、最大迭代次數(shù)ncmax、預制件放置節(jié)點(a0,b0,c0)以及吊裝目的地節(jié)點(a,b,c)，即在三維柵格表中通過螞蟻尋找到從(a0,b0,c0)到(a,b,c)的最佳路徑；

②在(a0,b0,c0)節(jié)點上等時間間隔t生成螞蟻，螞蟻根據(jù)狀態(tài)轉(zhuǎn)移概率選擇下一節(jié)點，并將走過的節(jié)點加入禁忌表中，其中螞蟻在轉(zhuǎn)移過程中會在路徑上留有信息素，狀態(tài)轉(zhuǎn)移概率隨信息素濃度而改變；

③當螞蟻到達目的地節(jié)點(a,b,c)時，按原路返回；當螞蟻返回節(jié)點(a0,b0,c0)時，更新信息素濃度，并令nc＝nc+1；

④若nc＞ncmax，則迭代結束，輸出最佳路徑；否則，返回②。

作為優(yōu)選技術方案之一，步驟(3)的具體方法是：

(31)設備控制模塊利用接收到的裝配式建筑預制件最佳吊裝路徑，計算出設備控制模塊所需數(shù)據(jù)；

(32)塔吊控制模塊將預制件起吊，嚴格按照步驟(31)所得具體數(shù)據(jù)，進行所述預制件的吊裝工作。

步驟(31)中的數(shù)據(jù)包括：啟停時間、啟停位置、預制件吊起高度、攝像頭需要轉(zhuǎn)動的角度以及監(jiān)控吊裝路徑的拍攝位置。

作為優(yōu)選技術方案之一，步驟(4)的具體方法是：吊裝過程中，根據(jù)步驟(3)所得數(shù)據(jù)，攝像頭控制模塊控制攝像頭獲取實時施工現(xiàn)場所述預制件的吊裝過程的圖像，圖像處理與決策模塊判斷該預制件是否符合步驟(2)設定的預制件最佳吊裝路徑，倘若出現(xiàn)偏差，則通過塔吊控制模塊進行修正，倘若沒有，則完成預制件吊裝，返回步驟(1)，進入下一預制件吊裝，直至完成所有預制件的總體吊裝。

上述吊裝方法對應的基于機器視覺的裝配式建筑智能吊裝系統(tǒng)，包括圖像采集模塊、圖像處理和決策模塊以及設備控制模塊，其中，圖像處理和決策模塊與圖像采集模塊通信，設備控制模塊與圖像處理和決策模塊通信。

所述設備控制模塊包括塔吊控制模塊和攝像頭控制模塊。

所述攝像頭為360°高清攝像頭。

在攝像頭的周圍布置可隨攝像頭轉(zhuǎn)動而360°旋轉(zhuǎn)的探照燈，以便攝像頭在光線不佳的情況下更好的采集裝配式建筑施工現(xiàn)場的圖像信息，防止因光線不佳的因素導致后期圖像分析誤差過大。

所述吊裝系統(tǒng)還包括第一通信模塊和第二通信模塊，分別用于圖像處理和決策模塊與圖像采集模塊通信，設備控制模塊與圖像處理和決策模塊通信。

所述第一通信模塊和第二通信模塊分別包括一對無線發(fā)射子模塊和無線接收子模塊。

本發(fā)明的有益效果：

本發(fā)明采用機器視覺代替了在裝配式建筑吊裝過程中對人類視覺的依賴。利用機器視覺，通過cnn+t2fnn深度學習模型在復雜的裝配場景中進行障礙物識別，利用蟻群算法進行預制件吊裝路徑規(guī)劃，進而根據(jù)決策結果來控制現(xiàn)場的設備動作。本發(fā)明利用攝像頭代替人眼從復雜的場景中分析得到最佳的方案，能更好地規(guī)劃預制件吊裝的路徑，大大提高了裝配式建筑的吊裝效率和準確性，實現(xiàn)裝配式建筑吊裝智能化，改善人工吊裝的缺點。具體如下：

1)用攝像頭代替人眼，靠攝像頭采集裝配式建筑吊裝施工現(xiàn)場的圖像，實現(xiàn)裝配式建筑的吊裝智能化，節(jié)省了人力，避免了人工吊裝的缺點，縮短吊裝時間。

2)在吊裝過程中，采用基于卷積神經(jīng)網(wǎng)絡+二型模糊神經(jīng)網(wǎng)絡的深度學習模型實現(xiàn)基于機器視覺的障礙物識別，充分發(fā)揮了卷積神經(jīng)網(wǎng)絡的強大學習功能及二型模糊神經(jīng)網(wǎng)絡的復雜環(huán)境建模能力，有助于提高識別效果，確保吊裝過程的安全性。

3)給出了基于蟻群算法的最佳吊裝路徑規(guī)劃方法，所得到的最佳吊裝路徑確保了預制件吊裝時間最短且吊裝過程中避開所有現(xiàn)場障礙物，有助于提高裝配式建筑的吊裝效率、準確性，降低吊裝難度。

附圖說明

圖1是本發(fā)明的流程圖；

圖2是基于cnn+t2fnn的深度學習模型。

具體實施方式

下面結合附圖和實施例對本發(fā)明進行進一步的闡述，應該說明的是，下述說明僅是為了解釋本發(fā)明，并不對其內(nèi)容進行限定。

如圖1所示，基于機器視覺的裝配式建筑智能吊裝方法，包括步驟：

(1)圖像采集模塊通過安裝在裝配式建筑吊裝施工現(xiàn)場的攝像頭采集圖像，構建施工現(xiàn)場的機器視覺數(shù)據(jù)庫，并通過第一通信模塊傳輸給圖像處理和決策模塊。

針對會對預制件吊裝路徑造成影響的設備、裝配式建筑的外墻以及預制件的外表面，提前進行圖像采集，進而與步驟(1)中采集到的圖像一并構建施工現(xiàn)場的機器視覺數(shù)據(jù)庫。

(2)圖像處理和決策模塊進行圖像分析，找出裝配式建筑的預制件最佳吊裝路徑，并通過第二通信模塊發(fā)送給設備控制模塊。

具體方法是：圖像處理和決策模塊利用卷積神經(jīng)網(wǎng)(cnn)和二型模糊神經(jīng)網(wǎng)絡(t2fnn)構成的深度學習模型(圖2)對圖像采集模塊采集到的裝配式建筑吊裝施工現(xiàn)場的實時圖像進行分析，找出影響裝配式建筑吊裝的障礙物，通過柵格表確定障礙物位置；并通過蟻群算法找出裝配式建筑的預制件最佳吊裝路徑；最后，通過第二通信模塊將裝配式建筑預制件最佳吊裝路徑發(fā)送給設備控制模塊。具體包括步驟：

(21)將裝配式建筑吊裝施工現(xiàn)場的實時圖像的橫向與縱向等分，將其劃分為二維圖像矩陣塊；

(22)通過基于cnn+t2fnn的深度學習模型，確定障礙物在施工現(xiàn)場的各圖像矩陣塊中是否存在，若存在則用二維柵格表示出該障礙物的二維位置，進而構建出整個施工現(xiàn)場的二維柵格表；

(23)通過分析不同角度攝像頭傳來的施工現(xiàn)場的實時圖像進而構建不同的二維柵格表，將不同角度的二維柵格表轉(zhuǎn)化成一個標有障礙物的三維柵格表；

(24)根據(jù)三維柵格表，得出裝配式建筑吊裝施工現(xiàn)場障礙物的數(shù)量、大小以及具體位置，進而用蟻群算法計算預制件最佳吊裝路徑，該最佳吊裝路徑需使得預制件吊裝時間最短、預制件避開所有現(xiàn)場障礙物。

其中，cnn部分包括六層，具體如下：第一層為輸入層，輸入為灰度化后的場景圖像；第二層與第四層同為卷積層，對上層輸出進行卷積操作；第三層與第五層同為采樣層，對上層輸出進行采樣操作；最后一層為光柵化層，將上層輸出特征排成一列，分別與下一部分相連，該層共有n個特征。

t2fnn部分包括三層，具體如下：

第一層為模糊化層，將cnn部分中光柵化層的每一個輸出特征進行模糊化，將其映射為二型模糊集；

第二層為規(guī)則層，第j條規(guī)則r^j的具體規(guī)則形式如下

r^j：若x1為x2為為則y為

其中，xi為光柵化層的第i個輸出特征，其中i＝1,2,…,n，n為特征個數(shù)；為第i個輸出特征對應的第j個二型模糊集，其中j＝1,2,…,m，m為規(guī)則個數(shù)，為規(guī)則r^j的輸出區(qū)間權重；

第三層為降型輸出層，該層輸出y(x)＝ξ(x,θ)^tw，其中ξ(x,θ)為激活強度標準化后的強度向量，θ為所有二型模糊集的中心及寬度的參數(shù)向量，為區(qū)間權重構成的向量。

基于cnn+t2fnn的深度學習模型的訓練過程如下：

從機器視覺數(shù)據(jù)庫中任取一場景圖像樣本(vk,yk)，其中，vk為原始圖像，yk為障礙物標簽，對該樣本進行灰度化操作，使樣本由rgb圖像轉(zhuǎn)化為灰度圖像，灰度化后的圖像表示為(vk′,yk)，通過(vk′,yk)對深度學習模型進行訓練。該模型的訓練分為兩部分進行，其中一部分為cnn的訓練，另一部分為t2fnn的訓練。

cnn部分的參數(shù)訓練方法如下：

①對該部分所有的連接權重進行初始化，一般采用的方法為在較小的區(qū)間內(nèi)隨機生成；

②將vk′作為輸入，根據(jù)隨機生成的初始權重，得到網(wǎng)絡的實際輸出標簽ok；

③計算網(wǎng)絡的實際輸出標簽ok與期望輸出標簽yk的差值，即輸出誤差；

④通過最小化誤差的反向傳播方法調(diào)節(jié)cnn部分的連接權重參數(shù)矩陣；

⑤遍歷機器視覺庫中的所有場景圖片樣本，訓練結束；

t2fnn部分的參數(shù)訓練方法如下：

①計算機器視覺數(shù)據(jù)庫中所有樣本的誤差平方和e(w)：

其中，l為訓練樣本數(shù)目，φ＝[ξ(x1,θ),ξ(x2,θ),…,ξ(xl,θ)]^t，xl＝[xl1,xl2,…,xln]^t為第l個樣本的特征向量，y＝[y1,y2,…,yl]^t且yl為第l個樣本的輸出標簽；

②采用最小二乘算法對e(w)進行求解，得到t2fnn的最佳參數(shù)向量

w＝φ⁺y

其中，φ+為矩陣φ的廣義逆。

作為進一步優(yōu)選技術方案之一，通過蟻群算法找出裝配式建筑的預制件最佳吊裝路徑的具體方法如下：

①參數(shù)初始化：螞蟻生成時間間隔t、迭代次數(shù)nc＝0、最大迭代次數(shù)ncmax、預制件放置節(jié)點(a0,b0,c0)以及吊裝目的地節(jié)點(a,b,c)，即在三維柵格表中通過螞蟻尋找到從(a0,b0,c0)到(a,b,c)的最佳路徑；

②在(a0,b0,c0)節(jié)點上等時間間隔t生成螞蟻，螞蟻根據(jù)狀態(tài)轉(zhuǎn)移概率選擇下一節(jié)點，并將走過的節(jié)點加入禁忌表中，其中螞蟻在轉(zhuǎn)移過程中會在路徑上留有信息素，狀態(tài)轉(zhuǎn)移概率隨信息素濃度而改變；

③當螞蟻到達目的地節(jié)點(a,b,c)時，按原路返回；當螞蟻返回節(jié)點(a0,b0,c0)時，更新信息素濃度，并令nc＝nc+1；

④若nc＞ncmax，則迭代結束，輸出最佳路徑；否則，返回②。

(23)將裝配式建筑的預制件最佳吊裝路徑經(jīng)第二通信模塊發(fā)送給設備控制模塊。

(3)設備控制模塊計算出具體吊裝所需數(shù)據(jù)，進而利用塔吊控制模塊實現(xiàn)預制件吊裝。

具體方法是：

(31)設備控制模塊利用接收到的裝配式建筑的預制件最佳吊裝路徑，計算出設備控制模塊所需數(shù)據(jù)(包括：啟停時間、啟停位置、預制件吊起高度、攝像頭需要轉(zhuǎn)動的角度以及監(jiān)控吊裝路徑的拍攝位置)；

(32)塔吊控制模塊將預制件起吊，嚴格按照步驟(31)所得具體數(shù)據(jù)，進行所述預制件的吊裝工作。

(4)吊裝過程中，攝像頭控制模塊控制攝像頭獲取實時圖像，并經(jīng)圖像處理和決策模塊判斷預制件是否符合步驟(2)設定的預制件最佳吊裝路徑，倘若出現(xiàn)偏差，則通過塔吊控制模塊進行修正，倘若沒有，則完成預制件吊裝，返回步驟(1)，進入下一預制件吊裝，直至完成所有預制件的總體吊裝。

具體方法是：吊裝過程中，根據(jù)步驟(3)所得數(shù)據(jù)，攝像頭控制模塊控制攝像頭獲取實時施工現(xiàn)場所述預制件的吊裝過程的圖像，圖像處理與決策模塊判斷該預制件是否符合步驟(2)設定的預制件最佳吊裝路徑，倘若出現(xiàn)偏差，則通過塔吊控制模塊進行修正，倘若沒有，則完成預制件吊裝，返回步驟(1)，進入下一預制件吊裝，直至完成所有預制件的總體吊裝。

上述吊裝方法對應的基于機器視覺的裝配式建筑智能吊裝系統(tǒng)，包括圖像采集模塊、圖像處理和決策模塊以及設備控制模塊，其中，圖像處理和決策模塊與圖像采集模塊通信，設備控制模塊與圖像處理和決策模塊通信。

其中，設備控制模塊包括塔吊控制模塊和攝像頭控制模塊。

攝像頭為360°高清攝像頭；在攝像頭的周圍布置可隨攝像頭轉(zhuǎn)動而360°旋轉(zhuǎn)的探照燈，以便攝像頭在光線不佳的情況下更好的采集裝配式建筑施工現(xiàn)場的圖像信息，防止因光線不佳的因素導致后期圖像分析誤差過大。

該吊裝系統(tǒng)還包括第一通信模塊和第二通信模塊，分別用于圖像處理和決策模塊與圖像采集模塊通信，設備控制模塊與圖像處理和決策模塊通信。第一通信模塊和第二通信模塊分別包括一對無線發(fā)射子模塊和無線接收子模塊。

上述雖然結合附圖對本發(fā)明的具體實施方式進行了描述，但并非對本發(fā)明保護范圍的限制，在本發(fā)明的技術方案的基礎上，本領域技術人員不需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護范圍以內(nèi)。