本發(fā)明涉及一種用于確定在鉆探碳?xì)浠衔飼r(shí)使用的管狀構(gòu)件的相對(duì)位置的系統(tǒng)和方法。更具體地說(shuō)，在某些實(shí)施例中，涉及一種確定懸掛的(由吊車、絞車或其他裝置垂直地懸吊的)鉆探管狀構(gòu)件相對(duì)于井下管狀構(gòu)件的位置以使得所述管件可以自動(dòng)地對(duì)齊和組裝或卸開(kāi)的系統(tǒng)和方法。

背景技術(shù)：

鉆機(jī)鉆臺(tái)環(huán)境在歷史上一直是比較危險(xiǎn)的工作環(huán)境之一。這些活動(dòng)使鉆探人員或“鉆工”暴露于各種健康和安全問(wèn)題，包括在鉆機(jī)井架上高處的貓行道或二層臺(tái)上工作、懸掛管件、給夾鉗和相關(guān)聯(lián)的鏈條提供動(dòng)力、當(dāng)對(duì)齊和降低管件時(shí)手受傷，更不必說(shuō)與井控或隨鉆探泥漿一起返回的其他氣體相關(guān)聯(lián)的風(fēng)險(xiǎn)。早期方法要求在升降機(jī)上提起管件并且手動(dòng)地將懸掛管件定位成與懸吊在轉(zhuǎn)盤(pán)里的管件(井下管件)配合。在本發(fā)明的背景下，“管件”可以是指井管、鉆鋌、鉆桿、生產(chǎn)油管、或通過(guò)螺紋擰在一起并且用于鉆探和生產(chǎn)碳?xì)浠衔锏钠渌軤顦?gòu)件。傳統(tǒng)上，要求鉆工從管件存放區(qū)域移動(dòng)管件、將懸掛管件與井下管件對(duì)齊、降低懸掛管件以與井下管件接觸、并且利用液壓鉗來(lái)施加力矩以使管件“自旋加快”，使得井下管件中的螺紋與懸掛管件嚙合并且被擰緊。懸掛管件然后被用作鉆探過(guò)程的部件。從井松開(kāi)或移除管件需要鉆工應(yīng)用液壓鉗來(lái)卸開(kāi)或解開(kāi)管件的兩個(gè)節(jié)段之間的螺紋，最上面的(懸掛)管件被起重機(jī)移動(dòng)到機(jī)架或其他存放區(qū)域。

為了改進(jìn)安全性，在以上過(guò)程中已經(jīng)有若干個(gè)改進(jìn)。半自動(dòng)化管件搬運(yùn)設(shè)備已經(jīng)被用來(lái)將管件移動(dòng)到存放區(qū)域以及將管件從存放區(qū)域移動(dòng)到鉆臺(tái)并且就位以供用于組裝。自動(dòng)化力矩扳手(被稱為鐵鉆工)已經(jīng)被設(shè)計(jì)出，這些自動(dòng)化力矩扳手在鉆孔機(jī)的控制下，朝向配合的懸掛管件和井下管件前進(jìn)以組裝或卸開(kāi)螺紋管件連接。盡管有這些進(jìn)步，但是仍存在懸掛管件相對(duì)于井下管件對(duì)齊的問(wèn)題。現(xiàn)行做法中，在鉆孔機(jī)可以降低懸掛管件并且與鐵鉆工接合之前在鉆臺(tái)上，仍需要兩個(gè)或更多個(gè)鉆工來(lái)將懸掛管件與井下管件對(duì)齊。因此，鉆臺(tái)人員仍暴露于危險(xiǎn)的鉆探環(huán)境之下。

希望的是開(kāi)發(fā)一種在無(wú)需鉆機(jī)鉆臺(tái)人為干預(yù)的情況下確定懸掛管件相對(duì)于井下管件的位置的系統(tǒng)和方法。進(jìn)一步希望的是，當(dāng)組裝管件時(shí)，在鐵鉆工接合之前，利用定位信息作為自動(dòng)化鉆桿搬運(yùn)和定位系統(tǒng)的輸入來(lái)對(duì)齊管件并且使它們各自的螺紋端相互接觸。相同的定位信息可以用于在起下鉆(tripping)操作期間在卸開(kāi)之后安全地從井下管件解開(kāi)懸掛管件。

技術(shù)實(shí)現(xiàn)要素：

本公開(kāi)總體上涉及一種用于確定懸掛鉆探管件相對(duì)于井下管件的三維相對(duì)位置并且使管件軸向?qū)R的機(jī)器視覺(jué)系統(tǒng)和方法。

在一個(gè)實(shí)施例中，所述系統(tǒng)包含兩個(gè)相機(jī)系統(tǒng)，每個(gè)系統(tǒng)具有與彩色攝像機(jī)共面布置的飛行時(shí)間(tof)相機(jī)，相機(jī)系統(tǒng)在徑向上相互偏移。來(lái)自每個(gè)系統(tǒng)的數(shù)字信息被計(jì)算機(jī)組合并且處理以得出懸掛管件相對(duì)于井下管件的三維位置信息。

在另一個(gè)實(shí)施例中，本公開(kāi)提供位置信息從計(jì)算機(jī)被轉(zhuǎn)發(fā)給scada驅(qū)動(dòng)的自動(dòng)化鉆桿搬運(yùn)系統(tǒng)，鉆桿搬運(yùn)系統(tǒng)利用來(lái)自相機(jī)系統(tǒng)和計(jì)算機(jī)的連續(xù)的相對(duì)位置信息來(lái)將懸掛管件移動(dòng)到與井下管件軸向?qū)R并且降低懸掛管件以與井下管件通過(guò)螺紋接觸。此時(shí)，鉆孔機(jī)可以接合鐵鉆工以在井下管件和懸掛管件之間組裝螺紋連接。

在另一個(gè)實(shí)施例中，在鉆臺(tái)上的起下鉆操作期間，在從井下管件卸開(kāi)懸掛管件之后，本公開(kāi)提供相機(jī)系統(tǒng)得出三維位置信息，該三維位置信息被轉(zhuǎn)發(fā)給所述scada驅(qū)動(dòng)的自動(dòng)化鉆桿搬運(yùn)系統(tǒng)以確保在鉆桿搬運(yùn)移動(dòng)到存放區(qū)域之前，懸掛管件完全被解開(kāi)并且脫離井下管件。

在又一個(gè)實(shí)施例中，每個(gè)相機(jī)系統(tǒng)包括tof相機(jī)以及兩個(gè)彩色攝像機(jī)，攝像機(jī)與tof相機(jī)側(cè)翼共面布置。

在又一個(gè)實(shí)施例中，每個(gè)相機(jī)系統(tǒng)包括與一個(gè)或多個(gè)彩色攝像機(jī)組合的投射器紅外(if)tof(“主動(dòng)光”)相機(jī)。

在又一個(gè)實(shí)施例中，每個(gè)相機(jī)系統(tǒng)包括單個(gè)ccd相機(jī)。

附圖說(shuō)明

本文件的實(shí)施例及其優(yōu)點(diǎn)的更完整的且更透徹的理解可以通過(guò)參照以下結(jié)合附圖進(jìn)行的描述而獲得。

圖1是鉆機(jī)鉆臺(tái)的簡(jiǎn)化圖。

圖2是數(shù)字立體視覺(jué)相機(jī)系統(tǒng)的描繪。

圖3是立體視覺(jué)過(guò)程的簡(jiǎn)化描繪。

圖4是基層飛行時(shí)間(tof)相機(jī)的簡(jiǎn)化描繪。

圖5是本發(fā)明的范圍內(nèi)的相機(jī)系統(tǒng)、處理系統(tǒng)和控制系統(tǒng)的操作的描繪。

具體實(shí)施方式

以下描述包括體現(xiàn)本發(fā)明主題的技術(shù)的示例性設(shè)備、方法、技術(shù)和/或指令序列。應(yīng)理解，本發(fā)明可以與下面陳述的特定實(shí)施例和細(xì)節(jié)無(wú)關(guān)地實(shí)施。

本公開(kāi)涉及一種機(jī)器視覺(jué)系統(tǒng)，該機(jī)器視覺(jué)系統(tǒng)可以用于確定被自動(dòng)化鉆桿搬運(yùn)系統(tǒng)懸吊在鉆機(jī)鉆臺(tái)上方的懸掛管件相對(duì)于伸出到鉆機(jī)鉆臺(tái)上方的井下管件的三維位置和距離。

在某些實(shí)施例中，位置和距離信息被提供給scada系統(tǒng)，scada系統(tǒng)半連續(xù)地控制自動(dòng)化鉆桿搬運(yùn)系統(tǒng)，以使懸掛管件與井下管件軸向?qū)R并且通過(guò)螺紋接觸。一旦通過(guò)螺紋接觸，井下管件和懸掛管件之間的螺紋連接就可以通過(guò)利用自動(dòng)化扳手系統(tǒng)或鉆工而被擰緊或“組裝”，自動(dòng)化扳手系統(tǒng)或鉆工包括力矩鉗和旋扣鉗。

在某些實(shí)施例中，在鐵鉆工進(jìn)行卸開(kāi)或螺紋擰松操作之后，從井移除管件期間，當(dāng)利用自動(dòng)化鉆桿搬運(yùn)系統(tǒng)從井下管件退出懸掛管件并且將懸掛管件放置在存放區(qū)域中時(shí)，可以使用位置和距離信息來(lái)防止懸掛管件和井下管件之間碰撞。在這樣的情況下，自動(dòng)化鉆桿搬運(yùn)系統(tǒng)再一次由scada系統(tǒng)控制，scada系統(tǒng)被提供有懸掛管件相對(duì)于井下管件的三維(3d)位置和距離信息。

現(xiàn)在參照?qǐng)D1，圖1例示說(shuō)明了現(xiàn)代的鉆機(jī)鉆臺(tái)的簡(jiǎn)化圖。在圖1中，例示說(shuō)明了鉆臺(tái)2，鉆臺(tái)2具有鉆探中心孔4、在鉆探中心孔4中的轉(zhuǎn)盤(pán)6、以及從鉆臺(tái)2穿過(guò)轉(zhuǎn)盤(pán)6伸出的井下管件8。將意識(shí)到，本發(fā)明可以與作為轉(zhuǎn)盤(pán)的替代方案的頂部驅(qū)動(dòng)系統(tǒng)(未示出)結(jié)合使用。在圖1中，井下管件8被示為具有內(nèi)螺紋端(boxend)10和陰壓力螺紋12的鉆柱。井下管件8被本領(lǐng)域中眾所周知的自動(dòng)化鉆探卡瓦(未示出)夾持到位。圖1描繪了支持鉆探操作的鉆機(jī)塔14構(gòu)造，比如huismanequipmentb.v.制造的那些。huisman自動(dòng)化鉆桿搬運(yùn)系統(tǒng)的簡(jiǎn)化描繪被以14示出。將意識(shí)到，存在若干個(gè)市場(chǎng)上可買(mǎi)到的自動(dòng)化鉆桿搬運(yùn)系統(tǒng)，這些自動(dòng)化鉆桿搬運(yùn)系統(tǒng)能夠?qū)㈤L(zhǎng)度較短的管件裝配成較長(zhǎng)的“柱”、存放管件柱、從存放區(qū)域取出管件、并且將它們相對(duì)于井下管件8定位，諸如nationaloilwellvarco制造的hydraracker系統(tǒng)。

圖中所描繪的示例性鉆桿搬運(yùn)系統(tǒng)由中心構(gòu)件16和鉆臺(tái)2組成，中心構(gòu)件16能夠在可旋轉(zhuǎn)鉆桿存放圓盤(pán)傳送帶28之間旋轉(zhuǎn)，在可旋轉(zhuǎn)鉆桿存放圓盤(pán)傳送帶28中，存放有其他鉆桿32。鉆桿搬運(yùn)系統(tǒng)1進(jìn)一步包括一對(duì)臂20和22，近端被安裝在基底18上，基底18被安裝在中心構(gòu)件16上，基底18能夠被線纜或螺釘工具(未示出)沿著中心構(gòu)件16上下平移。抓取夾具26被安裝在臂20和22的遠(yuǎn)端，能夠相對(duì)于鉆桿搬運(yùn)系統(tǒng)抓取并且?jiàn)A持管件。此外，在基底18沿著中心構(gòu)件16平移，并且被安裝在基底18上的關(guān)節(jié)臂24移動(dòng)時(shí)，臂20和22能夠相對(duì)于基底18在垂直平面中旋轉(zhuǎn)。將理解，存在第二基底18(未示出)、一組臂20和22、關(guān)節(jié)臂24以及抓取夾具26，這些部件被安裝在高于鉆臺(tái)2的中心構(gòu)件16上，與下部的對(duì)應(yīng)構(gòu)件配合作用以將管件提升出圓盤(pán)傳送帶、將管件抬高到鉆臺(tái)水平面上方并且使管件在鉆臺(tái)上方就位?？尚D(zhuǎn)鉆桿存放圓盤(pán)傳送帶28包括在鉆臺(tái)下面的下板30、上板(未示出)心軸31以及支撐構(gòu)件33組成，鉆桿在被使用之前被存放在可旋轉(zhuǎn)鉆桿存放圓盤(pán)傳送帶28中。下板和心軸被液壓系統(tǒng)(未示出)旋轉(zhuǎn)，并且旋轉(zhuǎn)到當(dāng)前的鉆桿32以供鉆探操作中使用。以這種方式，中心構(gòu)件16可以朝向鉆桿存放圓盤(pán)傳送帶28旋轉(zhuǎn)，臂20和22可以沿著基底18移動(dòng)以使抓取夾具26與存放在圓盤(pán)傳送帶28中的鉆桿32接觸。臂20和22然后被抬高以將鉆桿32移出圓盤(pán)傳送帶28，并且中心構(gòu)件16被旋轉(zhuǎn)以使鉆桿32高于鉆臺(tái)2并且鄰近井下管件6。

在圖1中，懸掛管件34被描繪為鉆桿，但是可以是以上列出的管件中的任何一個(gè)，只要井下管件是匹配的類型即可。懸掛管件34的最低端是具有陽(yáng)螺紋38的外螺紋端(pinend)36連接，陽(yáng)螺紋38與井下管件8的螺紋12配合，并且提供懸掛管件34和井下管件8之間的壓力密封和結(jié)構(gòu)完整性。

鐵鉆工40在圖1中被描繪為在退出的位置上。鐵鉆工40包括框架42和液壓動(dòng)力單元(未示出)，液壓動(dòng)力單元使鐵鉆工40沿著軌道44a和44b朝向和背離轉(zhuǎn)盤(pán)6移動(dòng)。鐵鉆工40進(jìn)一步包括力矩鉗48和旋扣鉗46，力矩鉗48和旋扣鉗46使得鐵鉆工40可以將井下管件8保持在適當(dāng)位置，并且旋轉(zhuǎn)懸掛管件34以組裝管件8和34之間的連接。應(yīng)認(rèn)識(shí)到，在圖1的視圖中，旋扣鉗46和力矩鉗48未被描繪，但是它們的功能和用途對(duì)于油田里的人是眾所周知的。雖然圖1中所描繪的鐵鉆工40是鉆臺(tái)安裝的系統(tǒng)，但是存在其他的鐵鉆工系統(tǒng)，所有這些鐵鉆工系統(tǒng)都可以被用在本文中所討論的實(shí)施例內(nèi)。

鉆孔機(jī)的工位50被描繪為偏離鉆臺(tái)2的側(cè)面。鉆孔機(jī)的工位通常包括儀表探測(cè)，儀表探測(cè)包括鉆頭和掛鉤重量、鉆進(jìn)速度、底部鉆具組合的深度、旋轉(zhuǎn)轉(zhuǎn)速和力矩、泥漿泵送壓力、泥漿流動(dòng)速率、以及泥漿獲取/損失信息、泥漿溫度、泥漿密度、鉆探控制、鉆桿搬運(yùn)控制、鐵鉆工控制、工位保持信息(在離岸的情況下)、以及任何數(shù)量的可定制的多組計(jì)量和控制，這些與本公開(kāi)是無(wú)關(guān)的。

將意識(shí)到，即使在圖1的半自動(dòng)化環(huán)境中，一些方面也仍需要人工干預(yù)。雖然可以使懸掛管件34緊鄰井下管件8，但是鉆孔機(jī)要求在啟動(dòng)鐵鉆工40之前使管件對(duì)齊并且通過(guò)螺紋接觸。這仍需要將鉆工放置在危險(xiǎn)環(huán)境中的人工干預(yù)。已經(jīng)嘗試過(guò)使懸掛管件34相對(duì)于井下管件的定位自動(dòng)進(jìn)行。美國(guó)專利公開(kāi)20130345878公開(kāi)了一種視頻測(cè)量系統(tǒng)，其中，彩色相機(jī)用于確保在與鐵鉆工40接合之前井下管件8和懸掛管件34位于適當(dāng)?shù)拇怪蔽恢?，從而確保力矩鉗48適當(dāng)?shù)匕卜旁诰鹿芗?上并且旋扣鉗46安放在懸掛管件上。雖然該現(xiàn)有技術(shù)系統(tǒng)確保管件在適當(dāng)?shù)母叨壬?z軸確定)，但是還假定管件相對(duì)于公共縱軸適當(dāng)?shù)貙?duì)齊，即，每個(gè)管件的z軸同軸地位于x-y平面中。

為了克服該限制，本發(fā)明利用安裝在鉆孔機(jī)的工位50的玻璃面板52后面的相機(jī)系統(tǒng)54。第二相機(jī)系統(tǒng)56被描繪為被安裝在鉆臺(tái)2上。理想地，相機(jī)系統(tǒng)54和56離鉆心4是等距的。雖然相機(jī)系統(tǒng)54和56被描繪為相互偏移大約90度，但是將意識(shí)到，在本發(fā)明的范圍內(nèi)，該徑向偏移是可以變化的。本發(fā)明利用兩個(gè)相機(jī)系統(tǒng)54和56來(lái)建立三維空間中懸掛管件34的外螺紋端36相對(duì)于井下管件8的內(nèi)螺紋端10的位置。該位置信息被處理以給自動(dòng)化鉆桿搬運(yùn)系統(tǒng)提供控制信號(hào)。一旦懸掛管件34的外螺紋端36在x-y平面中與井下管件8的內(nèi)螺紋端10對(duì)齊，本發(fā)明就產(chǎn)生控制信號(hào)以朝向井下管件降低懸掛管件34，使得螺紋12和38嚙合。將意識(shí)到，外螺紋端36和內(nèi)螺紋端10之間的垂直偏移距離可以被作為本發(fā)明的操作的一部分設(shè)置。

機(jī)器視覺(jué)系統(tǒng)長(zhǎng)久以來(lái)一直在使用中。這些中最早的機(jī)器視覺(jué)系統(tǒng)是捕捉二維(2d)數(shù)據(jù)的簡(jiǎn)單相機(jī)，它在被用于受控照明環(huán)境中的平面應(yīng)用(比如勘察)時(shí)可以是有效的。2d成像處理技術(shù)，比如邊緣檢測(cè)和模板匹配算法，可以用于捕捉關(guān)于物品的重要特征的信息，該信息可以被與所存儲(chǔ)的關(guān)于最佳生產(chǎn)物品的信息進(jìn)行比較以確定該物品是否滿足合格/不合格標(biāo)準(zhǔn)。然而，單個(gè)2d相機(jī)沒(méi)有提供將使得可以推斷三維(3d)環(huán)境中的位置信息的足夠信息。

除了邊緣信息之外，成對(duì)使用的數(shù)字相機(jī)還可以用于確定深度信息，非常像人的視力。圖2描繪了一組經(jīng)調(diào)整、校準(zhǔn)的數(shù)字?jǐn)z像機(jī)，左相機(jī)100和右相機(jī)102。每個(gè)相機(jī)具有它自己的在鏡頭平面處的坐標(biāo)系，對(duì)于左相機(jī)100，坐標(biāo)系用xl、yl和zl表示，對(duì)于右相機(jī)102，坐標(biāo)系用xr、yr和zr表示。數(shù)字相機(jī)通常具有矩形傳感器單元的平面矩陣，矩形傳感器單元具有光電轉(zhuǎn)換系統(tǒng)，比如cmos或ccd。平面矩陣104具有坐標(biāo)系vl和ul，單個(gè)像素108被表示在該矩陣中。類似地，矩陣106具有坐標(biāo)系vr和ur，單個(gè)像素110被表示在該矩陣上。圖3中例示說(shuō)明了到點(diǎn)的距離的確定。點(diǎn)p在時(shí)間t相對(duì)于相機(jī)具有坐標(biāo)p＝[x,y,z]^t，這些坐標(biāo)將作為pl＝[ul,vl]^t和pl＝[ur,vr]^t投影回平面?zhèn)鞲衅?，在相機(jī)100和102也具有相同的垂直位置的情況下，可以用已知的計(jì)算立體觀測(cè)算法來(lái)確定到點(diǎn)p的深度z或距離。

立體相機(jī)系統(tǒng)中確定深度的挑戰(zhàn)是對(duì)應(yīng)性問(wèn)題，即，假定點(diǎn)p被相機(jī)102上平面?zhèn)鞲衅?04投影到像素108pl，如何確定對(duì)應(yīng)的點(diǎn)像素110pr在相機(jī)102的圖像中的位置。解決該對(duì)應(yīng)性問(wèn)題可能需要復(fù)雜的、計(jì)算密集的算法，需要特征檢測(cè)和模板匹配。存在不利地影響立體視覺(jué)深度確定的若干個(gè)其他的因素，包括物體的表面均勻性以及物體顏色變化的缺乏。在鉆探環(huán)境的情境下，存在額外的因素，包括蒸汽、水分、照明以及可能使正被測(cè)量的物體部分地模糊的其他環(huán)境因素。此外，在立體視覺(jué)中，深度分辨率誤差是到正被測(cè)量的物體的距離的二次函數(shù)。因此，立體視覺(jué)本身并不證明有助于可以用于以足夠的準(zhǔn)確度確定懸掛管件34相對(duì)于井下管件8的3d位置的相機(jī)系統(tǒng)。

其他相機(jī)系統(tǒng)已經(jīng)被開(kāi)發(fā)以用來(lái)更準(zhǔn)確地確定到物體的距離、或深度信息，比如基層飛行時(shí)間相機(jī)，以下簡(jiǎn)稱為tof系統(tǒng)。tof相機(jī)獨(dú)自能夠進(jìn)行3d確定。如圖3所示，基本的tof相機(jī)由發(fā)射器和相機(jī)傳感器組成。發(fā)射器通常是圍繞傳感器204布置的、在紅外(ir)或近ir中操作的固態(tài)激光器或led202的陣列，傳感器204包括多個(gè)cmos或ccd傳感器，每個(gè)傳感器表示單個(gè)像素。發(fā)射器可以被脈沖控制，或者更有可能地被用連續(xù)波(比如正弦或方波函數(shù))進(jìn)行調(diào)制。發(fā)射的光離開(kāi)相機(jī)，照射物體，并且被反射回相機(jī)傳感器。進(jìn)入傳感器的光包括反射光和任何環(huán)境光。帶通濾光器被放置在傳感器接收的光上，以使得被測(cè)光與發(fā)射光的頻率相同。測(cè)量反射光的振幅變化和相差，并且可以用已知算法來(lái)估計(jì)到成像物體上的點(diǎn)的距離。將意識(shí)到，tof的信號(hào)處理系統(tǒng)未被描述，因?yàn)檫@樣的系統(tǒng)在市場(chǎng)上是可買(mǎi)到的。

在本發(fā)明的情境下可以使用的又一種類型的tof相機(jī)是與攝像機(jī)傳感器組合的編碼光投影器和tof相機(jī)，如在與microsoft的xbox游戲系統(tǒng)結(jié)合使用的microsoftkinect^tm相機(jī)中可見(jiàn)的那樣。編碼光tof相機(jī)利用紅外編碼光投影器來(lái)將編碼光圖案投射到物體上，該編碼光圖案然后被tof相機(jī)檢測(cè)，并且提供更好的估計(jì)。利用基層tof相機(jī)、編碼光tof相機(jī)、用標(biāo)準(zhǔn)攝像機(jī)數(shù)據(jù)對(duì)深度數(shù)據(jù)的校準(zhǔn)和融合的技術(shù)的詳細(xì)討論可以在c.dalmutto、p.zanuttigh、g.cortelazzo在2013年1月24日的springer上的time-offlightcamerasandmicrosoftkinect^tm,auserperspectiveontechnologyandapplications中找到。雖然tof相機(jī)能夠確定到物體的深度或距離，但是它們通常具有低空間分辨率和不良的邊緣定義。tof相機(jī)與標(biāo)準(zhǔn)視頻饋送的組合使得可以更好地進(jìn)行邊緣檢測(cè)和移動(dòng)。彩色立體視覺(jué)的使用可以用于通過(guò)與飛行時(shí)間深度信息相結(jié)合地利用立體深度信息來(lái)進(jìn)一步改進(jìn)深度信息。成像系統(tǒng)通常具有組合彩色視覺(jué)和tof信息的板載圖像處理系統(tǒng)。kinect系統(tǒng)利用primesense、nowapple,inc.生產(chǎn)的primesensor^tm芯片，但是其他芯片組系統(tǒng)由texasinstruments、canesta、mesaimaging及其他制造商制造。

tof和彩色相機(jī)數(shù)據(jù)的使用可以用于定義懸吊管件和靜止管件的特征和深度信息。然而，這并不足以實(shí)際上確定管件在三維空間中的位置。當(dāng)管件將被配合時(shí)，懸吊管件的軸必須與靜止管件的軸同軸，并且懸吊管件的最低的部分必須被定位在靜止管件的最上面的部分的上方。因此，單個(gè)成像系統(tǒng)不足以提供實(shí)現(xiàn)這一點(diǎn)所必需的分辨率。因而，本發(fā)明提供兩個(gè)成像系統(tǒng)。鉆臺(tái)中的轉(zhuǎn)盤(pán)表示鉆臺(tái)的中心，因?yàn)樗硎俱@井孔的軸。為了提供關(guān)于靜止管件和懸吊管件在三維空間中的位置的附加信息，兩個(gè)成像系統(tǒng)相互偏移。雖然第二成像系統(tǒng)可以橫向偏離第一成像系統(tǒng)，但是優(yōu)選的是，成像系統(tǒng)在徑向上相互偏移，其中，轉(zhuǎn)盤(pán)表示中心點(diǎn)。優(yōu)選地，成像系統(tǒng)被放置在相對(duì)于鉆臺(tái)相同的相對(duì)垂直位置處，并且在徑向上相互偏移90°。將意識(shí)到，可以利用成像系統(tǒng)的其他偏移角度或變化的高度，因?yàn)檫@樣的變化可以在用于建立管件的特征和邊緣在三維空間中的位置的軟件中被考慮在內(nèi)。

本發(fā)明的成像系統(tǒng)可以包含各種相機(jī)組合。成像系統(tǒng)中所用的相機(jī)包括至少一個(gè)彩色攝像機(jī)?？商娲兀w行時(shí)間或tof相機(jī)(要么是基層tof相機(jī)，要么是編碼光tof相機(jī))可以與彩色相機(jī)結(jié)合使用?？梢酝ㄟ^(guò)與以上攝像機(jī)和tof相機(jī)組合地使用第二攝像機(jī)來(lái)獲得額外的分辨率，從而提供額外的彩色立體視覺(jué)信息以更好地解析管件的特征的深度。tof相機(jī)進(jìn)行操作以得出管件的特征和深度數(shù)據(jù)。包含tof數(shù)據(jù)、連同來(lái)自數(shù)字彩色視頻的特征數(shù)據(jù)或者在數(shù)字彩色立體視頻數(shù)據(jù)的情況下特征和深度數(shù)據(jù)的輸出信號(hào)被輸出到本發(fā)明內(nèi)的計(jì)算機(jī)。該計(jì)算機(jī)可以是專門(mén)的成像系統(tǒng)計(jì)算機(jī)或其上加載有圖像處理軟件的通用計(jì)算機(jī)。

本發(fā)明的計(jì)算機(jī)利用數(shù)字?jǐn)?shù)據(jù)來(lái)建立管件的特征在三維空間中的位置數(shù)據(jù)。將理解，數(shù)字彩色攝像機(jī)和tof相機(jī)兩者的輸出信號(hào)包括時(shí)間戳信息，該時(shí)間戳信息使得各相機(jī)輸出的像素可以匹配。數(shù)字彩色視頻或rgb相機(jī)數(shù)據(jù)用于建立管件的圖片。在這樣做時(shí)，必須能夠從位于鉆臺(tái)上的其他物體識(shí)別管件。用于圖像分割的已知技術(shù)包括區(qū)分管件和它后面的物體的背景配準(zhǔn)以及建立管件的輪廓的邊緣檢測(cè)，從而向計(jì)算機(jī)提供鉆桿在空間中的圖片。視頻光學(xué)流技術(shù)也可以用于跟蹤管件的移動(dòng)。其他技術(shù)可以用于縮短處理時(shí)間，比如提供圖像模板數(shù)據(jù)和圓柱體擬合以更容易地識(shí)別管件及其螺紋端、以及建立管件形狀和位置的同時(shí)定位和映射或slam技術(shù)。

tof相機(jī)數(shù)據(jù)同樣地用于獲得鉆桿的視圖，并且可以利用與rgb相機(jī)處理類似的算法。另外，tof相機(jī)數(shù)據(jù)提供場(chǎng)景中的每個(gè)像素的距離信息。經(jīng)處理的rgb數(shù)據(jù)和經(jīng)處理的tof數(shù)據(jù)關(guān)于時(shí)間和像素進(jìn)行組合，得到管件的3d圖像。然而，3d圖像僅足以建立管件相對(duì)于單個(gè)相機(jī)系統(tǒng)的位置。而該位置信息不足以對(duì)齊管件。

圖5描繪了相機(jī)系統(tǒng)54和56的相機(jī)系統(tǒng)數(shù)據(jù)的處理，每個(gè)相機(jī)系統(tǒng)包括兩個(gè)rgb數(shù)字相機(jī)和單個(gè)tof相機(jī)(分別為相機(jī)300、302和304以及306、308和310)。來(lái)自rgb相機(jī)300、304、306和308的數(shù)據(jù)分別被圖像處理器312、316、318和322如上所述那樣處理。來(lái)自相機(jī)302和308的tof數(shù)據(jù)分別被圖像處理器314和320處理。來(lái)自處理器312和316的經(jīng)處理的圖像然后被處理器324處理以得出立體rgb圖像。立體圖像然后通過(guò)處理器326與經(jīng)處理的tof深度圖像組合以提供井下管件和懸吊管件相對(duì)于相機(jī)系統(tǒng)54的圖像和深度信息。類似地，來(lái)自處理器318和322的經(jīng)處理的圖像數(shù)據(jù)然后通過(guò)處理器328組合以形成立體rgb圖像，該立體圖像通過(guò)處理器330與來(lái)自處理器320的tof數(shù)據(jù)組合以形成組合圖像，該組合圖像提供井下管件和懸吊管件相對(duì)于相機(jī)系統(tǒng)56的圖像和深度信息。來(lái)自每個(gè)相機(jī)的深度和位置信息被處理器332用于得出井下管件和懸吊管件的端部在3d空間中的位置及其它們的相對(duì)偏移。位置信息然后被發(fā)送到scada控制器334，scada控制器334驅(qū)動(dòng)自動(dòng)化管件搬運(yùn)系統(tǒng)以使井下管件和懸吊管件軸向?qū)R、然后通過(guò)螺紋接合。雖然圖5中描繪了各種圖像處理器，但是將意識(shí)到，單個(gè)圖像處理器系統(tǒng)可以用于執(zhí)行相同的步驟。

可替代地，本發(fā)明的計(jì)算機(jī)可以將管件的位置數(shù)據(jù)輸出到可以用于控制管件搬運(yùn)系統(tǒng)的單獨(dú)的計(jì)算機(jī)，比如scada系統(tǒng)。在這樣的情況下，scada系統(tǒng)利用位置信息來(lái)產(chǎn)生提供給鉆桿搬運(yùn)系統(tǒng)的使管件對(duì)齊的定位指令。

在此陳述了用于利用單個(gè)rgb相機(jī)確定管件的位置的說(shuō)明性圖像處理技術(shù)。圖像數(shù)據(jù)是連續(xù)的，但是在實(shí)踐中，必須選擇時(shí)間步長(zhǎng)或采樣時(shí)間，這樣將導(dǎo)致如下一系列時(shí)刻，在這些時(shí)刻，圖像處理系統(tǒng)將被調(diào)用以識(shí)別靜止管件和懸掛管件端部、確定它們對(duì)于該時(shí)間步長(zhǎng)的位置、并且在下一個(gè)時(shí)間步長(zhǎng)之前的合理的時(shí)間量?jī)?nèi)執(zhí)行該操作。將意識(shí)到，利用目前的圖像處理技術(shù)，這些時(shí)間步長(zhǎng)小，導(dǎo)致幾乎連續(xù)的識(shí)別和位置數(shù)據(jù)。就尋找什么而對(duì)圖像處理系統(tǒng)進(jìn)行訓(xùn)練是這樣做的最常見(jiàn)的方法。圖像處理系統(tǒng)已經(jīng)利用將被檢測(cè)的物體(在本發(fā)明中為管件端部)的多張照片被訓(xùn)練，以識(shí)別物體，包括被部分遮擋的物體或多個(gè)物體。而且，如在操作期間可以被使用的那樣，圖像處理系統(tǒng)必須被訓(xùn)練為識(shí)別變化的外形，例如，鉆鋌外形、鉆桿外形或外殼外形。最后，必須認(rèn)識(shí)到，這些管件在組裝/卸開(kāi)操作期間不是靜止的，并且懸掛管件端部將相對(duì)于井下靜止管件端部移動(dòng)。

訓(xùn)練本發(fā)明的圖像處理系統(tǒng)的示例性方法利用基于特定管件的多個(gè)視頻圖像的修正的有向梯度直方圖(hog)特征提取和檢測(cè)。n.dalal和b.trigss的文章histogramsoforientedgradientsforhumandetection,computervisionandpatternrecognition2005ieeecomputersocietyconference,pp.866-893,vol.1,instituteelectricalandelectronicsengineers中陳述了基本的hog技術(shù)，該文章特此通過(guò)引用并入。利用該技術(shù)，針對(duì)伽馬和顏色對(duì)圖像進(jìn)行規(guī)范化，并且利用具有設(shè)定的像素大小的檢測(cè)窗口或調(diào)查區(qū)域，在整個(gè)圖像上掃描該檢測(cè)窗口或調(diào)查區(qū)域。當(dāng)窗口被掃描時(shí)，對(duì)窗口內(nèi)的那些像素計(jì)算梯度。然后將像素的梯度分區(qū)間以創(chuàng)建對(duì)于空間單元和取向單元的加權(quán)投票。然后將這些單元組合成更大的單元塊，對(duì)這些單元塊進(jìn)行對(duì)比度規(guī)范化以創(chuàng)建描述符，該描述符是來(lái)自檢測(cè)窗口中的所有塊的規(guī)范化單元響應(yīng)。dalal的論文然后討論了通過(guò)使用hog技術(shù)建立物體邊緣的存在來(lái)實(shí)際檢測(cè)圖像邊緣的兩種不同的方法。然后針對(duì)檢測(cè)窗口收集hog，在dalal的論文中，該檢測(cè)窗口被用于訓(xùn)練線性支持向量機(jī)(svm)、監(jiān)督機(jī)器學(xué)習(xí)模型。在訓(xùn)練了圖像處理器后，使用相同的檢測(cè)窗口掃描技術(shù)來(lái)識(shí)別實(shí)時(shí)圖像中的物體。

dalal的論文中所公開(kāi)的技術(shù)存在若干個(gè)缺點(diǎn)，包括與重疊窗口的分區(qū)間相關(guān)聯(lián)的問(wèn)題以及不能識(shí)別單個(gè)圖像內(nèi)的多個(gè)物體。這可能導(dǎo)致關(guān)于物體的邊緣的描述符是次優(yōu)的。在本發(fā)明的示例性方法中，利用修正的訓(xùn)練hog的方法，該方法能夠檢測(cè)單個(gè)圖像內(nèi)的多個(gè)物體。被稱為最大裕量物體檢測(cè)(mmod)的技術(shù)用于優(yōu)化多個(gè)子窗口上的物體檢測(cè)。mmod利用切平面，該切平面被加于hog數(shù)據(jù)上以改進(jìn)物體的位置的近似。d.king,max-marginobjectdetection，http://arxiv.org/pdf/1502.00046v1.pdf中討論了mmod技術(shù)的使用，該文獻(xiàn)特此通過(guò)引用并入。使用mmod-hog技術(shù)來(lái)訓(xùn)練svm改進(jìn)了物體檢測(cè)中的空間定位，并且使得可以標(biāo)識(shí)單個(gè)實(shí)時(shí)圖像內(nèi)的多個(gè)物體。將意識(shí)到，這對(duì)于檢測(cè)和建立井下管件的靜止端部和懸掛管件的端部的位置是重要的。

雖然mmod-hog技術(shù)的使用改進(jìn)了物體檢測(cè)和空間定位，但是本發(fā)明的示例性實(shí)施例利用回歸樹(shù)進(jìn)一步改進(jìn)了物體的檢測(cè)和空間定位。最基本地，回歸樹(shù)遞歸地將數(shù)據(jù)集劃分為數(shù)據(jù)的兩個(gè)子集，劃分被選為使兩個(gè)子分支的不純度函數(shù)之和最小，最終選擇具有最小不純度函數(shù)的分支。該分支中的數(shù)據(jù)經(jīng)過(guò)相同的分割劃分，并且所述過(guò)程重復(fù)進(jìn)行，直至要么不純度函數(shù)的結(jié)果滿足停止標(biāo)準(zhǔn)，要么數(shù)據(jù)被分割到任意設(shè)定的分支水平。樹(shù)回歸應(yīng)用于分類中，并且將意識(shí)到，存在通過(guò)其確定劃分被如何確定、不純度函數(shù)以及停止標(biāo)準(zhǔn)的若干種方式。在本發(fā)明的示例性實(shí)施例中，面部識(shí)別軟件(參見(jiàn)，http://dlib.net)的修正用于通過(guò)比較來(lái)自mmod-hog位置數(shù)據(jù)的相鄰像素的強(qiáng)度并且試圖使來(lái)自實(shí)際圖像的一組像素的平方和與通過(guò)mmod-hog/svm識(shí)別數(shù)據(jù)得出的近似相比的差值最小，來(lái)進(jìn)一步改進(jìn)mmod-hog物體識(shí)別數(shù)據(jù)與實(shí)際圖像的擬合。在示例性系統(tǒng)中，樹(shù)回歸限于三個(gè)分支事件。樹(shù)回歸應(yīng)用于mmod-hog/svm數(shù)據(jù)的結(jié)果改進(jìn)了到物體的實(shí)際位置的像素內(nèi)的空間定位。

將意識(shí)到，懸掛管件將處于運(yùn)動(dòng)，并且圖像處理系統(tǒng)提供空間位置數(shù)據(jù)的能力將受到該運(yùn)動(dòng)的影響。為了改進(jìn)空間定位信息，通過(guò)并行的一組卡爾曼濾波器對(duì)樹(shù)回歸位置數(shù)據(jù)的結(jié)果進(jìn)行處理。每個(gè)卡爾曼濾波器是相同的，除了從非常小變到非常大的過(guò)程噪聲項(xiàng)之外。在每個(gè)時(shí)間步長(zhǎng)，圖像處理系統(tǒng)使用在前一個(gè)圖像時(shí)間步長(zhǎng)上具有最準(zhǔn)確的物體位置預(yù)測(cè)的卡爾曼濾波器的輸出。這在卡爾曼濾波器中提供了自適應(yīng)過(guò)程噪聲項(xiàng)。結(jié)果是，當(dāng)物體的移動(dòng)不是非常大時(shí)，濾波器對(duì)于鉆桿位置做出強(qiáng)假定，并且給出非常準(zhǔn)確的輸出。當(dāng)物體在相機(jī)視覺(jué)場(chǎng)中快速地移動(dòng)時(shí)，濾波器將對(duì)物體位置變化快速地做出反應(yīng)，但是給出準(zhǔn)確度略低的輸出。

雖然示例性圖像處理系統(tǒng)利用檢測(cè)窗口mmod-hog檢測(cè)、連同樹(shù)回歸和卡爾曼濾波器，來(lái)檢測(cè)并且準(zhǔn)確地估計(jì)移動(dòng)的懸掛管件和井下靜止管件的位置，但是將意識(shí)到，存在可以用于檢測(cè)并且建立懸掛管件和井下靜止管件的空間位置的其他圖像處理方法。位置信息然后與上述第二相機(jī)系統(tǒng)組合，以提供管件在三維空間中的位置。空間信息然后被提供給自動(dòng)化管件搬運(yùn)系統(tǒng)。

利用能夠懸吊管件并且將它帶到鉆臺(tái)的任何自動(dòng)化鉆桿搬運(yùn)系統(tǒng)都在本發(fā)明的范圍內(nèi)，只要該鉆桿搬運(yùn)系統(tǒng)能夠進(jìn)行三維定位，并且具有響應(yīng)于位置信息來(lái)準(zhǔn)確地移動(dòng)懸掛管件以使得它將與靜止的井下管件對(duì)齊的必要算法。

鑒于本發(fā)明已經(jīng)被與本發(fā)明所附的附圖具體相關(guān)地描述，將意識(shí)到，在不脫離本發(fā)明的范圍和精神的情況下，可以做出除了本文中例示說(shuō)明的那些修改之外的進(jìn)一步的修改。