本發(fā)明涉及一種支持力觸覺反饋的紋理力再現(xiàn)交互系統(tǒng)及實現(xiàn)方法，尤其是一種基于圖像亮度信息紋理力再現(xiàn)方法下的紋理力人機(jī)交互系統(tǒng)。屬于計算機(jī)圖像處理、虛擬現(xiàn)實技術(shù)與虛擬現(xiàn)實人機(jī)交互領(lǐng)域。

背景技術(shù)：

紋理是物體表面的微觀幾何形狀、粗糙度等特性的綜合描述。現(xiàn)實中，我們通過觸覺直接感知物體的紋理信息，判斷物體的一系列材質(zhì)特點。隨著虛擬現(xiàn)實技術(shù)在力觸覺傳感領(lǐng)域的廣泛應(yīng)用，以及一系列虛擬環(huán)境構(gòu)造、虛擬物體仿真的實現(xiàn)，使得通過儀器捕捉現(xiàn)實物體的特點再通過力觸覺交互系統(tǒng)將其輸出得以實現(xiàn)。例如吳等人通過儀器實際測量紋理力再通過電壓輸出實現(xiàn)了力觸覺的再現(xiàn)。這一領(lǐng)域技術(shù)的實現(xiàn)，也使得人們可以遠(yuǎn)程地對物體從外形到觸覺多方位感知了解。對如今的遠(yuǎn)程購物體驗、老建筑物紋理再現(xiàn)修復(fù)等方面都有一定的現(xiàn)實意義。

隨著計算機(jī)視覺、圖像處理技術(shù)的發(fā)展,如今可以通過對物體圖像的預(yù)處理得到物體圖像灰度值，進(jìn)一步分離近似得到圖像中呈現(xiàn)的物體紋理信息，從而使得物體的紋理信息的提取變得更容易。本發(fā)明涉及一種支持力觸覺反饋的紋理力再現(xiàn)交互系統(tǒng)及實現(xiàn)方法，尤其是一種基于圖像亮度信息紋理力再現(xiàn)方法下的紋理力人機(jī)交互系統(tǒng)。通過將捕捉到的圖像信息加以處理，在虛擬接觸點產(chǎn)生相應(yīng)紋理的接觸力，再將得到的相應(yīng)紋理信息通過phantomomni力觸覺交互設(shè)備反饋給操作者，可以使得操作者真實的感知物體表面紋理物理屬性，從而達(dá)到重構(gòu)物體表面三維紋理信息的目的。

技術(shù)實現(xiàn)要素：

發(fā)明目的：本發(fā)明專利通過優(yōu)化算法以及對紋理接觸力合理建模，結(jié)合對圖像信息進(jìn)行預(yù)處理技術(shù)，建立力觸覺反饋的紋理力再現(xiàn)交互系統(tǒng)，系統(tǒng)模塊通過圖片預(yù)處理，位置檢測，碰撞檢測，力交互反饋等模塊，結(jié)合phantomomni力觸覺交互設(shè)備將得到的相應(yīng)紋理信息通過力觸覺再現(xiàn)設(shè)備反饋給操作者，使得操作者真實地感知物體表面紋理物理屬性，從而達(dá)到重構(gòu)物體表面三維紋理信息的目的。

技術(shù)方案如下：

計算機(jī)主機(jī)(2)和力觸覺交互設(shè)備(3)，在計算機(jī)主機(jī)(2)上連接有顯示器(1)，所述計算機(jī)主機(jī)(2)至少包括硬盤(9)和1394b卡(8)，所述硬盤(9)至少包括：圖片預(yù)處理模塊(93)、用于檢測虛擬代理位置的位置檢測模塊(96)、用于檢測虛擬代理與虛擬物體是否發(fā)生碰撞的碰撞檢測模塊(92)、紋理力計算模塊(91)、圖像刷新模塊(93)及力觸覺信息反饋模塊(95)，所述硬盤(9)通過1394b卡(8)及1394連接線與力觸覺交互設(shè)備(3)連接，用于將紋理力計算模塊(91)計算得到的紋理力信息通過力觸覺信息反饋模塊(95)傳輸至力觸覺交互設(shè)備(3)并輸出。

所述圖片預(yù)處理模塊(93)通過以下方式將圖片亮度信息提取并轉(zhuǎn)換計算出虛擬物體高度值：

(1)導(dǎo)入物體表面二維紋理圖片，假設(shè)該二維紋理圖片大小為m×n個像素，即圖像橫向像素個數(shù)為m，縱向像素個數(shù)為n；利用下述公式紅綠藍(lán)過濾器得到的亮度值將圖像處理出紅、綠、藍(lán)三個分量r、g、b：

其中，λ表示波長，e(λ)表示輸入過濾器的光或者射線，sr、sg、sb是三個顏色過濾器；將rgb空間進(jìn)行如下線性變換得到原圖像亮度信息v：

v＝0.299r+0.587g+0.114b

其中0＜r＜1,0<g<1,0<b＜1

(2)運用去噪聲高斯濾波器進(jìn)行濾波去噪，噪聲在圖像處理中被看成一個高頻信號,圖像去噪可由下面的線性卷積實現(xiàn):

其中，i、ω、v(η,ξ)分別表示：去噪后的圖像像素塊頂點亮度信息值、整個圖像平面、原圖像亮度信息；

h(x1,y1)為高斯濾波算子，其表達(dá)式為：

其中選定的參數(shù)σ表征高斯濾波寬度，決定圖片處理平滑程度；

高斯濾波能有效地濾除掉圖像中的細(xì)小噪點和邊緣形狀上細(xì)小的曲折,這種與多通道處理相結(jié)合的濾波方法更能有效地提高彩色圖像的信噪比；

(3)通過均值法對每個像素塊周圍區(qū)域的亮度值求區(qū)域平均值，近似估算該像素塊頂點的亮度值：

以像素塊d0,0為例：

其中，is,t表示去噪后的圖像各個像素塊頂點亮度信息值，(s,t)表示像素塊頂點位置坐標(biāo)，s∈{0,1,2,3,…m}，t∈{0,1,2,3,…n}，di,j表示各個像素塊亮度值，(i,j)表示各像素塊位置坐標(biāo)，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}；

(4)對各個像素塊求得的亮度信息進(jìn)行規(guī)范化處理，得到整體圖像物體紋理的表面高度qm×n，其計算公式如下：

其中di,j表示各個像素塊亮度值，di,j表示處理后各個像素塊物體紋理的表面高度，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}，為整體圖像所有像素塊亮度值的平均值；通過均值法和規(guī)范化處理，在得到像素塊有限紋理信息的同時，減少力觸覺交互系統(tǒng)在數(shù)據(jù)力重現(xiàn)過程中可能出現(xiàn)的嚴(yán)重抖動現(xiàn)象，更真實有效的實現(xiàn)紋理再現(xiàn)；

(5)將圖像輸出的位置坐標(biāo)：px,py,pz轉(zhuǎn)化為虛擬環(huán)境下的坐標(biāo)mx,my,mz，具體坐標(biāo)轉(zhuǎn)換公式如下：

通過位置檢測模塊(96)檢測虛擬代理位置、碰撞檢測模塊(92)檢測虛擬代理與虛擬物體是否發(fā)生碰撞的，當(dāng)虛擬探針沒有觸碰到虛擬物體紋理時，輸出力為0；當(dāng)發(fā)生觸碰，則紋理力計算模塊(91)計算紋理力大小，具體步驟如下：

假設(shè)預(yù)處理后虛擬物體的紋理圖片位于虛擬空間坐標(biāo)oxyz中的oxy平面，即z＝0，且位置左右上下對齊，假設(shè)虛擬碰撞點在虛擬環(huán)境的坐標(biāo)為(x,y,z),得到碰撞點在oxy平面投影點為(x,y),此處(x,y)為像素塊圖片位置坐標(biāo)(i,j)對應(yīng)到oxy平面的位置坐標(biāo)，x∈{0,1,2,3,…m-1}，y∈{0,1,2,3,…n-1}；基于以上圖片預(yù)處理，得到的每個像素塊所對應(yīng)的紋理表面物理高度值，即投影點所對應(yīng)的物體表面紋理高度值為dx,y,則在碰撞點的輸出紋理接觸力計算方法如下：

假設(shè)物體表面為剛性，則紋理接觸力由法向力和切向摩擦力合成，

法向力的計算方法如下：

dx,y為接觸點像素塊物體表面紋理高度值，k為物體表面的剛性系數(shù)；當(dāng)dx,y為正，這表明物體表面在接觸點出處是凸起，如果為負(fù)，則意味著物體表面在接觸點處是凹下的；

切向摩擦力遵循動摩擦力產(chǎn)生公式：

切向摩擦力的方向與oxy平面平行，并與運動方向相反；其中μ(x,y)位虛擬物體在接觸點處的動摩擦因數(shù)；

μ(x,y)＝ρ×r(x,y)

其中，ρ是紋理表面材料的粗糙系數(shù)，r(x,y)為接觸點的局部粗糙系數(shù)，與該接觸點的局部凹凸程度有關(guān)；

計算紋理接觸力后，硬盤(9)通過1394b卡(8)及1394連接線與力觸覺交互設(shè)備(3)連接，將紋理力計算模塊(91)計算得到的紋理力通過力觸覺信息反饋模塊(95)傳輸至力觸覺交互設(shè)備(3)并輸出到操作者處。

力觸覺交互設(shè)備(3)采用phantomomni力觸覺交互設(shè)備(3)，所述phantomomni力觸覺交互設(shè)備(3)通過aps開關(guān)電源(5)供電，通過aps開關(guān)電源之后，將供電電源(4)220v的交流電轉(zhuǎn)化為18v，2.22a所需的電壓，顯示卡(6)、1394b卡(8)、硬盤(9)均通過總線(7)實現(xiàn)雙向傳輸，顯示器(1)通過vga連接線與顯示卡(6)連接。

為驗證本發(fā)明的實施效果，操作者通過phantomomni手控器端部的手柄來觸摸，從而使得操作者真實地感知物體表面紋理物理屬性，從而達(dá)到重構(gòu)物體表面三維紋理信息的目的。能夠讓操作者體驗到比較真實的力/觸覺感知，得到比較滿意的感知效果。

有益效果

(1)和以往常用的虛擬力仿真系統(tǒng)相比，該系統(tǒng)以3dsmax2015、vc++2016和opengl軟件編程為基礎(chǔ)，模型的獲取和修改方便，通過使用力觸覺交互設(shè)備phantomomni即能反饋給操作者逼真的力觸覺信息。

(2)通過結(jié)合圖像預(yù)處理信息，可以方便快速得得到圖像亮度信息。將亮度信息再次進(jìn)行均值化和規(guī)范化，在保證有效紋理信息的同時，極大得減小了力觸覺再現(xiàn)過程中可能出現(xiàn)的嚴(yán)重抖動現(xiàn)象，提高了紋理再現(xiàn)的效率和使用者的真實感體驗。

附圖說明

圖1基于力觸覺交互系統(tǒng)紋理力觸覺再現(xiàn)系統(tǒng)框圖；

圖2系統(tǒng)硬盤模塊示意圖；

圖3系統(tǒng)電路原理圖；

圖4基于力觸覺交互系統(tǒng)紋理力觸覺再現(xiàn)系統(tǒng)流程圖；

圖5紋理力合成示意圖；

圖6素塊d0,0的周圍區(qū)域的亮度值示意圖。

具體實施方式

以下結(jié)合附圖具體說明本發(fā)明技術(shù)方案。

一種虛擬紋理力觸覺反饋仿真系統(tǒng)，如附圖2、3所示，包括：計算機(jī)主機(jī)(2)和力觸覺交互設(shè)備(3)，在計算機(jī)主機(jī)(2)上連接有顯示器(1)，所述計算機(jī)主機(jī)(2)至少包括硬盤(9)和1394b卡(8)，其特征在于，所述硬盤(9)至少包括：圖片預(yù)處理模塊(93)、用于檢測虛擬代理位置的位置檢測模塊(96)、用于檢測虛擬代理與虛擬物體是否發(fā)生碰撞的碰撞檢測模塊(92)、紋理力計算模塊(91)、圖像刷新模塊(94)及力觸覺信息反饋模塊(95)，所述硬盤(9)通過1394b卡(8)及1394連接線與力觸覺交互設(shè)備(3)連接，用于將紋理力計算模塊(91)計算得到的紋理力信息通過力觸覺信息反饋模塊(95)傳輸至力觸覺交互設(shè)備(3)并輸出。

具體操作系統(tǒng)模式塊框圖如附圖1所示，紋理力觸覺再現(xiàn)系統(tǒng)流程如附圖3所示，首先進(jìn)行圖片的導(dǎo)入存儲，結(jié)合本發(fā)明專利的優(yōu)化圖片處理算法，對圖片進(jìn)行亮度信息提取預(yù)處理。在力觸覺交互系統(tǒng)初始化之后，在虛擬環(huán)境對物體進(jìn)行建模產(chǎn)生仿真圖像，通過結(jié)合運動定律算法計算虛擬環(huán)境物體不同位置紋理力，循環(huán)進(jìn)行位置檢測和碰撞檢測，在確定產(chǎn)生碰撞的位置通過力觸覺交互系統(tǒng)將紋理力計算結(jié)果輸出給操作者。

所述圖片預(yù)處理模塊(93)通過以下方式將圖片亮度信息提取并轉(zhuǎn)換計算出虛擬物體高度值：

(1)導(dǎo)入物體表面二維紋理圖片，假設(shè)該二維紋理圖片大小為m×n個像素，即圖像橫向像素個數(shù)為m，縱向像素個數(shù)為n；利用下述公式紅綠藍(lán)過濾器得到的亮度值將圖像處理出紅、綠、藍(lán)三個分量r、g、b：

其中，λ表示波長，e(λ)表示輸入過濾器的光或者射線，sr、sg、sb是三個顏色過濾器；將rgb空間進(jìn)行如下線性變換得到原圖像亮度信息v：

v＝0.299r+0.587g+0.114b

其中0＜r＜1,0<g<1,0<b＜1

(2)運用去噪聲高斯濾波器進(jìn)行濾波去噪，噪聲在圖像處理中被看成一個高頻信號,圖像去噪可由下面的線性卷積實現(xiàn):

其中，i、ω、v(η,ξ)分別表示：去噪后的圖像像素塊頂點亮度信息值、整個圖像平面、原圖像亮度信息；

h(x1,y1)為高斯濾波算子，其表達(dá)式為：

其中選定的參數(shù)σ表征高斯濾波寬度，決定圖片處理平滑程度；

高斯濾波能有效地濾除掉圖像中的細(xì)小噪點和邊緣形狀上細(xì)小的曲折,這種與多通道處理相結(jié)合的濾波方法更能有效地提高彩色圖像的信噪比；

(3)如附圖6所示，通過如下計算公式，以像素塊d0,0為例計算像素塊區(qū)域亮度方法，通過均值法對每個像素塊周圍區(qū)域的亮度值求區(qū)域平均值，近似估算該像素塊頂點的亮度值：

以像素塊d0,0為例：

其中，is,t表示去噪后的圖像各個像素塊頂點亮度信息值，(s,t)表示像素塊頂點位置坐標(biāo)，s∈{0,1,2,3,…m}，t∈{0,1,2,3,…n}，di,j表示各個像素塊亮度值，(i,j)表示各像素塊位置坐標(biāo)，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}；

(4)對各個像素塊求得的亮度信息進(jìn)行規(guī)范化處理，得到整體圖像物體紋理的表面高度qm×n，其計算公式如下：

其中di,j表示各個像素塊亮度值，di,j表示處理后各個像素塊物體紋理的表面高度，i∈{0,1,2,3,…m-1}，j∈{0,1,2,3,…n-1}，為整體圖像所有像素塊亮度值的平均值；通過均值法和規(guī)范化處理，在得到像素塊有限紋理信息的同時，減少力觸覺交互系統(tǒng)在數(shù)據(jù)力重現(xiàn)過程中可能出現(xiàn)的嚴(yán)重抖動現(xiàn)象，更真實有效的實現(xiàn)紋理再現(xiàn)；

(5)將圖像輸出的位置坐標(biāo)：px,py,pz轉(zhuǎn)化為虛擬環(huán)境下的坐標(biāo)mx,my,mz，具體坐標(biāo)轉(zhuǎn)換公式如下：

通過位置檢測模塊(96)檢測虛擬代理位置、碰撞檢測模塊(92)檢測虛擬代理與虛擬物體是否發(fā)生碰撞的，當(dāng)虛擬探針沒有觸碰到虛擬物體紋理時，輸出力為0；當(dāng)發(fā)生觸碰，則紋理力計算模塊(91)計算紋理力大小，具體步驟如下：

假設(shè)預(yù)處理后虛擬物體的紋理圖片位于虛擬空間坐標(biāo)oxyz中的oxy平面，即z＝0，且位置左右上下對齊，假設(shè)虛擬碰撞點在虛擬環(huán)境的坐標(biāo)為(x,y,z),得到碰撞點在oxy平面投影點為(x,y),此處(x,y)為像素塊圖片位置坐標(biāo)(i,j)對應(yīng)到oxy平面的位置坐標(biāo)，x∈{0,1,2,3,…m-1}，y∈{0,1,2,3,…n-1}；基于以上圖片預(yù)處理，得到的每個像素塊所對應(yīng)的紋理表面物理高度值，即投影點所對應(yīng)的物體表面紋理高度值為dx,y,則在碰撞點的輸出紋理接觸力計算方法如下：

假設(shè)物體表面為剛性，則力合成模型如附圖5所示，紋理接觸力由法向力和切向摩擦力合成，

法向力的計算方法如下：

dx,y為接觸點像素塊物體表面紋理高度值，k為物體表面的剛性系數(shù)；當(dāng)dx,y為正，這表明物體表面在接觸點出處是凸起，如果為負(fù)，則意味著物體表面在接觸點處是凹下的；

切向摩擦力遵循動摩擦力產(chǎn)生公式：

切向摩擦力的方向與oxy平面平行，并與運動方向相反；其中μ(x,y)位虛擬物體在接觸點處的動摩擦因數(shù)；

μ(x,y)＝ρ×r(x,y)

其中，ρ是紋理表面材料的粗糙系數(shù)，r(x,y)為接觸點的局部粗糙系數(shù)，與該接觸點的局部凹凸程度有關(guān)；

計算紋理接觸力后，硬盤(9)通過1394b卡(8)及1394連接線與力觸覺交互設(shè)備(3)連接，將紋理力計算模塊(91)計算得到的紋理力通過力觸覺信息反饋模塊(95)傳輸至力觸覺交互設(shè)備(3)并輸出到操作者處。

力觸覺交互設(shè)備(3)采用phantomomni力觸覺交互設(shè)備(3)，所述phantomomni力觸覺交互設(shè)備(3)通過aps開關(guān)電源(5)供電，通過aps開關(guān)電源之后，將供電電源(4)220v的交流電轉(zhuǎn)化為18v，2.22a所需的電壓，顯示卡(6)、1394b卡(8)、硬盤(9)均通過總線(7)實現(xiàn)雙向傳輸，顯示器(1)通過vga連接線與顯示卡(6)連接。

為驗證本發(fā)明的實施效果，操作者通過phantomomni手控器端部的手柄來觸摸，從而使得操作者真實地感知物體表面紋理物理屬性，從而達(dá)到重構(gòu)物體表面三維紋理信息的目的。能夠讓操作者體驗到比較真實的力/觸覺感知，得到比較滿意的感知效果。