本發(fā)明屬于fmri數據分析領域，涉及一種基于隱狀態(tài)模型的fmri自然圖像解碼方法。

背景技術：

fmri(functionalmagneticresonanceimaging，功能核磁共振成像)是一種通過血氧水平變化探測大腦神經活動的檢測技術。基于fmri信號的編解碼模型成為近兩年的研究熱點，模型精度越高，說明該模型對大腦信息處理的解釋越合理，對于研究大腦處理信息的模式有非常重要的參考意義。目前研究最為關注的是基于視覺fmri信號的編解碼模型。

視覺fmri信號編碼模型的特點在于，通過視覺刺激預測大腦響應。例如，對每一個體素的時間序列估計一個一般線性模型(glm，generallinearmodel)就可以算作是一種編碼模型。在這模型中，假設每個體素最終測得的時間序列是由該體素對每一個實驗條件的血液動力學響應所疊加起來的序列再混疊一些噪聲構成。對所有體素擬合該模型，就能得到每個體素對每個實驗條件的響應強度。一般線性模型的操作過程是用實驗刺激序列和測得的信號預測大腦響應。在編碼模型中，認為響應強度是圖像各個特征的加權和。首先要提取和刺激圖像相關的特征矩陣，對這些特征矩陣訓練出一個權重，每一個體素對每一幅圖都能夠得到一個權向量，而對于一副新圖，只要對該圖像的特征矩陣進行加權求和就能夠得到最終的預測強度。

視覺fmri信號解碼模型的特點在于，用大腦響應去預測視覺刺激。解碼模型按目的主要有分類、識別、重構三類。分類模型是要分出被試者所看的圖像種類，例如，刺激圖像的內容有動物和植物，解碼模型需要根據測得的信號預測被試者所看到的到底是動物還是植物。識別模型的目的是要根據測得的信號預測出被試者看的是哪一副圖。重構模型中，要把被試者所看到的刺激圖像恢復出來。分類解碼模型是最簡單的，主要應用一些機器學習的方法就能夠達到比較理想的結果。而識別解碼模型相對較復雜，其中有一種思路是先編碼再解碼。例如，先訓練一個一般的編碼模型，簡單來說就是先得到圖像特征矩陣再用該矩陣訓練出一個權向量。該模型能夠預測出刺激圖像對應的相關體素的響應強度，這些體素的響應強度組成一幅腦活動圖(activitypattern)，其實就是由響應強度組成的一個向量。當得到一個測得的腦活動圖時，將這個腦活動圖與和編碼模型預測出的腦活動圖進行對比，哪一幅圖的預測圖和測得的活動圖更接近，則認為此圖就是被試者所看的圖。

重構解碼模型可以拆分為簡單的分類問題。在二值圖像實驗中，刺激圖像是網格狀的，每一格中要么有閃爍的黑白棋盤格紋理，要么是全灰背景，即，每一格中要么是有刺激的要么是無刺激的。這時，用測得的響應強度向量去分類每一格中到底是有刺激還是無刺激，分類完成后，再把所有格子的分類結果拼湊在一起，就能夠得到最終重構的刺激圖像。在分類是有刺激還是無刺激時，可應用簡單的支持向量機或者神經網絡等機器學習方法。

傳統(tǒng)的圖像解碼方法存在模型精度不高的問題，造成了識別的準確率較低。

技術實現要素：

本發(fā)明的目的在于針對上述現有技術中的問題，提供一種基于隱狀態(tài)模型的fmri自然圖像解碼方法，該方法能夠大幅度縮小預測響應強度的誤差，并且大幅度提高圖像識別的準確率，進而為探究人類視覺皮層處理信息的數學模式提供了支持和依據。

為了實現上述目的，本發(fā)明采用的技術方案包括以下步驟：

1)求出刺激圖像的特征矩陣，大腦體素的響應強度為特征矩陣的加權和；

2)求出特征矩陣的權向量以及估計的誤差向量；

3)求出每個體素的誤差向量與其他體素的誤差向量之間的相關系數，根據相關系數越大對體素響應影響越大的關系，找出對目標體素響應影響明顯的體素；

4)通過主成分分析法求取體素誤差向量的主成分，作為引入的隱狀態(tài)特征；

5)按照響應強度為特征矩陣和隱狀態(tài)的加權和，重新估計模型，求出新的權向量，得到訓練出的隱狀態(tài)編碼模型，通過訓練出的隱狀態(tài)編碼模型進行圖像識別。

所述的步驟1)首先將刺激圖像劃分為網格狀，在每個格點上設計五個不同空間頻率、八個不同方向、兩個正交相位共80個gbaor濾波器，對圖像進行濾波，得到特征矩陣x；

單個體素對應每個特征矩陣x有一個響應強度，則有向量y＝[y1,y2,…,yi,…yn]∈r^n×1，其中，不同的元素表示該體素對不同刺激圖像的響應強度，共有n幅圖，x＝[x1,x2,…,xi,…,xn]^t∈r^(n×(m+1))，其中，不同的元素表示不同刺激圖像的特征矩陣。

所述的步驟2)通過編碼模型y＝xα+r進行預估計，通過感受野模型計算出每一個體素的感受野之后，篩選出感受野有效的體素，最后求解出每個體素對應的誤差向量r＝y(tǒng)-xα。

所述的相關系數為皮爾遜相關系數，并且由大至小按序選擇出多個對目標體素響應影響明顯的體素。所述的隱狀態(tài)編碼模型為y＝xα+hβ+n，通過pca求取選出體素對應相關誤差向量的主成分，作為式中的隱狀態(tài)h。

所述的步驟5)首先通過新的權向量求解出每個體素對每個刺激圖像的響應強度，得到由多個體素響應強度組成的腦活動圖，所得腦活動圖與測試集中預測的每一個刺激圖像相對應；再求出測得的腦活動圖與預測腦活動圖之間的誤差，經過步驟4)求解出每一個刺激圖像對應的隱狀態(tài)。圖像識別的具體過程為：

1、向量v＝[v1,v2,…,vi,…,vp]^t∈r^(p×1)表示對某一幅刺激圖像測得的腦活動圖，式中的不同元素分別表示不同體素對該圖像的響應強度，向量v′＝[v1′,v2′,…,vi′,…,vp′]^t∈r^(p×1)表示通過一般編碼模型預測的活動圖；2、求v與v′二者之間的誤差向量，e＝v-ν′，e＝[e1,e2,…,ei,…,ep]^t∈r^(p×1)，式中的不同元素分別表示不同體素的預測強度與真實強度之間的誤差；3、假定第j,k,l個體素對第i個體素的影響最大，則選出第j,k,l個體素的誤差值；4、求解hi＝f(ej,ek,el)，式中的函數f(·)是步驟5)中用pca學習出的線性變換；5、用隱狀態(tài)編碼模型預測腦活動圖，計算6、對p個體素和n幅刺激圖像重復以上過程，最終得到n個隱狀態(tài)編碼模型預測的腦活動圖，所述的每個腦活動圖由n個預測的體素響應強度組成；7、將預測得到的n個腦活動圖與測量得到的活動圖一一進行相關性分析，認為相關系數最大的那一個預測圖所對應的刺激圖像為儀器檢測時被試者所觀看的圖像。

與現有技術相比，本發(fā)明具有如下的有益效果：假設體素的響應強度是特征矩陣和隱狀態(tài)的加權和，因此首先計算出刺激圖像的特征矩陣，訓練出一個權向量，然后再求出訓練模型的誤差，這樣每一個體素都對應了一個誤差向量。通過主成分分析法，求出對某個體素響應強度有影響的幾個體素的誤差向量的主成分，將主成分作為該體素的隱狀態(tài)，將隱狀態(tài)加入特征矩陣再重新訓練一個權向量，這樣即得到了隱狀態(tài)編碼模型。在解碼過程中，首先用隱狀態(tài)編碼模型預測出每一幅圖對應的響應強度序列，將測得的響應強度序列與預測的序列進行相關運算，相關性最大的一幅圖即為被試者所看的刺激圖像。本發(fā)明引入隱狀態(tài)作為新的變量，結合圖像的紋理信息建立隱狀態(tài)編碼模型進行圖像識別，通過fmri信號能夠預測被試者所看到的刺激圖像，圖像識別模型穩(wěn)定，大幅縮小了預測響應強度的誤差，有效地提高了圖像識別的準確率以及預測精度，在通過腦信號解碼視覺信息領域易于推廣和應用。

附圖說明

圖1本發(fā)明隱狀態(tài)編碼模型的原理圖；

圖2本發(fā)明訓練隱狀態(tài)編碼模型的流程圖；

圖3本發(fā)明進行圖像識別的流程圖；

圖4隱狀態(tài)編碼模型與一般編碼模型預測誤差的對比統(tǒng)計圖；

圖5隱狀態(tài)解碼模型與一般解碼模型識別準確率的對比統(tǒng)計圖；

具體實施方式

下面結合附圖對本發(fā)明做進一步的詳細說明。

參見圖1，隱狀態(tài)編碼模型的工作原理為：將由一般編碼模型預測得到的腦活動圖與真實測得的腦活動圖之間的誤差進行一個線性變換，首先估算出隱狀態(tài)，求出新的權向量，得到訓練出的隱狀態(tài)編碼模型，再由隱狀態(tài)模型預測出新的腦活動圖。

參見圖2，隱狀態(tài)解碼模型的第一部分是隱狀態(tài)編碼模型，實施過程如下：

1、把刺激圖像劃分為網格狀，在每個格點上，設計五個不同空間頻率、八個不同方向、兩個正交相位共80個gbaor濾波器，對圖像進行濾波，得到特征矩陣x。單個體素對應每個特征矩陣x有一個響應強度，則有向量y＝[y1,y2,…,yi,…yn]∈r^n×1，其中，不同的元素表示該體素對不同的刺激圖像的響應強度，一共有n幅圖，x＝[x1,x2,…,xi,…,xn]^t∈r^(n×(m+1))，其中，不同的元素表示不同刺激圖像的特征矩陣。

2、用一般編碼模型進行預估計，并通過對每一個體素估算使其感受野模型，挑選出預估計中預測效果較好且體素感受野有效的體素，進行下一步。

3、用最小二乘法估計一般編碼模型y＝xα+r，求出每個體素對應的誤差向量r＝y(tǒng)-xα。

4、對第i個體素，計算其誤差向量與其他體素的誤差向量之間的皮爾遜相關系數。

5、選擇相關系數最高的幾個體素，認為這幾個體素對第i個體素的響應強度影響最大。

6、用pca求取這幾個體素對應的誤差向量的主成分，作為隱狀態(tài)h。

7、估計隱狀態(tài)編碼模型y＝xα+hβ+n。

參見圖3，隱狀態(tài)編碼模型的第二部分是圖像識別，具體過程如下：

1、向量v＝[v1,v2,…,vi,…,vp]^t∈r^(p×1)表示對某一幅刺激圖像測得的腦活動圖，式中的不同元素表示不同體素對該圖像的響應強度；向量v′＝[v1′,v2′,…,vi′,…,vp′]^t∈r^(p×1)表示通過一般編碼模型預測得出的腦活動圖。

2、求二者之間的誤差向量，e＝v-ν′，e＝[e1,e2,…,ei,…,ep]^t∈r^(p×1)，式中不同元素表示不同體素的預測強度與真實強度之間的誤差。

3、根據得到的第j,k,l個體素對第i個體素的影響最大，則選出第j,k,l個體素的誤差值。

4、求hi＝f(ej,ek,e1)，其中函數f(·)是用pca學習出的線性變換。

5、用隱狀態(tài)編碼模型預測腦活動圖，計算

6、對p個體素和n幅刺激圖像重復這個過程，最終得到n個隱狀態(tài)編碼模型預測的腦活動圖，每個活動圖由n個預測的體素響應強度組成

7、將預測所得的n個腦活動圖與測出的腦活動圖一一做相關性分析，認為相關系數最大的那一個預測圖所對應的刺激圖像即為儀器檢測時被試者所觀看的圖像。

圖4為隱狀態(tài)編碼模型的單個體素響應強度預測誤差對比統(tǒng)計，圖中橫線條紋柱形表示用一般編碼模型預測的體素響應強度與真值之間的均方誤差，豎線條紋柱形表示隱狀態(tài)解碼模型的預測誤差。其中對被試者一的數據，前者是0.3453，后者是0.2522，對于被試者二的數據，前者是0.2269，后者是0.3115。綜合表現來看，隱狀態(tài)編碼模型將預測誤差減小了27％。

圖5為模型識別準確率的對比統(tǒng)計，圖中橫線條紋柱形表示一般解碼模型的識別準確率，豎線條紋柱形表示隱狀態(tài)解碼模型的識別準確率。對于被試者一的數據，前者的識別準確率是73％，后者的識別準確率是89％，對于被試者二的數據，前者的識別準確率是70％，后者的識別準確率是75％。對比可見，隱狀態(tài)解碼模型的識別準確率最大提升了25％。