本申請涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種拼接線優(yōu)化方法及設(shè)備。

背景技術(shù)：

現(xiàn)有技術(shù)中，圖像拼接技術(shù)不僅在民用領(lǐng)域有重要的應(yīng)用，如風(fēng)景照的全景拼接，在軍用領(lǐng)域也有很重要的應(yīng)用，如無人機航拍圖像序列的拼接。現(xiàn)有的圖像拼接方法主要有：基于頻域的變換位移方法，基于像素灰度級的方法和基于圖像特征的拼接方法。但由于圖像拼接技術(shù)的局限性，使得圖像拼接之后得到的拼接線效果不佳，導(dǎo)致在不同拍攝視覺下同一物體的拼接出現(xiàn)扭曲和誤差，又由于不同拍攝角度小的拍攝圖像的亮度不一，也導(dǎo)致圖像拼接后得不到理想的拼接效果，故在對圖像進(jìn)行拼接后，如何得到視覺效果很好的拼接線成為業(yè)界研究的主要課題。

技術(shù)實現(xiàn)要素：

本申請的一個目的是提供一種拼接線優(yōu)化方法及設(shè)備，解決現(xiàn)有對圖像進(jìn)行拼接后得到的拼接線的視覺效果不佳的問題。

根據(jù)本申請的一個方面，提供了一種拼接線優(yōu)化方法，該方法包括：

計算待拼接的兩幅原始圖像之間的變換關(guān)系；

基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊拼接，確定所述兩幅原始圖像之間的初始拼接線；

對所述初始拼接線進(jìn)行優(yōu)化，得到所述兩幅原始圖像之間的最優(yōu)拼接線。

進(jìn)一步地，上述方法中，所述基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊拼接，確定所述兩幅原始圖像之間的初始拼接線，包括：

基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊，并根據(jù)最大流最小割算法對對齊后的兩幅原始圖像進(jìn)行拼接，確定所述兩幅原始圖像之間的初始拼接線。

進(jìn)一步地，上述方法中，所述對所述初始拼接線進(jìn)行優(yōu)化，得到所述兩幅原始圖像之間的最優(yōu)拼接線，包括：

在所述初始拼接線的兩側(cè)的預(yù)設(shè)像素范圍內(nèi)，預(yù)置至少一個初始聚類中心點；

通過硬聚類算法和所述初始聚類中心點，對兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行聚類，得到每個所述初始聚類中心點對應(yīng)的聚類像素區(qū)域；

根據(jù)確定的每個所述聚類像素區(qū)域與所述初始拼接線的相對位置關(guān)系，按照預(yù)設(shè)的調(diào)整規(guī)則對所述初始拼接線進(jìn)行調(diào)整，得到對應(yīng)的調(diào)整拼接線；

更新所述調(diào)整拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點分別對應(yīng)的權(quán)重，基于所述更新的權(quán)重和所述最大流最小割算法，再次對所述對齊后的兩幅原始圖像進(jìn)行拼接，得到所述兩幅原始圖像之間的更新拼接線；

將所述更新拼接線確定為所述初始拼接線，重復(fù)如上步驟，直至對所述初始拼接線的調(diào)整為零。

進(jìn)一步地，上述方法中，所述預(yù)設(shè)的調(diào)整規(guī)則包括：

若所述相對位置關(guān)系為所述初始拼接線與所述聚類像素區(qū)域不相連，則所述聚類像素區(qū)域?qū)?yīng)的初始拼接線保持不變。

進(jìn)一步地，上述方法中，所述預(yù)設(shè)的調(diào)整規(guī)則包括：

若所述相對位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)相等，則所述聚類像素區(qū)域?qū)?yīng)的初始拼接線保持不變。

進(jìn)一步地，上述方法中，所述預(yù)設(shè)的調(diào)整規(guī)則包括：

若所述相對位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)不相等，則將包含所述聚類像素區(qū)域內(nèi)的像素點個數(shù)較少的一側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所述聚類像素區(qū)域的邊緣線，確定為所述調(diào)整拼接線。

進(jìn)一步地，上述方法中，所述將所述更新拼接線確定為所述初始拼接線的同時，還包括：

分別對所述初始聚類中心點和所述初始拼接線的兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行更新。

進(jìn)一步地，上述方法中，所述分別對所述初始聚類中心點和所述初始拼接線的兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行更新，包括：

確定所述初始拼接線保持不變時對應(yīng)的所述聚類像素區(qū)域的區(qū)域個數(shù)，基于所述區(qū)域個數(shù)對所述初始聚類中心點進(jìn)行移除更新；

基于所述初始拼接線保持不變時對應(yīng)的所述聚類像素區(qū)域內(nèi)的像素點，對所述初始拼接線的兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行過濾更新。

進(jìn)一步地，上述方法中，所述計算待拼接的兩幅原始圖像之間的變換關(guān)系，包括：

分別提取待拼接的兩幅原始圖像的尺度不變特征變換sift(scale-invariantfeaturetransform)特征點；

基于所述sift特征點采用歐氏距離的最近鄰算法，對所述兩幅原始圖像進(jìn)行特征點匹配，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置；

基于所述至少四組特征點對及其位置，計算得到所述兩幅原始圖像之間的變換關(guān)系。

進(jìn)一步地，上述方法中，所述采用歐氏距離的最近鄰算法對所述兩幅原始圖像進(jìn)行特征點匹配，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置，包括：

從所述兩幅原始圖像中的一幅原始圖像中遍歷選取一sift特征點；

分別計算所述sift特征點的位置與所述兩幅原始圖像中的另一幅原始圖像中的每個sift特征點的位置之間的歐式距離，并將所述歐式距離按照從小到大的順序排列；

若排在第一位的歐式距離與排在第二位的歐式距離之間的比值，小于預(yù)設(shè)的距離比例閾值，則將計算所述排在第一位的歐式距離的兩個sift特征點確定為一組特征點對，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置。

進(jìn)一步地，上述方法中，所述基于所述至少四組特征點對及其位置，計算得到所述兩幅原始圖像之間的變換關(guān)系，包括：

預(yù)置隨機選取次數(shù)；

每次從所有的特征點對中隨機選取四組特征點對及其位置，基于所述每次選取的四組特征點對及其位置進(jìn)行計算，得到所述隨機選取次數(shù)中每次選取的四組特征點對對應(yīng)的變換關(guān)系；

基于所述隨機選取次數(shù)中每次選取的四組特征點對對應(yīng)的變換關(guān)系，優(yōu)選得到所述兩幅原始圖像之間的變換關(guān)系。

進(jìn)一步地，上述方法中，所述基于所述隨機選取次數(shù)中每次選取的四組特征點對對應(yīng)的變換關(guān)系，優(yōu)選得到所述兩幅原始圖像之間的變換關(guān)系，包括：

對于每次所述選取的四組特征點對之外剩余的特征點對，按照所述選取的四組特征點對對應(yīng)的變換關(guān)系進(jìn)行變換誤差計算，得到所述剩余的特征點對之間的變換誤差值；

基于預(yù)設(shè)的變換誤差閾值和所述剩余的特征點對之間的變換誤差值，確定每次所述選取的四組特征點對對應(yīng)的變換關(guān)系的內(nèi)點的個數(shù)；

在所述隨機選取次數(shù)中，選取內(nèi)點的個數(shù)最大時對應(yīng)的變換關(guān)系，作為所述兩幅原始圖像之間的變換關(guān)系。

進(jìn)一步地，上述方法中，所述基于預(yù)設(shè)的變換誤差閾值和所述剩余的特征點對之間的變換誤差值，確定每次所述選取的四組特征點對對應(yīng)的變換關(guān)系的內(nèi)點的個數(shù)，包括：

判斷所述剩余的特征點對之間的變換誤差值是否小于等于所述預(yù)設(shè)的變換誤差閾值，

若是，則將所述剩余的特征點對中的sift特征點確定為所述選取的四組特征點對對應(yīng)的變換關(guān)系的一個內(nèi)點，并統(tǒng)計所述內(nèi)點的個數(shù)，得到每次所述選取的四組特征點對對應(yīng)的變換關(guān)系的內(nèi)點的個數(shù)。

進(jìn)一步地，上述方法中，所述基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊拼接，確定所述兩幅原始圖像之間的初始拼接線之后，還包括：

確定拼接后所述兩幅原始圖像的重疊區(qū)域和非重疊區(qū)域，統(tǒng)計所述重疊區(qū)域的像素點的個數(shù)和像素平均值；

基于所述重疊區(qū)域及其像素點的個數(shù)和像素平均值，分別對所述兩幅原始圖像的非重疊區(qū)域的每個像素點進(jìn)行增益補償。

進(jìn)一步地，上述方法中，所述基于所述重疊區(qū)域及其像素點的個數(shù)和像素平均值，分別對所述兩幅原始圖像的非重疊區(qū)域的每個像素點進(jìn)行增益補償，包括：

設(shè)所述兩幅原始圖像分別為圖a和圖b，其中，圖a和圖b的重疊區(qū)域為sab，圖a中的非重疊區(qū)域為sa，圖b中的非重疊區(qū)域為sb；

采用增益補償算法，對重疊區(qū)域sab及其像素點的個數(shù)和像素平均值進(jìn)行計算，分別得到圖a中的sa對應(yīng)的補償增益值ga和圖b中的sb對應(yīng)的補償增益值gb；

基于ga對圖a中的sa的每個像素點的像素值進(jìn)行增益補償，同時基于gb對圖b中的sb的每個像素點的像素值進(jìn)行增益補償。

根據(jù)本申請的另一方面，還提供了一種拼接線優(yōu)化設(shè)備，其中，所述設(shè)備包括：

計算裝置，用于計算待拼接的兩幅原始圖像之間的變換關(guān)系；

拼接裝置，用于基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊拼接，確定所述兩幅原始圖像之間的初始拼接線；

優(yōu)化裝置，用于對所述初始拼接線進(jìn)行優(yōu)化，得到所述兩幅原始圖像之間的最優(yōu)拼接線。

進(jìn)一步地，上述設(shè)備中，所述拼接裝置用于：

基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊，并根據(jù)最大流最小割算法對對齊后的兩幅原始圖像進(jìn)行拼接，確定所述兩幅原始圖像之間的初始拼接線。

進(jìn)一步地，上述設(shè)備中，所述優(yōu)化裝置用于：

在所述初始拼接線的兩側(cè)的預(yù)設(shè)像素范圍內(nèi)，預(yù)置至少一個初始聚類中心點；

通過硬聚類算法和所述初始聚類中心點，對兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行聚類，得到每個所述初始聚類中心點對應(yīng)的聚類像素區(qū)域；

根據(jù)確定的每個所述聚類像素區(qū)域與所述初始拼接線的相對位置關(guān)系，按照預(yù)設(shè)的調(diào)整規(guī)則對所述初始拼接線進(jìn)行調(diào)整，得到對應(yīng)的調(diào)整拼接線；

更新所述調(diào)整拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點分別對應(yīng)的權(quán)重，基于所述更新的權(quán)重和所述最大流最小割算法，再次對所述對齊后的兩幅原始圖像進(jìn)行拼接，得到所述兩幅原始圖像之間的更新拼接線；

將所述更新拼接線確定為所述初始拼接線，重復(fù)如上步驟，直至對所述初始拼接線的調(diào)整為零。

進(jìn)一步地，上述設(shè)備中，所述預(yù)設(shè)的調(diào)整規(guī)則包括：

若所述相對位置關(guān)系為所述初始拼接線與所述聚類像素區(qū)域不相連，則所述聚類像素區(qū)域?qū)?yīng)的初始拼接線保持不變。

進(jìn)一步地，上述設(shè)備中，所述預(yù)設(shè)的調(diào)整規(guī)則包括：

若所述相對位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)相等，則所述聚類像素區(qū)域?qū)?yīng)的初始拼接線保持不變。

進(jìn)一步地，上述設(shè)備中，所述預(yù)設(shè)的調(diào)整規(guī)則包括：

若所述相對位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)不相等，則將包含所述聚類像素區(qū)域內(nèi)的像素點個數(shù)較少的一側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所述聚類像素區(qū)域的邊緣線，確定為所述調(diào)整拼接線。

進(jìn)一步地，上述設(shè)備中，所述優(yōu)化裝置還用于：

分別對所述初始聚類中心點和所述初始拼接線的兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行更新。

進(jìn)一步地，上述設(shè)備中，所述優(yōu)化裝置用于：

確定所述初始拼接線保持不變時對應(yīng)的所述聚類像素區(qū)域的區(qū)域個數(shù)，基于所述區(qū)域個數(shù)對所述初始聚類中心點進(jìn)行移除更新；

基于所述初始拼接線保持不變時對應(yīng)的所述聚類像素區(qū)域內(nèi)的像素點，對所述初始拼接線的兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行過濾更新。

進(jìn)一步地，上述設(shè)備中，所述步驟計算裝置用于：

分別提取待拼接的兩幅原始圖像的尺度不變特征變換sift特征點；

基于所述sift特征點采用歐氏距離的最近鄰算法，對所述兩幅原始圖像進(jìn)行特征點匹配，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置；

基于所述至少四組特征點對及其位置，計算得到所述兩幅原始圖像之間的變換關(guān)系。

進(jìn)一步地，上述設(shè)備中，所述計算裝置用于：

從所述兩幅原始圖像中的一幅原始圖像中遍歷選取一sift特征點；

分別計算所述sift特征點的位置與所述兩幅原始圖像中的另一幅原始圖像中的每個sift特征點的位置之間的歐式距離，并將所述歐式距離按照從小到大的順序排列；

若排在第一位的歐式距離與排在第二位的歐式距離之間的比值，小于預(yù)設(shè)的距離比例閾值，則將計算所述排在第一位的歐式距離的兩個sift特征點確定為一組特征點對，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置。

進(jìn)一步地，上述設(shè)備中，所述計算裝置用于：

預(yù)置隨機選取次數(shù)；

每次從所有的特征點對中隨機選取四組特征點對及其位置，基于所述每次選取的四組特征點對及其位置進(jìn)行計算，得到所述隨機選取次數(shù)中每次選取的四組特征點對對應(yīng)的變換關(guān)系；

基于所述隨機選取次數(shù)中每次選取的四組特征點對對應(yīng)的變換關(guān)系，優(yōu)選得到所述兩幅原始圖像之間的變換關(guān)系。

進(jìn)一步地，上述設(shè)備中，所述計算裝置用于：

對于每次所述選取的四組特征點對之外剩余的特征點對，按照所述選取的四組特征點對對應(yīng)的變換關(guān)系進(jìn)行變換誤差計算，得到所述剩余的特征點對之間的變換誤差值；

基于預(yù)設(shè)的變換誤差閾值和所述剩余的特征點對之間的變換誤差值，確定每次所述選取的四組特征點對對應(yīng)的變換關(guān)系的內(nèi)點的個數(shù)；

在所述隨機選取次數(shù)中，選取內(nèi)點的個數(shù)最大時對應(yīng)的變換關(guān)系，作為所述兩幅原始圖像之間的變換關(guān)系。

進(jìn)一步地，上述設(shè)備中，所述計算裝置用于：

判斷所述剩余的特征點對之間的變換誤差值是否小于等于所述預(yù)設(shè)的變換誤差閾值，

若是，則將所述剩余的特征點對中的sift特征點確定為所述選取的四組特征點對對應(yīng)的變換關(guān)系的一個內(nèi)點，并統(tǒng)計所述內(nèi)點的個數(shù)，得到每次所述選取的四組特征點對對應(yīng)的變換關(guān)系的內(nèi)點的個數(shù)。

進(jìn)一步地，上述設(shè)備中，所述拼接裝置還用于：

確定拼接后所述兩幅原始圖像的重疊區(qū)域和非重疊區(qū)域，統(tǒng)計所述重疊區(qū)域的像素點的個數(shù)和像素平均值；

基于所述重疊區(qū)域及其像素點的個數(shù)和像素平均值，分別對所述兩幅原始圖像的非重疊區(qū)域的每個像素點進(jìn)行增益補償。

進(jìn)一步地，上述設(shè)備中，所述拼接裝置用于包括：

設(shè)所述兩幅原始圖像分別為圖a和圖b，其中，圖a和圖b的重疊區(qū)域為sab，圖a中的非重疊區(qū)域為sa，圖b中的非重疊區(qū)域為sb；

采用增益補償算法，對重疊區(qū)域sab及其像素點的個數(shù)和像素平均值進(jìn)行計算，分別得到圖a中的sa對應(yīng)的補償增益值ga和圖b中的sb對應(yīng)的補償增益值gb；

基于ga對圖a中的sa的每個像素點的像素值進(jìn)行增益補償，同時基于gb對圖b中的sb的每個像素點的像素值進(jìn)行增益補償。

根據(jù)本申請的另一方面，還提供了一種計算機可讀介質(zhì)，其上存儲有計算機可讀指令，所述計算機可讀指令可被處理器執(zhí)行以實現(xiàn)如上述所述的方法。

根據(jù)本申請的另一方面，還提供了一種用于拼接線優(yōu)化的設(shè)備，其中，該設(shè)備包括：

一個或多個處理器；以及

存儲有計算機可讀指令的存儲器，所述計算機可讀指令在被執(zhí)行時使所述處理器執(zhí)行如上述所述方法的操作。

與現(xiàn)有技術(shù)相比，本申請的一實施例中，當(dāng)需要對拍攝的或者獲取的原始圖像進(jìn)行拼接時，需要計算待拼接的兩幅原始圖像之間的變換關(guān)系；基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊拼接，確定所述兩幅原始圖像之間的初始拼接線；為了得到視覺效果更好的圖像拼接之后的拼接線；對所述初始拼接線進(jìn)行優(yōu)化，得到所述兩幅原始圖像之間的最優(yōu)拼接線，不僅有效地提高了圖像拼接后的拼接線(此處為最優(yōu)拼接線)的視覺效果，還基于提高視覺效果的最優(yōu)拼接線提高了兩幅原始圖像進(jìn)行圖像拼接后的拼接圖像的視覺效果。

進(jìn)一步地，本申請在計算待拼接的兩幅原始圖像之間的變換關(guān)系時，包括：分別提取待拼接的兩幅原始圖像的尺度不變特征變換sift特征點；基于所述sift特征點采用歐氏距離的最近鄰算法，對所述兩幅原始圖像進(jìn)行特征點匹配，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置；基于所述至少四組特征點對及其位置，計算得到所述兩幅原始圖像之間的變換關(guān)系，實現(xiàn)了對在不同的拍攝視角下拍攝的同一桌面場景中的、待拼接的兩幅原始圖像之間的對應(yīng)關(guān)系(即變換關(guān)系)的計算，進(jìn)而得到待拼接的兩幅原始圖像之間的變換關(guān)系，以便后續(xù)基于該變換關(guān)系對待拼接的兩幅原始圖像進(jìn)行圖像拼接。

進(jìn)一步地，本申請在基于所述sift特征點采用歐氏距離的最近鄰算法，對所述兩幅原始圖像進(jìn)行特征點匹配，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置中，具體包括：從所述兩幅原始圖像中的一幅原始圖像中遍歷選取一sift特征點；分別計算所述sift特征點的位置與所述兩幅原始圖像中的另一幅原始圖像中的每個sift特征點的位置之間的歐式距離，并將所述歐式距離按照從小到大的順序排列；若排在第一位的歐式距離與排在第二位的歐式距離之間的比值，小于預(yù)設(shè)的距離比例閾值，則將計算所述排在第一位的歐式距離的兩個sift特征點確定為一組特征點對，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置，實現(xiàn)了采用歐氏距離的最近鄰算法來對兩幅原始圖像之間的sift特征點進(jìn)行特征匹配，以便后續(xù)基于特征匹配得到的至少四組特征點對來得到兩幅原始圖像之間的變換關(guān)系。

進(jìn)一步地，本申請在基于所述至少四組特征點對及其位置，計算得到所述兩幅原始圖像之間的變換關(guān)系中，具體包括：預(yù)置隨機選取次數(shù)；每次從所有的特征點對中隨機選取四組特征點對及其位置，基于所述每次選取的四組特征點對及其位置進(jìn)行計算，得到所述隨機選取次數(shù)中每次選取的四組特征點對對應(yīng)的變換關(guān)系；基于所述隨機選取次數(shù)中每次選取的四組特征點對對應(yīng)的變換關(guān)系，優(yōu)選得到所述兩幅原始圖像之間的變換關(guān)系，實現(xiàn)了通過隨機抽樣一致性方法來計算得到兩幅原始圖像之間的單應(yīng)性矩陣，以便后續(xù)基于該單應(yīng)性矩陣對待拼接的兩幅原始圖像進(jìn)行圖像拼接。

進(jìn)一步地，本申請在基于所述隨機選取次數(shù)中每次選取的四組特征點對對應(yīng)的變換關(guān)系，優(yōu)選得到所述兩幅原始圖像之間的變換關(guān)系中，具體包括：對于每次所述選取的四組特征點對之外剩余的特征點對，按照所述選取的四組特征點對對應(yīng)的變換關(guān)系進(jìn)行變換誤差計算，得到所述剩余的特征點對之間的變換誤差值；基于預(yù)設(shè)的變換誤差閾值和所述剩余的特征點對之間的變換誤差值，確定每次所述選取的四組特征點對對應(yīng)的變換關(guān)系的內(nèi)點的個數(shù)；在所述隨機選取次數(shù)中，選取內(nèi)點的個數(shù)最大時對應(yīng)的變換關(guān)系，作為所述兩幅原始圖像之間的變換關(guān)系，實現(xiàn)對兩幅原始圖像之間的變換關(guān)系的優(yōu)選，進(jìn)而得到能夠精確反映所述兩幅原始圖像之間的對應(yīng)關(guān)系的變換關(guān)系，進(jìn)一步保證得到的所述變換關(guān)系的精確度。

進(jìn)一步地，本申請在基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊拼接，確定所述兩幅原始圖像之間的初始拼接線之后，還包括：確定拼接后所述兩幅原始圖像的重疊區(qū)域和非重疊區(qū)域，統(tǒng)計所述重疊區(qū)域的像素點的個數(shù)和像素平均值；基于所述重疊區(qū)域及其像素點的個數(shù)和像素平均值，分別對所述兩幅原始圖像的非重疊區(qū)域的每個像素點進(jìn)行增益補償，實現(xiàn)對兩幅原始圖像的非重疊區(qū)域曝光補償，使得對兩幅原始圖像進(jìn)行拼接后得到的重疊區(qū)域的一側(cè)或兩側(cè)的非重疊區(qū)域的亮度保持一致，進(jìn)一步實現(xiàn)拼接后的重疊區(qū)域和非重疊區(qū)域的色彩的平穩(wěn)過渡，進(jìn)一步得到視覺效果更好的兩幅原始圖像拼接后的拼接圖像和拼接線。

進(jìn)一步地，本申請在對所述初始拼接線進(jìn)行優(yōu)化，得到所述兩幅原始圖像之間的最優(yōu)拼接線，具體步驟如下：在所述初始拼接線的兩側(cè)的預(yù)設(shè)像素范圍內(nèi)，預(yù)置至少一個初始聚類中心點；通過硬聚類算法和所述初始聚類中心點，對兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行聚類，得到每個所述初始聚類中心點對應(yīng)的聚類像素區(qū)域；根據(jù)確定的每個所述聚類像素區(qū)域與所述初始拼接線的相對位置關(guān)系，按照預(yù)設(shè)的調(diào)整規(guī)則對所述初始拼接線進(jìn)行調(diào)整，得到對應(yīng)的調(diào)整拼接線；更新所述調(diào)整拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點分別對應(yīng)的權(quán)重，基于所述更新的權(quán)重和所述最大流最小割算法，再次對所述對齊后的兩幅原始圖像進(jìn)行拼接，得到所述兩幅原始圖像之間的更新拼接線；將所述更新拼接線確定為所述初始拼接線，重復(fù)如上步驟，直至對所述初始拼接線的調(diào)整為零，達(dá)到了對兩幅原始圖像進(jìn)行對齊拼接之后的初始拼接線進(jìn)行優(yōu)化的目的，進(jìn)而提高圖像拼接之后的視覺效果。

進(jìn)一步地，本申請在將所述更新拼接線確定為所述初始拼接線的同時，還包括：分別對所述初始聚類中心點和所述初始拼接線的兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行更新。進(jìn)一步地，具體的更新步驟包括：確定所述初始拼接線保持不變時對應(yīng)的所述聚類像素區(qū)域的區(qū)域個數(shù)，基于所述區(qū)域個數(shù)對所述初始聚類中心點進(jìn)行移除更新；基于所述初始拼接線保持不變時對應(yīng)的所述聚類像素區(qū)域內(nèi)的像素點，對所述初始拼接線的兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行過濾更新，將初始拼接線保持不變時對應(yīng)的聚類中心點和像素點過濾掉，不僅減少了下一次基于硬聚類算法對調(diào)整后的初始拼接線進(jìn)行優(yōu)化時需要聚類的像素點的總個數(shù)，還可以減少整個最優(yōu)拼接線的生成時間，以加速所述最優(yōu)拼接線的生成過程。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細(xì)描述，本申請的其它特征、目的和優(yōu)點將會變得更明顯：

圖1示出本申請一個方面的一種拼接線優(yōu)化方法的流程示意圖；

圖2示出根據(jù)本申請一個方面的一種拼接線優(yōu)化方法中的兩幅原始圖像中的其中一幅原始圖像的示意圖；

圖3示出根據(jù)本申請一個方面的一種拼接線優(yōu)化方法中的兩幅原始圖像中的其中另一幅原始圖像的示意圖；

圖4示出本申請一個方面的一種拼接線優(yōu)化方法中的將兩幅原始圖像經(jīng)最大流最小割算法進(jìn)行拼接后的拼接圖像的示意圖；

圖5示出本申請一個方面的一種拼接線優(yōu)化方法中的初始拼接線與聚類中心點對應(yīng)的聚類像素區(qū)域之間的相對位置關(guān)系示意圖；

圖6示出本申請一個方面的一種拼接線優(yōu)化方法中的最優(yōu)拼接線對應(yīng)的兩幅原始圖像的拼接圖像的示意圖；

圖7示出本申請一個方面的一種拼接線優(yōu)化設(shè)備的結(jié)構(gòu)示意圖。

附圖中相同或相似的附圖標(biāo)記代表相同或相似的部件。

具體實施方式

下面結(jié)合附圖對本申請作進(jìn)一步詳細(xì)描述。

在本申請一個典型的配置中，終端、服務(wù)網(wǎng)絡(luò)的設(shè)備和可信方均包括一個或多個處理器(cpu)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。

內(nèi)存可能包括計算機可讀介質(zhì)中的非永久性存儲器，隨機存取存儲器(ram)和/或非易失性內(nèi)存等形式，如只讀存儲器(rom)或閃存(flashram)。內(nèi)存是計算機可讀介質(zhì)的示例。

計算機可讀介質(zhì)包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術(shù)來實現(xiàn)信息存儲。信息可以是計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計算機的存儲介質(zhì)的例子包括，但不限于相變內(nèi)存(pram)、靜態(tài)隨機存取存儲器(sram)、動態(tài)隨機存取存儲器(dram)、其他類型的隨機存取存儲器(ram)、只讀存儲器(rom)、電可擦除可編程只讀存儲器(eeprom)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲器(cd-rom)、數(shù)字多功能光盤(dvd)或其他光學(xué)存儲、磁盒式磁帶，磁帶磁盤存儲或其他磁性存儲設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲可以被計算設(shè)備訪問的信息。按照本文中的界定，計算機可讀介質(zhì)不包括非暫存電腦可讀媒體(transitorymedia)，如調(diào)制的數(shù)據(jù)信號和載波。

圖1示出本申請一個方面的一種拼接線優(yōu)化方法的流程示意圖，應(yīng)用于圖像拼接過程中的服務(wù)器端；該方法包括：步驟s11、步驟s12和步驟s13，其中，具體包括如下：

當(dāng)需要對拍攝的或者獲取的原始圖像進(jìn)行拼接時，所述步驟s11需要計算待拼接的兩幅原始圖像之間的變換關(guān)系；所述步驟s12基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊拼接，確定所述兩幅原始圖像之間的初始拼接線；為了得到視覺效果更好的圖像拼接之后的拼接線，所述步驟s13對所述初始拼接線進(jìn)行優(yōu)化，得到所述兩幅原始圖像之間的最優(yōu)拼接線，不僅有效地提高了圖像拼接后的拼接線(此處為最優(yōu)拼接線)的視覺效果，還基于提高視覺效果的最優(yōu)拼接線提高了兩幅原始圖像進(jìn)行圖像拼接后的拼接圖像的視覺效果。

需要說明的是，所述原始圖像既可以是拍攝或獲取的拍攝全景圖像時的同一個全景中的不同場景下的拍攝圖像，也可以是從不同拍攝角度拍攝的同一物體的拍攝圖像等。當(dāng)然，本領(lǐng)域的技術(shù)人員應(yīng)能理解，其他現(xiàn)有的或今后可能出現(xiàn)的需要進(jìn)行圖像拼接的原始圖像如可適用于本申請，也應(yīng)包含在本申請保護范圍以內(nèi)，并在此以引用方式包含于此。

本申請一實施例中，所述步驟s11計算待拼接的兩幅原始圖像之間的變換關(guān)系，包括：

分別提取待拼接的兩幅原始圖像的尺度不變特征變換sift特征點；

基于所述sift特征點采用歐氏距離的最近鄰算法，對所述兩幅原始圖像進(jìn)行特征點匹配，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置；

基于所述至少四組特征點對及其位置，計算得到所述兩幅原始圖像之間的變換關(guān)系。

在此，所述變換關(guān)系可以包括但不限于是單應(yīng)性矩陣等。在本申請的下述實施例中，將所述變換關(guān)系優(yōu)選為單應(yīng)性矩陣h。當(dāng)然，本領(lǐng)域的技術(shù)人員應(yīng)能理解所述單應(yīng)性矩陣h僅為本申請的所述變換關(guān)系的一優(yōu)選實施例，其他現(xiàn)有的或今后可能出現(xiàn)的體現(xiàn)兩幅原始圖像之間的對應(yīng)關(guān)系的變換關(guān)系如可適用于本申請，也應(yīng)包含在本申請保護范圍以內(nèi)，并在此以引用方式包含于此。

例如，所述步驟s11對待連接的兩幅原始圖像進(jìn)行所述變換關(guān)系的計算之前，需要獲取待連接的兩幅原始圖像，分別如圖2和圖3所示，其中，圖2和圖3所示的兩幅原始圖像為在不同的拍攝視角下拍攝的同一桌面場景中的圖像；在獲取到待拼接的圖2和圖3中的兩幅原始圖像之后，分別對圖2和圖3中的原始圖像進(jìn)行尺度不變特征變換sift(scale-invariantfeaturetransform)特征提取，得到待拼接的圖2中的原始圖像對應(yīng)的sift特征點和圖3中的原始圖像對應(yīng)的sift特征點，其中，每個sift特征點的表現(xiàn)形式為sift特征向量(每個sift特征向量是一個128維的向量，包括像素值、灰度值及位置等)；所述步驟s11繼續(xù)基于圖2和3中的原始圖像各自對應(yīng)的sift特征點采用歐氏距離的最近鄰算法，對所述兩幅原始圖像進(jìn)行特征點匹配，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置；所述步驟s11繼續(xù)基于所述至少四組特征點對及其位置，計算得到所述兩幅原始圖像之間的變換關(guān)系，實現(xiàn)了對在不同的拍攝視角下拍攝的同一桌面場景中的、待拼接的兩幅原始圖像之間的對應(yīng)關(guān)系(即變換關(guān)系)的計算，進(jìn)而得到待拼接的兩幅原始圖像之間的變換關(guān)系，以便后續(xù)基于該變換關(guān)系對待拼接的兩幅原始圖像進(jìn)行圖像拼接。

本申請一實施例中，所述步驟s11中的基于所述sift特征點采用歐氏距離的最近鄰算法，對所述兩幅原始圖像進(jìn)行特征點匹配，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置，包括：

從所述兩幅原始圖像中的一幅原始圖像中遍歷選取一sift特征點；

分別計算所述sift特征點的位置與所述兩幅原始圖像中的另一幅原始圖像中的每個sift特征點的位置之間的歐式距離，并將所述歐式距離按照從小到大的順序排列；

若排在第一位的歐式距離與排在第二位的歐式距離之間的比值，小于預(yù)設(shè)的距離比例閾值，則將計算所述排在第一位的歐式距離的兩個sift特征點確定為一組特征點對，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置。

例如，所述步驟s11中，若所述兩幅原始圖像分別為圖a和圖b，圖a對應(yīng)的sift特征點有sift特征點aa、sift特征點ab、sift特征點ac、sift特征點ad及sift特征點ae，圖b對對應(yīng)的sift特征點為sift特征點ba、sift特征點bb、sift特征點bc、sift特征點bd及sift特征點be，所述步驟s11從兩幅原始圖像中的其中一幅原始圖像：圖a中遍歷選取一sift特征點ac，分別計算該sift特征點ac的位置與所述兩幅原始圖像中的另一幅原始圖像：圖b中的五個sift特征點(ba、bb、bc、bd及be)的位置之間的歐式距離，分別得到sift特征點ac與對應(yīng)的sift特征點：ba、bb、bc、bd及be的位置之間的歐式距離d(ab1)、d(ab2)、d(ab3)、d(ab4)及d(ab5)，并將所述歐式距離d(ab1)、d(ab2)、d(ab3)、d(ab4)及d(ab5)按照從小到大的順序排列，得到排列之后的歐式距離的順序為：d(ab3)、d(ab2)、d(ab4)、d(ab5)及d(ab1)；所述步驟s11繼續(xù)計算排在第一位的歐式距離d(ab3)與排在第二位的歐式距離d(ab2)之間的比值d(ab3)/d(ab2)；若該比值d(ab3)/d(ab2)小于預(yù)設(shè)的距離比例閾值d(閾值)，則將將計算所述排在第一位的歐式距離d(ab3)的兩個sift特征點(即sift特征點ac和sift特征點bc)確定為一組特征點對(ac，bc)，通過上述計算得到特征點對的步驟，得到所述兩幅原始圖像：圖a和圖b對應(yīng)的至少四組特征點對及其位置，實現(xiàn)了采用歐氏距離的最近鄰算法來對兩幅原始圖像之間的sift特征點進(jìn)行特征匹配，以便后續(xù)基于特征匹配得到的至少四組特征點對來得到兩幅原始圖像之間的變換關(guān)系。

本申請一實施例中，所述步驟s11中的基于所述至少四組特征點對及其位置，計算得到所述兩幅原始圖像之間的變換關(guān)系，包括：

預(yù)置隨機選取次數(shù)；

每次從所有的特征點對中隨機選取四組特征點對及其位置，基于所述每次選取的四組特征點對及其位置進(jìn)行計算，得到所述隨機選取次數(shù)中每次選取的四組特征點對對應(yīng)的變換關(guān)系；

基于所述隨機選取次數(shù)中每次選取的四組特征點對對應(yīng)的變換關(guān)系，優(yōu)選得到所述兩幅原始圖像之間的變換關(guān)系。

例如，為了更加精確地得到待拼接的兩幅原始圖像之間的變換關(guān)系，則所述步驟s11預(yù)置隨機選取次數(shù)，該隨機選取次數(shù)為大于等于一的正整數(shù)；所述步驟s11在該隨機選取次數(shù)內(nèi)，每次從所有的特征點對(所有的特征點對至少有四組)中隨機選取四組特征點對及其位置，若隨機選取的四組特征點的位置分別為：{(x1，y1)，(x’1，y’1)}、{(x2，y2)，(x’2，y’2)}、{(x3，y3)，((x’3，y’3)}和{(x4，y4),(x’4，y’4)}，其中，待計算的兩幅原始圖像之間的單應(yīng)性矩陣h(即變換關(guān)系)為：

基于該單應(yīng)性矩陣對該選取的四組特征點對及其位置進(jìn)行計算，其計算過程如下所示：

計算得到選取的四組特征點對對應(yīng)的單應(yīng)性矩陣h1；接著所述步驟s11繼續(xù)從所有的特征點對中隨機選取四組特征點對，并重復(fù)上述計算單應(yīng)性矩陣h1的步驟，若隨機選取次數(shù)為20次，則得到20次中的每次選取的四組特征點對對應(yīng)的單應(yīng)性矩陣分別為：h1、h2、h3、……、h19、h20；為了更精確地得到兩幅原始圖像之間的單應(yīng)性矩陣(即變換關(guān)系)，則需要基于20次中的每次選取的四組特征點對對應(yīng)的單應(yīng)性矩陣分別為：h1、h2、h3、……、h19、h20，優(yōu)選得到所述兩幅原始圖像之間的單應(yīng)性矩陣h，實現(xiàn)了通過隨機抽樣一致性方法來計算得到兩幅原始圖像之間的單應(yīng)性矩陣，以便后續(xù)基于該單應(yīng)性矩陣對待拼接的兩幅原始圖像進(jìn)行圖像拼接。

本申請一實施例中，所述步驟s11中的基于所述隨機選取次數(shù)中每次選取的四組特征點對對應(yīng)的變換關(guān)系，優(yōu)選得到所述兩幅原始圖像之間的變換關(guān)系，包括：

對于每次所述選取的四組特征點對之外剩余的特征點對，按照所述選取的四組特征點對對應(yīng)的變換關(guān)系進(jìn)行變換誤差計算，得到所述剩余的特征點對之間的變換誤差值；

基于預(yù)設(shè)的變換誤差閾值和所述剩余的特征點對之間的變換誤差值，確定每次所述選取的四組特征點對對應(yīng)的變換關(guān)系的內(nèi)點的個數(shù)；

在所述隨機選取次數(shù)中，選取內(nèi)點的個數(shù)最大時對應(yīng)的變換關(guān)系，作為所述兩幅原始圖像之間的變換關(guān)系。

例如，若所述選取的四組特征點對{(x1，y1)，(x’1，y’1)}、{(x2，y2)，(x’2，y’2)}、{(x3，y3)，((x’3，y’3)}和{(x4，y4),(x’4，y’4)}之外剩余的特征點對有三組，則按照所述選取的四組特征點對對應(yīng)的單應(yīng)性矩陣h1進(jìn)行變換誤差計算，計算變換誤差值ti為：

其中，{(xi，yi)，(x’i，y’i)}為所述選取的四組特征點對之外剩余的特征點對的位置，得到每個所述剩余的特征點對之間的變換誤差值ti；所述步驟s11繼續(xù)基于預(yù)設(shè)的變換誤差閾值t和每個所述剩余的特征點對之間的變換誤差值ti，得到所述選取的四組特征點對對應(yīng)的單應(yīng)性矩陣h1的內(nèi)點的個數(shù)；重復(fù)上述步驟，進(jìn)而可以得到20次中的每次選取的四組特征點對對應(yīng)的單應(yīng)性矩陣h1、h2、h3、……、h19、h20分別對應(yīng)的內(nèi)點的個數(shù)n內(nèi)點；然后在所述隨機選取次數(shù)(20次)中，選取內(nèi)點的個數(shù)最大n內(nèi)點max時對應(yīng)的單應(yīng)性矩陣，若在20次中，隨機選取的四組特征點對對應(yīng)的單應(yīng)性矩陣h16對應(yīng)的內(nèi)點的個數(shù)n內(nèi)點為20次隨機選取的四組特征點對對應(yīng)的單應(yīng)性矩陣的內(nèi)點的個數(shù)的最大n內(nèi)點max，則將內(nèi)點的個數(shù)n內(nèi)點max對應(yīng)的單應(yīng)性矩陣h16作為所述兩幅原始圖像之間的變換關(guān)系(即單應(yīng)性矩陣h16)，實現(xiàn)對兩幅原始圖像之間的變換關(guān)系的優(yōu)選，進(jìn)而得到能夠精確反映所述兩幅原始圖像之間的對應(yīng)關(guān)系的變換關(guān)系，進(jìn)一步保證得到的所述變換關(guān)系的精確度。

本申請一實施例中，所述步驟s11中的基于預(yù)設(shè)的變換誤差閾值和所述剩余的特征點對之間的變換誤差值，確定每次所述選取的四組特征點對對應(yīng)的變換關(guān)系的內(nèi)點的個數(shù)，包括：

判斷所述剩余的特征點對之間的變換誤差值是否小于等于所述預(yù)設(shè)的變換誤差閾值，

若是，則將所述剩余的特征點對中的sift特征點確定為所述選取的四組特征點對對應(yīng)的變換關(guān)系的一個內(nèi)點，并統(tǒng)計所述內(nèi)點的個數(shù)，得到每次所述選取的四組特征點對對應(yīng)的變換關(guān)系的內(nèi)點的個數(shù)。

例如，所述步驟s11判斷所述剩余的特征點對之間的變換誤差值ti是否小于等于所述預(yù)設(shè)的變換誤差閾值t，判斷不等式如下：

若所述剩余的特征點對之間的變換誤差值小于等于所述預(yù)設(shè)的變換誤差閾值t，則將所述剩余的特征點對中的sift特征點確定為所述選取的四組特征點對對應(yīng)的變換關(guān)系的一個內(nèi)點，即所述剩余的特征點對中的sift特征點在所述變換誤差閾值范圍內(nèi)，符合所述選取的四組特征點對對應(yīng)的變換關(guān)系(即單應(yīng)性矩陣h)；若所述剩余的特征點對之間的變換誤差值大于所述預(yù)設(shè)的變換誤差閾值t(即計算的變換誤差值不在變換誤差閾值t內(nèi))，則將該組特征點對中的sift特征點作為該變換關(guān)系的外點；通過上述不等式判斷出所述選取的四組特征點對之外剩余的特征點對中的sift特征點的內(nèi)點的個數(shù)，進(jìn)而可以得到隨機選取次數(shù)(20次)中的每次所述選取的四組特征點對對應(yīng)的變換關(guān)系的內(nèi)點的個數(shù)，實現(xiàn)對基于選取的四組特征點對對應(yīng)的變換關(guān)系的驗證，并統(tǒng)計驗證過程中符合該變換關(guān)系的內(nèi)點的個數(shù)，以便后續(xù)基于該變換關(guān)系的內(nèi)點的個數(shù)來選取最符合所述兩幅原始圖像之間的對應(yīng)關(guān)系的變換關(guān)系，以進(jìn)一步提高變換關(guān)系的精確度。

本申請一實施例中，所述步驟s12基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊拼接，確定所述兩幅原始圖像之間的初始拼接線，包括：

基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊，并根據(jù)最大流最小割算法對對齊后的兩幅原始圖像進(jìn)行拼接，確定所述兩幅原始圖像之間的初始拼接線。

本申請一實施例中，所述步驟s12基于所述步驟s11中計算得到反映在不同的拍攝視角下拍攝的同一桌面場景中的、待拼接的兩幅原始圖像：圖a和圖b之間的一一對應(yīng)關(guān)系的單應(yīng)性矩陣h，對所述兩幅原始圖像進(jìn)行對齊，對齊過程中，若首先以圖a為基準(zhǔn)，在對齊的圖像里面，將圖a中的一sift特征點對應(yīng)的像素點p’(x’，y’)，變化成p’(x’，y’，1)，并求單應(yīng)性矩陣h的逆矩陣h^-1，則有h^-1p’＝p(x，y，1)，其中，(x，y)為圖a中的一sift特征點對應(yīng)的像素點p’在圖b中對應(yīng)的位置的坐標(biāo)，取該位置(x，y)對應(yīng)的sift特征點的像素點放在p’處，若位置(x，y)對應(yīng)的sift特征點的像素點超出圖b的寬和高的范圍，則從圖a中取像素點，該像素點對應(yīng)的sift特征點的位置為(x’，y’)；若該位置(x，y)對應(yīng)的sift特征點的像素點也不在圖a的寬和高的范圍內(nèi)，則將該位置(x，y)對應(yīng)的sift特征點的像素點置灰或填黑或空白等，以表示此處不存在對應(yīng)匹配的特征點，實現(xiàn)對圖a和圖b的對齊。所述步驟s12繼續(xù)根據(jù)最大流最小割算法對對齊后的兩幅原始圖像進(jìn)行拼接，得到所述兩幅原始圖像之間的初始拼接線，實現(xiàn)對待拼接的兩幅原始圖像之間的初步的圖像拼接，以便后續(xù)對基于最大流最小割算法進(jìn)行圖像拼接得到的初始拼接線進(jìn)行優(yōu)化。

本申請一實施例中，由于待拼接的兩幅原始圖像是從不同的拍攝視角進(jìn)行拍攝的，故光照不一致，導(dǎo)致對齊拼接后的拼接圖像具有明顯的初始拼接線，以致拼接后得到的拼接圖像的視覺效果不好，故所述步驟s12基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊拼接，確定所述兩幅原始圖像之間的初始拼接線之后，還包括：

確定拼接后所述兩幅原始圖像的重疊區(qū)域和非重疊區(qū)域，統(tǒng)計所述重疊區(qū)域的像素點的個數(shù)和像素平均值；此處，統(tǒng)計得到步驟s12中對兩幅原始圖像進(jìn)行拼接后的重疊區(qū)域的像素點的個數(shù)n重疊像素，并對所有的重疊區(qū)域的像素點的像素值進(jìn)行求和取平均，得到重疊區(qū)域的所有像素點的像素平均值v像素；接著基于所述重疊區(qū)域及其像素點的個數(shù)n重疊像素和像素平均值v像素，分別對所述兩幅原始圖像的非重疊區(qū)域的每個像素點進(jìn)行增益補償，實現(xiàn)對兩幅原始圖像的非重疊區(qū)域曝光補償，使得對兩幅原始圖像進(jìn)行拼接后得到的重疊區(qū)域的一側(cè)或兩側(cè)的非重疊區(qū)域的亮度保持一致，進(jìn)一步實現(xiàn)拼接后的重疊區(qū)域和非重疊區(qū)域的色彩的平穩(wěn)過渡，進(jìn)一步得到視覺效果更好的兩幅原始圖像拼接后的拼接圖像和拼接線。

本申請的一實施例中，所述步驟s12中的基于所述重疊區(qū)域及其像素點的個數(shù)和像素平均值，分別對所述兩幅原始圖像的非重疊區(qū)域的每個像素點進(jìn)行增益補償，包括：

設(shè)所述兩幅原始圖像分別為圖a和圖b，其中，圖a和圖b的重疊區(qū)域為sab，圖a中的非重疊區(qū)域為sa，圖b中的非重疊區(qū)域為sb；

采用增益補償算法，對重疊區(qū)域sab及其像素點的個數(shù)n重疊像素和像素平均值v像素進(jìn)行計算，分別得到圖a中的sa對應(yīng)的補償增益值ga和圖b中的sb對應(yīng)的補償增益值gb；

基于ga對圖a中的sa的每個像素點的像素值進(jìn)行增益補償，同時基于gb對圖b中的sb的每個像素點的像素值進(jìn)行增益補償。例如，用ga乘以圖a中的非重疊區(qū)域sa中的每個像素點的像素值，用gb乘以圖b中的非重疊區(qū)域sb中的每個像素點的像素值，進(jìn)而達(dá)到拼接后的圖a和圖b各自對應(yīng)的非重疊區(qū)域的曝光補償，使得對兩幅原始圖像進(jìn)行拼接后得到的重疊區(qū)域的一側(cè)或兩側(cè)的非重疊區(qū)域的亮度保持一致，進(jìn)一步實現(xiàn)拼接后的重疊區(qū)域和非重疊區(qū)域的色彩的平穩(wěn)過渡，進(jìn)一步得到視覺效果更好的兩幅原始圖像拼接后的拼接圖像和拼接線。

本申請一實施例中，如圖4所示(其中，圖4為圖2和圖3兩幅原始圖像基于最大流最小割算法進(jìn)行拼接之后得到的拼接圖像，圖4中標(biāo)記的橢圓內(nèi)的拼接效果就不佳)：由于在所述步驟s11中求解所述兩幅原始圖像之間的變換關(guān)系時的迭代計算次數(shù)(即預(yù)置的隨機選取次數(shù))不充分，導(dǎo)致得到的反映兩幅原始圖像之間的一一對應(yīng)關(guān)系的變換關(guān)系不理想，進(jìn)而導(dǎo)致的對齊拼接后的拼接圖像的初始拼接線存在明顯的視覺差的效果；又由于通過最大流最小割算法進(jìn)行圖像拼接得到的初始拼接線存在穿透物體，使得在兩幅原始圖像中均存在的相同物體被強行拼合，效果較差，故為了解決上述初始拼接線視覺效果差的問題，所述步驟s13對所述初始拼接線進(jìn)行優(yōu)化，得到所述兩幅原始圖像之間的最優(yōu)拼接線，包括：

在所述初始拼接線的兩側(cè)的預(yù)設(shè)像素范圍內(nèi)，預(yù)置至少一個初始聚類中心點；

通過硬聚類算法和所述初始聚類中心點，對兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行聚類，得到每個所述初始聚類中心點對應(yīng)的聚類像素區(qū)域；

根據(jù)確定的每個所述聚類像素區(qū)域與所述初始拼接線的相對位置關(guān)系，按照預(yù)設(shè)的調(diào)整規(guī)則對所述初始拼接線進(jìn)行調(diào)整，得到對應(yīng)的調(diào)整拼接線；

更新所述調(diào)整拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點分別對應(yīng)的權(quán)重，基于所述更新的權(quán)重和所述最大流最小割算法，再次對所述對齊后的兩幅原始圖像進(jìn)行拼接，得到所述兩幅原始圖像之間的更新拼接線；

將所述更新拼接線確定為所述初始拼接線，重復(fù)如上步驟，直至對所述初始拼接線的調(diào)整為零。

在此，所述硬聚類算法可以包括但不限于是k均值算法(k-means算法)等。在本申請的下述實施例中，將所述硬聚類算法優(yōu)選為k-means。當(dāng)然，本領(lǐng)域的技術(shù)人員應(yīng)能理解所述k-means算法僅為本申請的所述硬聚類算法的一優(yōu)選實施例，其他現(xiàn)有的或今后可能出現(xiàn)的可以進(jìn)行聚類的硬聚類算法如可適用于本申請，也應(yīng)包含在本申請保護范圍以內(nèi)，并在此以引用方式包含于此。

例如，對初始拼接線的優(yōu)化過程具體為：步驟一、如圖5所示，在基于最大流最小割算法進(jìn)行拼接之后得到的拼接圖像中的初始拼接線(如圖5中的虛線)的兩側(cè)的預(yù)設(shè)像素范圍δ內(nèi)，預(yù)置至少一個初始聚類中心點，其中，該初始聚類中心點的個數(shù)為大于等于1的正整數(shù)。若該預(yù)置的初始聚類中心點為5個，分別為s、f、x、y和z；步驟二、通過k-means算法和預(yù)置的所述初始聚類中心點：s、f、x、y和z，對如圖5中的虛線對應(yīng)的初始拼接線兩側(cè)的預(yù)設(shè)像素范圍δ內(nèi)的所有像素點進(jìn)行聚類，得到每個初始聚類中心點對應(yīng)的聚類像素區(qū)域(如圖5中的橢圓對應(yīng)的像素區(qū)域)分別為：ks、kf、kx、ky和kz；步驟三、根據(jù)確定的每個所述聚類像素區(qū)域與所述初始拼接線的相對位置關(guān)系(如圖5所示該聚類像素區(qū)域在虛線對應(yīng)的初始拼接線的左側(cè)、右側(cè)或穿過等)，按照預(yù)設(shè)的調(diào)整規(guī)則對所述初始拼接線進(jìn)行調(diào)整，得到對應(yīng)的調(diào)整拼接線(如圖5中的橢圓區(qū)域編號為3和4對應(yīng)的邊緣粗線)，實現(xiàn)對初始拼接線的糾正；步驟四、更新所述調(diào)整拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點分別對應(yīng)的權(quán)重，基于所述更新的權(quán)重和所述最大流最小割算法，再次對所述對齊后的兩幅原始圖像進(jìn)行拼接，得到所述兩幅原始圖像之間的更新拼接線，以實現(xiàn)對兩幅原始圖像之間的初始拼接線進(jìn)行調(diào)整更新的目的；為了得到調(diào)整更新后的更加精確的兩幅原始圖像進(jìn)行圖像拼接之后的最優(yōu)拼接線，故將更新拼接線確定為所述初始拼接線，重復(fù)執(zhí)行上述步驟一至步驟四所述的操作流程，直至對所述初始拼接線的調(diào)整為零，進(jìn)而得到所述兩幅原始圖像之間的最優(yōu)拼接線如圖6所示，達(dá)到了對兩幅原始圖像進(jìn)行對齊拼接之后的初始拼接線進(jìn)行優(yōu)化的目的。

本申請一實施例中，所述預(yù)設(shè)的調(diào)整規(guī)則包括：

若所述相對位置關(guān)系為所述初始拼接線與所述聚類像素區(qū)域不相連，則所述聚類像素區(qū)域?qū)?yīng)的初始拼接線保持不變。

若所述相對位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)相等，則所述聚類像素區(qū)域?qū)?yīng)的初始拼接線保持不變。

若所述相對位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)不相等，則將包含所述聚類像素區(qū)域內(nèi)的像素點個數(shù)較少的一側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所述聚類像素區(qū)域的邊緣線，確定為所述調(diào)整拼接線。

例如，如圖5所示，若初始拼接線與初始聚類中心點s和f分別對應(yīng)的所述聚類像素區(qū)域ks和kf的位置關(guān)系為所述初始拼接線與所述聚類像素區(qū)域不相連，其中，該聚類像素區(qū)域ks屬于圖5中的橢圓區(qū)域編號為1的情況(σr＜σl且σr＝0，其中，σl為初始拼接線一側(cè)的預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)，σr為初始拼接線的另一側(cè)的預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù))，該聚類像素區(qū)域kf屬于圖5中的橢圓區(qū)域編號為2的情況(σr＞σl且σl＝0)，則屬于橢圓區(qū)域編號為1和2的情況對應(yīng)的所述聚類像素區(qū)域?qū)?yīng)的初始拼接線保持不變；若初始拼接線與初始聚類中心點x對應(yīng)的所述聚類像素區(qū)域kx的位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)相等(σr＝σl且σr≠0,σl≠0)，則所述聚類像素區(qū)域kx對應(yīng)的初始拼接線保持不變，此種情況屬于圖5中的其他四種情況對應(yīng)的第5種情況，該第5中情況沒有在圖5中加以體現(xiàn)；若初始拼接線與初始聚類中心點y對應(yīng)的所述聚類像素區(qū)域ky的位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)不相等：屬于圖5中的橢圓編號為4的情況(σr＞σl且σl≠0)，則將將包含所述聚類像素區(qū)域內(nèi)的像素點個數(shù)σl的一側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所述聚類像素區(qū)域的邊緣線確定為所述調(diào)整拼接線(即將橢圓編號為4的左側(cè)的粗線的邊緣線作為調(diào)整拼接線)；若初始拼接線與初始聚類中心點z對應(yīng)的所述聚類像素區(qū)域kz的位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)不相等：屬于圖5中的橢圓編號為3的情況(σr＜σl且σr≠0)，則將將包含所述聚類像素區(qū)域內(nèi)的像素點個數(shù)σr的一側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所述聚類像素區(qū)域的邊緣線確定為所述調(diào)整拼接線(即將橢圓編號為3的右側(cè)的粗線的邊緣線作為調(diào)整拼接線)，以實現(xiàn)通過kmeans算法對兩幅原始圖像之間的初始拼接線進(jìn)行糾正并優(yōu)化。

接著本申請的上述實施例中，所述步驟s13中的將所述更新拼接線確定為所述初始拼接線的同時，還包括：

分別對所述初始聚類中心點和所述初始拼接線的兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行更新。進(jìn)一步地，具體的更新步驟包括：

確定所述初始拼接線保持不變時對應(yīng)的所述聚類像素區(qū)域的區(qū)域個數(shù)，基于所述區(qū)域個數(shù)對所述初始聚類中心點進(jìn)行移除更新；

基于所述初始拼接線保持不變時對應(yīng)的所述聚類像素區(qū)域內(nèi)的像素點，對所述初始拼接線的兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行過濾更新。

例如，對兩幅原始圖像進(jìn)行賭氣拼接之后得到初始拼接線之后，預(yù)置的初始聚類中心點為10，得到上述基于初始拼接線與初始聚類中心點對應(yīng)的聚類像素區(qū)域之間的相對位置關(guān)系的5種情況，若屬于上述所述初始拼接線保持不變時的情況1、2、5這三種情況的聚類像素區(qū)域的區(qū)域個數(shù)為7個(即對應(yīng)7個初始聚類中心點)，屬于上述需要對初始拼接線進(jìn)行調(diào)整的第3、4種情況的聚類像素區(qū)域的區(qū)域個數(shù)為3個，則所述步驟s13還基于所述初始拼接線保持不變時的情況1、2、5這三種情況的聚類像素區(qū)域的區(qū)域個數(shù)，對所述初始聚類中心點進(jìn)行移除更新，則更新下次基于kmeans算法對調(diào)整后的初始拼接線進(jìn)行優(yōu)化時的聚類中心點為3個或2個或1個等；同時，若初始拼接線處理的像素點的個數(shù)為100個，基于所述初始拼接線保持不變時的情況1、2、5這三種情況的聚類像素區(qū)域內(nèi)的像素點為78個，則將對初始拼接線保持不變時的聚類像素區(qū)域內(nèi)的78個像素點過濾，下一次基于kmeans算法對調(diào)整后的初始拼接線進(jìn)行優(yōu)化時的像素點為100個像素點中剩余的22個像素點(即對進(jìn)行調(diào)整的第3、4種情況的聚類像素區(qū)域內(nèi)的像素點再次基于kmeans算法進(jìn)行聚類)，直至對所述初始拼接線的調(diào)整為零，將初始拼接線保持不變時對應(yīng)的聚類中心點和像素點過濾掉，不僅減少了下一次基于kmeans算法對調(diào)整后的初始拼接線進(jìn)行優(yōu)化時需要聚類的像素點的總個數(shù)，還可以減少整個最優(yōu)拼接線的生成時間，以加速所述最優(yōu)拼接線的生成過程。

圖7示出本申請一個方面的一種拼接線優(yōu)化設(shè)備的結(jié)構(gòu)示意圖，應(yīng)用于圖像拼接過程中的對拼接線的優(yōu)化過程；該設(shè)備包括：計算裝置11、拼接裝置12和優(yōu)化裝置13，其中，具體包括如下：

當(dāng)需要對拍攝的或者獲取的原始圖像進(jìn)行拼接時，所述計算裝置11需要計算待拼接的兩幅原始圖像之間的變換關(guān)系；所述拼接裝置12用于基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊拼接，確定所述兩幅原始圖像之間的初始拼接線；為了得到視覺效果更好的圖像拼接之后的拼接線，所述優(yōu)化裝置13用于對所述初始拼接線進(jìn)行優(yōu)化，得到所述兩幅原始圖像之間的最優(yōu)拼接線，不僅有效地提高了圖像拼接后的拼接線(此處為最優(yōu)拼接線)的視覺效果，還基于提高視覺效果的最優(yōu)拼接線提高了兩幅原始圖像進(jìn)行圖像拼接后的拼接圖像的視覺效果。

需要說明的是，所述原始圖像既可以是拍攝或獲取的拍攝全景圖像時的同一個全景中的不同場景下的拍攝圖像，也可以是從不同拍攝角度拍攝的同一物體的拍攝圖像等。當(dāng)然，本領(lǐng)域的技術(shù)人員應(yīng)能理解，其他現(xiàn)有的或今后可能出現(xiàn)的需要進(jìn)行圖像拼接的原始圖像如可適用于本申請，也應(yīng)包含在本申請保護范圍以內(nèi)，并在此以引用方式包含于此。

本申請一實施例中，所述計算裝置11用于：

分別提取待拼接的兩幅原始圖像的尺度不變特征變換sift特征點；

基于所述sift特征點采用歐氏距離的最近鄰算法，對所述兩幅原始圖像進(jìn)行特征點匹配，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置；

基于所述至少四組特征點對及其位置，計算得到所述兩幅原始圖像之間的變換關(guān)系。

在此，所述變換關(guān)系可以包括但不限于是單應(yīng)性矩陣等。在本申請的下述實施例中，將所述變換關(guān)系優(yōu)選為單應(yīng)性矩陣h。當(dāng)然，本領(lǐng)域的技術(shù)人員應(yīng)能理解所述單應(yīng)性矩陣h僅為本申請的所述變換關(guān)系的一優(yōu)選實施例，其他現(xiàn)有的或今后可能出現(xiàn)的體現(xiàn)兩幅原始圖像之間的對應(yīng)關(guān)系的變換關(guān)系如可適用于本申請，也應(yīng)包含在本申請保護范圍以內(nèi)，并在此以引用方式包含于此。

例如，所述計算裝置11對待連接的兩幅原始圖像進(jìn)行所述變換關(guān)系的計算之前，需要獲取待連接的兩幅原始圖像，分別如圖2和圖3所示，其中，圖2和圖3所示的兩幅原始圖像為在不同的拍攝視角下拍攝的同一桌面場景中的圖像；在獲取到待拼接的圖2和圖3中的兩幅原始圖像之后，分別對圖2和圖3中的原始圖像進(jìn)行尺度不變特征變換sift(scale-invariantfeaturetransform)特征提取，得到待拼接的圖2中的原始圖像對應(yīng)的sift特征點和圖3中的原始圖像對應(yīng)的sift特征點，其中，每個sift特征點的表現(xiàn)形式為sift特征向量(每個sift特征向量是一個128維的向量，包括像素值、灰度值及位置等)；所述計算裝置11繼續(xù)基于圖2和3中的原始圖像各自對應(yīng)的sift特征點采用歐氏距離的最近鄰算法，對所述兩幅原始圖像進(jìn)行特征點匹配，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置；所述計算裝置11繼續(xù)基于所述至少四組特征點對及其位置，計算得到所述兩幅原始圖像之間的變換關(guān)系，實現(xiàn)了對在不同的拍攝視角下拍攝的同一桌面場景中的、待拼接的兩幅原始圖像之間的對應(yīng)關(guān)系(即變換關(guān)系)的計算，進(jìn)而得到待拼接的兩幅原始圖像之間的變換關(guān)系，以便后續(xù)基于該變換關(guān)系對待拼接的兩幅原始圖像進(jìn)行圖像拼接。

本申請一實施例中，所述計算裝置11用于：

從所述兩幅原始圖像中的一幅原始圖像中遍歷選取一sift特征點；

分別計算所述sift特征點的位置與所述兩幅原始圖像中的另一幅原始圖像中的每個sift特征點的位置之間的歐式距離，并將所述歐式距離按照從小到大的順序排列；

若排在第一位的歐式距離與排在第二位的歐式距離之間的比值，小于預(yù)設(shè)的距離比例閾值，則將計算所述排在第一位的歐式距離的兩個sift特征點確定為一組特征點對，得到所述兩幅原始圖像對應(yīng)的至少四組特征點對及其位置。

例如，所述計算裝置11中，若所述兩幅原始圖像分別為圖a和圖b，圖a對應(yīng)的sift特征點有sift特征點aa、sift特征點ab、sift特征點ac、sift特征點ad及sift特征點ae，圖b對對應(yīng)的sift特征點為sift特征點ba、sift特征點bb、sift特征點bc、sift特征點bd及sift特征點be，所述計算裝置11從兩幅原始圖像中的其中一幅原始圖像：圖a中遍歷選取一sift特征點ac，分別計算該sift特征點ac的位置與所述兩幅原始圖像中的另一幅原始圖像：圖b中的五個sift特征點(ba、bb、bc、bd及be)的位置之間的歐式距離，分別得到sift特征點ac與對應(yīng)的sift特征點：ba、bb、bc、bd及be的位置之間的歐式距離d(ab1)、d(ab2)、d(ab3)、d(ab4)及d(ab5)，并將所述歐式距離d(ab1)、d(ab2)、d(ab3)、d(ab4)及d(ab5)按照從小到大的順序排列，得到排列之后的歐式距離的順序為：d(ab3)、d(ab2)、d(ab4)、d(ab5)及d(ab1)；所述計算裝置11繼續(xù)計算排在第一位的歐式距離d(ab3)與排在第二位的歐式距離d(ab2)之間的比值d(ab3)/d(ab2)；若該比值d(ab3)/d(ab2)小于預(yù)設(shè)的距離比例閾值d(閾值)，則將將計算所述排在第一位的歐式距離d(ab3)的兩個sift特征點(即sift特征點ac和sift特征點bc)確定為一組特征點對(ac，bc)，通過上述計算得到特征點對的步驟，得到所述兩幅原始圖像：圖a和圖b對應(yīng)的至少四組特征點對及其位置，實現(xiàn)了采用歐氏距離的最近鄰算法來對兩幅原始圖像之間的sift特征點進(jìn)行特征匹配，以便后續(xù)基于特征匹配得到的至少四組特征點對來得到兩幅原始圖像之間的變換關(guān)系。

本申請一實施例中，所述計算裝置11用于：

預(yù)置隨機選取次數(shù)；

每次從所有的特征點對中隨機選取四組特征點對及其位置，基于所述每次選取的四組特征點對及其位置進(jìn)行計算，得到所述隨機選取次數(shù)中每次選取的四組特征點對對應(yīng)的變換關(guān)系；

基于所述隨機選取次數(shù)中每次選取的四組特征點對對應(yīng)的變換關(guān)系，優(yōu)選得到所述兩幅原始圖像之間的變換關(guān)系。

例如，為了更加精確地得到待拼接的兩幅原始圖像之間的變換關(guān)系，則所述計算裝置11預(yù)置隨機選取次數(shù)，該隨機選取次數(shù)為大于等于一的正整數(shù)；所述計算裝置11在該隨機選取次數(shù)內(nèi)，每次從所有的特征點對(所有的特征點對至少有四組)中隨機選取四組特征點對及其位置，若隨機選取的四組特征點的位置分別為：{(x1，y1)，(x’1，y’1)}、{(x2，y2)，(x’2，y’2)}、{(x3，y3)，((x’3，y’3)}和{(x4，y4),(x’4，y’4)}，其中，待計算的兩幅原始圖像之間的單應(yīng)性矩陣h(即變換關(guān)系)為：

基于該單應(yīng)性矩陣對該選取的四組特征點對及其位置進(jìn)行計算，其計算過程如下所示：

計算得到選取的四組特征點對對應(yīng)的單應(yīng)性矩陣h1；接著所述計算裝置11繼續(xù)從所有的特征點對中隨機選取四組特征點對，并重復(fù)上述計算單應(yīng)性矩陣h1的步驟，若隨機選取次數(shù)為20次，則得到20次中的每次選取的四組特征點對對應(yīng)的單應(yīng)性矩陣分別為：h1、h2、h3、……、h19、h20；為了更精確地得到兩幅原始圖像之間的單應(yīng)性矩陣(即變換關(guān)系)，則需要基于20次中的每次選取的四組特征點對對應(yīng)的單應(yīng)性矩陣分別為：h1、h2、h3、……、h19、h20，優(yōu)選得到所述兩幅原始圖像之間的單應(yīng)性矩陣h，實現(xiàn)了通過隨機抽樣一致性方法來計算得到兩幅原始圖像之間的單應(yīng)性矩陣，以便后續(xù)基于該單應(yīng)性矩陣對待拼接的兩幅原始圖像進(jìn)行圖像拼接。

本申請一實施例中，所述計算裝置11用于：

對于每次所述選取的四組特征點對之外剩余的特征點對，按照所述選取的四組特征點對對應(yīng)的變換關(guān)系進(jìn)行變換誤差計算，得到所述剩余的特征點對之間的變換誤差值；

基于預(yù)設(shè)的變換誤差閾值和所述剩余的特征點對之間的變換誤差值，確定每次所述選取的四組特征點對對應(yīng)的變換關(guān)系的內(nèi)點的個數(shù)；

在所述隨機選取次數(shù)中，選取內(nèi)點的個數(shù)最大時對應(yīng)的變換關(guān)系，作為所述兩幅原始圖像之間的變換關(guān)系。

例如，若所述選取的四組特征點對{(x1，y1)，(x’1，y’1)}、{(x2，y2)，(x’2，y’2)}、{(x3，y3)，((x’3，y’3)}和{(x4，y4),(x’4，y’4)}之外剩余的特征點對有三組，則按照所述選取的四組特征點對對應(yīng)的單應(yīng)性矩陣h1進(jìn)行變換誤差計算，計算變換誤差值ti為：

其中，{(xi，yi)，(x’i，y’i)}為所述選取的四組特征點對之外剩余的特征點對的位置，得到每個所述剩余的特征點對之間的變換誤差值ti；所述計算裝置11繼續(xù)基于預(yù)設(shè)的變換誤差閾值t和每個所述剩余的特征點對之間的變換誤差值ti，得到所述選取的四組特征點對對應(yīng)的單應(yīng)性矩陣h1的內(nèi)點的個數(shù)；重復(fù)上述步驟，進(jìn)而可以得到20次中的每次選取的四組特征點對對應(yīng)的單應(yīng)性矩陣h1、h2、h3、……、h19、h20分別對應(yīng)的內(nèi)點的個數(shù)n內(nèi)點；然后在所述隨機選取次數(shù)(20次)中，選取內(nèi)點的個數(shù)最大n內(nèi)點max時對應(yīng)的單應(yīng)性矩陣，若在20次中，隨機選取的四組特征點對對應(yīng)的單應(yīng)性矩陣h16對應(yīng)的內(nèi)點的個數(shù)n內(nèi)點為20次隨機選取的四組特征點對對應(yīng)的單應(yīng)性矩陣的內(nèi)點的個數(shù)的最大n內(nèi)點max，則將內(nèi)點的個數(shù)n內(nèi)點max對應(yīng)的單應(yīng)性矩陣h16作為所述兩幅原始圖像之間的變換關(guān)系(即單應(yīng)性矩陣h16)，實現(xiàn)對兩幅原始圖像之間的變換關(guān)系的優(yōu)選，進(jìn)而得到能夠精確反映所述兩幅原始圖像之間的對應(yīng)關(guān)系的變換關(guān)系，進(jìn)一步保證得到的所述變換關(guān)系的精確度。

本申請一實施例中，所述計算裝置11用于：

判斷所述剩余的特征點對之間的變換誤差值是否小于等于所述預(yù)設(shè)的變換誤差閾值，

若是，則將所述剩余的特征點對中的sift特征點確定為所述選取的四組特征點對對應(yīng)的變換關(guān)系的一個內(nèi)點，并統(tǒng)計所述內(nèi)點的個數(shù)，得到每次所述選取的四組特征點對對應(yīng)的變換關(guān)系的內(nèi)點的個數(shù)。

例如，所述計算裝置11判斷所述剩余的特征點對之間的變換誤差值ti是否小于等于所述預(yù)設(shè)的變換誤差閾值t，判斷不等式如下：

若所述剩余的特征點對之間的變換誤差值小于等于所述預(yù)設(shè)的變換誤差閾值t，則將所述剩余的特征點對中的sift特征點確定為所述選取的四組特征點對對應(yīng)的變換關(guān)系的一個內(nèi)點，即所述剩余的特征點對中的sift特征點在所述變換誤差閾值范圍內(nèi)，符合所述選取的四組特征點對對應(yīng)的變換關(guān)系(即單應(yīng)性矩陣h)；若所述剩余的特征點對之間的變換誤差值大于所述預(yù)設(shè)的變換誤差閾值t(即計算的變換誤差值不在變換誤差閾值t內(nèi))，則將該組特征點對中的sift特征點作為該變換關(guān)系的外點；通過上述不等式判斷出所述選取的四組特征點對之外剩余的特征點對中的sift特征點的內(nèi)點的個數(shù)，進(jìn)而可以得到隨機選取次數(shù)(20次)中的每次所述選取的四組特征點對對應(yīng)的變換關(guān)系的內(nèi)點的個數(shù)，實現(xiàn)對基于選取的四組特征點對對應(yīng)的變換關(guān)系的驗證，并統(tǒng)計驗證過程中符合該變換關(guān)系的內(nèi)點的個數(shù)，以便后續(xù)基于該變換關(guān)系的內(nèi)點的個數(shù)來選取最符合所述兩幅原始圖像之間的對應(yīng)關(guān)系的變換關(guān)系，以進(jìn)一步提高變換關(guān)系的精確度。

本申請一實施例中，所述拼接裝置1用于：

基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊，并根據(jù)最大流最小割算法對對齊后的兩幅原始圖像進(jìn)行拼接，確定所述兩幅原始圖像之間的初始拼接線。

本申請一實施例中，所述拼接裝置12基于所述計算裝置11中計算得到反映在不同的拍攝視角下拍攝的同一桌面場景中的、待拼接的兩幅原始圖像：圖a和圖b之間的一一對應(yīng)關(guān)系的單應(yīng)性矩陣h，對所述兩幅原始圖像進(jìn)行對齊，對齊過程中，若首先以圖a為基準(zhǔn)，在對齊的圖像里面，將圖a中的一sift特征點對應(yīng)的像素點p’(x’，y’)，變化成p’(x’，y’，1)，并求單應(yīng)性矩陣h的逆矩陣h^-1，則有h^-1p’＝p(x，y，1)，其中，(x，y)為圖a中的一sift特征點對應(yīng)的像素點p’在圖b中對應(yīng)的位置的坐標(biāo)，取該位置(x，y)對應(yīng)的sift特征點的像素點放在p’處，若位置(x，y)對應(yīng)的sift特征點的像素點超出圖b的寬和高的范圍，則從圖a中取像素點，該像素點對應(yīng)的sift特征點的位置為(x’，y’)；若該位置(x，y)對應(yīng)的sift特征點的像素點也不在圖a的寬和高的范圍內(nèi)，則將該位置(x，y)對應(yīng)的sift特征點的像素點置灰或填黑或空白等，以表示此處不存在對應(yīng)匹配的特征點，實現(xiàn)對圖a和圖b的對齊。所述拼接裝置12繼續(xù)根據(jù)最大流最小割算法對對齊后的兩幅原始圖像進(jìn)行拼接，得到所述兩幅原始圖像之間的初始拼接線，實現(xiàn)對待拼接的兩幅原始圖像之間的初步的圖像拼接，以便后續(xù)對基于最大流最小割算法進(jìn)行圖像拼接得到的初始拼接線進(jìn)行優(yōu)化。

本申請一實施例中，由于待拼接的兩幅原始圖像是從不同的拍攝視角進(jìn)行拍攝的，故光照不一致，導(dǎo)致對齊拼接后的拼接圖像具有明顯的初始拼接線，以致拼接后得到的拼接圖像的視覺效果不好，故所述拼接裝置12還用于：

確定拼接后所述兩幅原始圖像的重疊區(qū)域和非重疊區(qū)域，統(tǒng)計所述重疊區(qū)域的像素點的個數(shù)和像素平均值；此處，統(tǒng)計得到拼接裝置12中對兩幅原始圖像進(jìn)行拼接后的重疊區(qū)域的像素點的個數(shù)n重疊像素，并對所有的重疊區(qū)域的像素點的像素值進(jìn)行求和取平均，得到重疊區(qū)域的所有像素點的像素平均值v像素；接著基于所述重疊區(qū)域及其像素點的個數(shù)n重疊像素和像素平均值v像素，分別對所述兩幅原始圖像的非重疊區(qū)域的每個像素點進(jìn)行增益補償，實現(xiàn)對兩幅原始圖像的非重疊區(qū)域曝光補償，使得對兩幅原始圖像進(jìn)行拼接后得到的重疊區(qū)域的一側(cè)或兩側(cè)的非重疊區(qū)域的亮度保持一致，進(jìn)一步實現(xiàn)拼接后的重疊區(qū)域和非重疊區(qū)域的色彩的平穩(wěn)過渡，進(jìn)一步得到視覺效果更好的兩幅原始圖像拼接后的拼接圖像和拼接線。

本申請的一實施例中，所述拼接裝置12用于：

設(shè)所述兩幅原始圖像分別為圖a和圖b，其中，圖a和圖b的重疊區(qū)域為sab，圖a中的非重疊區(qū)域為sa，圖b中的非重疊區(qū)域為sb；

采用增益補償算法，對重疊區(qū)域sab及其像素點的個數(shù)n重疊像素和像素平均值v像素進(jìn)行計算，分別得到圖a中的sa對應(yīng)的補償增益值ga和圖b中的sb對應(yīng)的補償增益值gb；

基于ga對圖a中的sa的每個像素點的像素值進(jìn)行增益補償，同時基于gb對圖b中的sb的每個像素點的像素值進(jìn)行增益補償。例如，用ga乘以圖a中的非重疊區(qū)域sa中的每個像素點的像素值，用gb乘以圖b中的非重疊區(qū)域sb中的每個像素點的像素值，進(jìn)而達(dá)到拼接后的圖a和圖b各自對應(yīng)的非重疊區(qū)域的曝光補償，使得對兩幅原始圖像進(jìn)行拼接后得到的重疊區(qū)域的一側(cè)或兩側(cè)的非重疊區(qū)域的亮度保持一致，進(jìn)一步實現(xiàn)拼接后的重疊區(qū)域和非重疊區(qū)域的色彩的平穩(wěn)過渡，進(jìn)一步得到視覺效果更好的兩幅原始圖像拼接后的拼接圖像和拼接線。

本申請一實施例中，如圖4所示(其中，圖4為圖2和圖3兩幅原始圖像基于最大流最小割算法進(jìn)行拼接之后得到的拼接圖像，圖4中標(biāo)記的橢圓內(nèi)的拼接效果就不佳)：由于在所述計算裝置11中求解所述兩幅原始圖像之間的變換關(guān)系時的迭代計算次數(shù)(即預(yù)置的隨機選取次數(shù))不充分，導(dǎo)致得到的反映兩幅原始圖像之間的一一對應(yīng)關(guān)系的變換關(guān)系不理想，進(jìn)而導(dǎo)致的對齊拼接后的拼接圖像的初始拼接線存在明顯的視覺差的效果；又由于通過最大流最小割算法進(jìn)行圖像拼接得到的初始拼接線存在穿透物體，使得在兩幅原始圖像中均存在的相同物體被強行拼合，效果較差，故為了解決上述初始拼接線視覺效果差的問題，所述優(yōu)化裝置13用于：

在所述初始拼接線的兩側(cè)的預(yù)設(shè)像素范圍內(nèi)，預(yù)置至少一個初始聚類中心點；

通過硬聚類算法和所述初始聚類中心點，對兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行聚類，得到每個所述初始聚類中心點對應(yīng)的聚類像素區(qū)域；

根據(jù)確定的每個所述聚類像素區(qū)域與所述初始拼接線的相對位置關(guān)系，按照預(yù)設(shè)的調(diào)整規(guī)則對所述初始拼接線進(jìn)行調(diào)整，得到對應(yīng)的調(diào)整拼接線；

更新所述調(diào)整拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點分別對應(yīng)的權(quán)重，基于所述更新的權(quán)重和所述最大流最小割算法，再次對所述對齊后的兩幅原始圖像進(jìn)行拼接，得到所述兩幅原始圖像之間的更新拼接線；

將所述更新拼接線確定為所述初始拼接線，重復(fù)如上步驟，直至對所述初始拼接線的調(diào)整為零。

在此，所述硬聚類算法可以包括但不限于是k均值算法(k-means算法)等。在本申請的下述實施例中，將所述硬聚類算法優(yōu)選為k-means。當(dāng)然，本領(lǐng)域的技術(shù)人員應(yīng)能理解所述k-means算法僅為本申請的所述硬聚類算法的一優(yōu)選實施例，其他現(xiàn)有的或今后可能出現(xiàn)的可以進(jìn)行聚類的硬聚類算法如可適用于本申請，也應(yīng)包含在本申請保護范圍以內(nèi)，并在此以引用方式包含于此。

例如，對初始拼接線的優(yōu)化過程具體為：步驟一、如圖5所示，在基于最大流最小割算法進(jìn)行拼接之后得到的拼接圖像中的初始拼接線(如圖5中的虛線)的兩側(cè)的預(yù)設(shè)像素范圍δ內(nèi)，預(yù)置至少一個初始聚類中心點，其中，該初始聚類中心點的個數(shù)為大于等于1的正整數(shù)。若該預(yù)置的初始聚類中心點為5個，分別為s、f、x、y和z；步驟二、通過k-means算法和預(yù)置的所述初始聚類中心點：s、f、x、y和z，對如圖5中的虛線對應(yīng)的初始拼接線兩側(cè)的預(yù)設(shè)像素范圍δ內(nèi)的所有像素點進(jìn)行聚類，得到每個初始聚類中心點對應(yīng)的聚類像素區(qū)域(如圖5中的橢圓對應(yīng)的像素區(qū)域)分別為：ks、kf、kx、ky和kz；步驟三、根據(jù)確定的每個所述聚類像素區(qū)域與所述初始拼接線的相對位置關(guān)系(如圖5所示該聚類像素區(qū)域在虛線對應(yīng)的初始拼接線的左側(cè)、右側(cè)或穿過等)，按照預(yù)設(shè)的調(diào)整規(guī)則對所述初始拼接線進(jìn)行調(diào)整，得到對應(yīng)的調(diào)整拼接線(如圖5中的橢圓區(qū)域編號為3和4對應(yīng)的邊緣粗線)，實現(xiàn)對初始拼接線的糾正；步驟四、更新所述調(diào)整拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點分別對應(yīng)的權(quán)重，基于所述更新的權(quán)重和所述最大流最小割算法，再次對所述對齊后的兩幅原始圖像進(jìn)行拼接，得到所述兩幅原始圖像之間的更新拼接線，以實現(xiàn)對兩幅原始圖像之間的初始拼接線進(jìn)行調(diào)整更新的目的；為了得到調(diào)整更新后的更加精確的兩幅原始圖像進(jìn)行圖像拼接之后的最優(yōu)拼接線，故將更新拼接線確定為所述初始拼接線，重復(fù)執(zhí)行上述步驟一至步驟四所述的操作流程，直至對所述初始拼接線的調(diào)整為零，進(jìn)而得到所述兩幅原始圖像之間的最優(yōu)拼接線如圖6所示，達(dá)到了對兩幅原始圖像進(jìn)行對齊拼接之后的初始拼接線進(jìn)行優(yōu)化的目的。

本申請一實施例中，所述預(yù)設(shè)的調(diào)整規(guī)則包括：

若所述相對位置關(guān)系為所述初始拼接線與所述聚類像素區(qū)域不相連，則所述聚類像素區(qū)域?qū)?yīng)的初始拼接線保持不變。

若所述相對位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)相等，則所述聚類像素區(qū)域?qū)?yīng)的初始拼接線保持不變。

若所述相對位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)不相等，則將包含所述聚類像素區(qū)域內(nèi)的像素點個數(shù)較少的一側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所述聚類像素區(qū)域的邊緣線，確定為所述調(diào)整拼接線。

例如，如圖5所示，若初始拼接線與初始聚類中心點s和f分別對應(yīng)的所述聚類像素區(qū)域ks和kf的位置關(guān)系為所述初始拼接線與所述聚類像素區(qū)域不相連，其中，該聚類像素區(qū)域ks屬于圖5中的橢圓區(qū)域編號為1的情況(σr＜σl且σr＝0，其中，σl為初始拼接線一側(cè)的預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)，σr為初始拼接線的另一側(cè)的預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù))，該聚類像素區(qū)域kf屬于圖5中的橢圓區(qū)域編號為2的情況(σr＞σl且σl＝0)，則屬于橢圓區(qū)域編號為1和2的情況對應(yīng)的所述聚類像素區(qū)域?qū)?yīng)的初始拼接線保持不變；若初始拼接線與初始聚類中心點x對應(yīng)的所述聚類像素區(qū)域kx的位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)相等(σr＝σl且σr≠0,σl≠0)，則所述聚類像素區(qū)域kx對應(yīng)的初始拼接線保持不變，此種情況屬于圖5中的其他四種情況對應(yīng)的第5種情況，該第5中情況沒有在圖5中加以體現(xiàn)；若初始拼接線與初始聚類中心點y對應(yīng)的所述聚類像素區(qū)域ky的位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)不相等：屬于圖5中的橢圓編號為4的情況(σr＞σl且σl≠0)，則將將包含所述聚類像素區(qū)域內(nèi)的像素點個數(shù)σl的一側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所述聚類像素區(qū)域的邊緣線確定為所述調(diào)整拼接線(即將橢圓編號為4的左側(cè)的粗線的邊緣線作為調(diào)整拼接線)；若初始拼接線與初始聚類中心點z對應(yīng)的所述聚類像素區(qū)域kz的位置關(guān)系為所述初始拼接線穿過所述聚類像素區(qū)域，且所述聚類像素區(qū)域中分別位于所述初始拼接線兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的像素點的個數(shù)不相等：屬于圖5中的橢圓編號為3的情況(σr＜σl且σr≠0)，則將將包含所述聚類像素區(qū)域內(nèi)的像素點個數(shù)σr的一側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所述聚類像素區(qū)域的邊緣線確定為所述調(diào)整拼接線(即將橢圓編號為3的右側(cè)的粗線的邊緣線作為調(diào)整拼接線)，以實現(xiàn)通過kmeans算法對兩幅原始圖像之間的初始拼接線進(jìn)行糾正并優(yōu)化。

接著本申請的上述實施例中，所述優(yōu)化裝置還用于：

分別對所述初始聚類中心點和所述初始拼接線的兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行更新。進(jìn)一步地，所述優(yōu)化裝置具體用于：

確定所述初始拼接線保持不變時對應(yīng)的所述聚類像素區(qū)域的區(qū)域個數(shù)，基于所述區(qū)域個數(shù)對所述初始聚類中心點進(jìn)行移除更新；

基于所述初始拼接線保持不變時對應(yīng)的所述聚類像素區(qū)域內(nèi)的像素點，對所述初始拼接線的兩側(cè)的所述預(yù)設(shè)像素范圍內(nèi)的所有像素點進(jìn)行過濾更新。

例如，對兩幅原始圖像進(jìn)行賭氣拼接之后得到初始拼接線之后，預(yù)置的初始聚類中心點為10，得到上述基于初始拼接線與初始聚類中心點對應(yīng)的聚類像素區(qū)域之間的相對位置關(guān)系的5種情況，若屬于上述所述初始拼接線保持不變時的情況1、2、5這三種情況的聚類像素區(qū)域的區(qū)域個數(shù)為7個(即對應(yīng)7個初始聚類中心點)，屬于上述需要對初始拼接線進(jìn)行調(diào)整的第3、4種情況的聚類像素區(qū)域的區(qū)域個數(shù)為3個，則所述優(yōu)化裝置13還基于所述初始拼接線保持不變時的情況1、2、5這三種情況的聚類像素區(qū)域的區(qū)域個數(shù)，對所述初始聚類中心點進(jìn)行移除更新，則更新下次基于kmeans算法對調(diào)整后的初始拼接線進(jìn)行優(yōu)化時的聚類中心點為3個或2個或1個等；同時，若初始拼接線處理的像素點的個數(shù)為100個，基于所述初始拼接線保持不變時的情況1、2、5這三種情況的聚類像素區(qū)域內(nèi)的像素點為78個，則將對初始拼接線保持不變時的聚類像素區(qū)域內(nèi)的78個像素點過濾，下一次基于kmeans算法對調(diào)整后的初始拼接線進(jìn)行優(yōu)化時的像素點為100個像素點中剩余的22個像素點(即對進(jìn)行調(diào)整的第3、4種情況的聚類像素區(qū)域內(nèi)的像素點再次基于kmeans算法進(jìn)行聚類)，直至對所述初始拼接線的調(diào)整為零，將初始拼接線保持不變時對應(yīng)的聚類中心點和像素點過濾掉，不僅減少了下一次基于kmeans算法對調(diào)整后的初始拼接線進(jìn)行優(yōu)化時需要聚類的像素點的總個數(shù)，還可以減少整個最優(yōu)拼接線的生成時間，以加速所述最優(yōu)拼接線的生成過程。

綜上所述，本申請的一實施例中，當(dāng)需要對拍攝的或者獲取的原始圖像進(jìn)行拼接時，需要計算待拼接的兩幅原始圖像之間的變換關(guān)系；基于所述變換關(guān)系對所述兩幅原始圖像進(jìn)行對齊拼接，確定所述兩幅原始圖像之間的初始拼接線；為了得到視覺效果更好的圖像拼接之后的拼接線；對所述初始拼接線進(jìn)行優(yōu)化，得到所述兩幅原始圖像之間的最優(yōu)拼接線，不僅有效地提高了圖像拼接后的拼接線(此處為最優(yōu)拼接線)的視覺效果，還基于提高視覺效果的最優(yōu)拼接線提高了兩幅原始圖像進(jìn)行圖像拼接后的拼接圖像的視覺效果。

此外，根據(jù)本申請的另一方面，還提供了一種計算機可讀介質(zhì)，其上存儲有計算機可讀指令，所述計算機可讀指令可被處理器執(zhí)行以實現(xiàn)如上述所述的方法。

根據(jù)本申請的另一方面，還提供了一種用于拼接線優(yōu)化的設(shè)備，其中，該設(shè)備包括：

一個或多個處理器；以及

存儲有計算機可讀指令的存儲器，所述計算機可讀指令在被執(zhí)行時使所述處理器執(zhí)行如上述所述方法的操作。

顯然，本領(lǐng)域的技術(shù)人員可以對本申請進(jìn)行各種改動和變型而不脫離本申請的精神和范圍。這樣，倘若本申請的這些修改和變型屬于本申請權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本申請也意圖包含這些改動和變型在內(nèi)。

需要注意的是，本申請可在軟件和/或軟件與硬件的組合體中被實施，例如，可采用專用集成電路(asic)、通用目的計算機或任何其他類似硬件設(shè)備來實現(xiàn)。在一個實施例中，本申請的軟件程序可以通過處理器執(zhí)行以實現(xiàn)上文所述步驟或功能。同樣地，本申請的軟件程序(包括相關(guān)的數(shù)據(jù)結(jié)構(gòu))可以被存儲到計算機可讀記錄介質(zhì)中，例如，ram存儲器，磁或光驅(qū)動器或軟磁盤及類似設(shè)備。另外，本申請的一些步驟或功能可采用硬件來實現(xiàn)，例如，作為與處理器配合從而執(zhí)行各個步驟或功能的電路。

另外，本申請的一部分可被應(yīng)用為計算機程序產(chǎn)品，例如計算機程序指令，當(dāng)其被計算機執(zhí)行時，通過該計算機的操作，可以調(diào)用或提供根據(jù)本申請的方法和/或技術(shù)方案。而調(diào)用本申請的方法的程序指令，可能被存儲在固定的或可移動的記錄介質(zhì)中，和/或通過廣播或其他信號承載媒體中的數(shù)據(jù)流而被傳輸，和/或被存儲在根據(jù)所述程序指令運行的計算機設(shè)備的工作存儲器中。在此，根據(jù)本申請的一個實施例包括一個裝置，該裝置包括用于存儲計算機程序指令的存儲器和用于執(zhí)行程序指令的處理器，其中，當(dāng)該計算機程序指令被該處理器執(zhí)行時，觸發(fā)該裝置運行基于前述根據(jù)本申請的多個實施例的方法和/或技術(shù)方案。

對于本領(lǐng)域技術(shù)人員而言，顯然本申請不限于上述示范性實施例的細(xì)節(jié)，而且在不背離本申請的精神或基本特征的情況下，能夠以其他的具體形式實現(xiàn)本申請。因此，無論從哪一點來看，均應(yīng)將實施例看作是示范性的，而且是非限制性的，本申請的范圍由所附權(quán)利要求而不是上述說明限定，因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化涵括在本申請內(nèi)。不應(yīng)將權(quán)利要求中的任何附圖標(biāo)記視為限制所涉及的權(quán)利要求。此外，顯然“包括”一詞不排除其他單元或步驟，單數(shù)不排除復(fù)數(shù)。裝置權(quán)利要求中陳述的多個單元或裝置也可以由一個單元或裝置通過軟件或者硬件來實現(xiàn)。第一，第二等詞語用來表示名稱，而并不表示任何特定的順序。