專利名稱：隔時圖像的圖像處理方法、圖像處理程序和圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種利用攝像裝置以規(guī)定的時間間隔斷續(xù)地拍攝觀察對象，取得多個 圖像，把取得的圖像按照時間序列進(jìn)行排列，生成隔時圖像(Time Lapse)的隔時圖像的圖 像處理技術(shù)。
背景技術(shù)：
作為利用上述那樣的隔時圖像來對觀察對象的變化進(jìn)行觀察的裝置，例如有一邊 培養(yǎng)生物細(xì)胞，一邊觀察狀態(tài)變化的培養(yǎng)顯微鏡、和觀測道路或海域的阻塞狀況等的觀測 裝置等。這樣的裝置，例如培養(yǎng)顯微鏡為了觀察并正確評價各個細(xì)胞和細(xì)胞之間的運動狀 態(tài)，需要利用硬件或軟件保證視野內(nèi)的各個細(xì)胞的空間位置，生成隔時圖像。這里，為了利用機(jī)械部件以硬件方式保證視野內(nèi)的各個細(xì)胞的空間位置，S卩，包括 攝像裝置的觀察光學(xué)系統(tǒng)與觀察對象的相對位置，為了抑制溫度漂移的影響，需要使用熱 膨脹系數(shù)極低的超級般鋼(superinvar)和陶瓷等價格昂貴的材質(zhì)來構(gòu)成部件，或配置位 置校準(zhǔn)用的校準(zhǔn)光學(xué)系統(tǒng)等，使裝置整體復(fù)雜化、高價化。并且，如果要使觀察光學(xué)系統(tǒng)與 觀察對象的相對位置偏差最小化，則需要把觀察光學(xué)系統(tǒng)與觀察對象的相對位置固定，來 連續(xù)觀察1個觀察對象。為了克服這些缺點而能夠適宜更換多個觀察對象進(jìn)行觀察，提出 有一種針對斷續(xù)拍攝的圖像，通過取得圖像全體的相關(guān)，以軟件方式進(jìn)行圖像之間的位置 修正的方法(例如參照專利文獻(xiàn)1)。專利文獻(xiàn)1 日本特開2006-23494號公報這里，在通過在各個圖像之間取得圖像全體的相關(guān)，進(jìn)行位置修正的情況下，需要 使視野內(nèi)的各個細(xì)胞隨機(jī)運動，且圖像全體的重心靜止的假設(shè)成立。因此，存在的問題是， 例如在灰塵或氣泡等觀察對象以外的物體在視野內(nèi)流動的情況下，隨機(jī)運動的假設(shè)被打 破，造成了隨著觀察對象以外的物體的變位，進(jìn)行位置修正的情況。

發(fā)明內(nèi)容
本發(fā)明就是鑒于上述問題而提出的，其目的是提供一種提高了斷續(xù)拍攝的各個圖 像間的位置修正精度的隔時圖像的圖像處理技術(shù)。根據(jù)本發(fā)明的第1實施方式，提供一種隔時圖像的圖像處理方法，其特征在于，取 得由攝像裝置拍攝到位于視野內(nèi)的多個物體(例如，實施方式中的細(xì)胞Cl、C2)的第1圖 像、和在經(jīng)過了規(guī)定的時間后由攝像裝置拍攝到位于視野內(nèi)的多個物體的第2圖像，使用 加權(quán)后的相關(guān)函數(shù)，計算出針對第1圖像和第2圖像的攝影位置的相對位置偏差的位置修 正值，其中該加權(quán)是與在上述第1圖像和上述第2圖像中包含的各個上述物體的圖像特征 量相對應(yīng)的，根據(jù)位置修正值，在第1圖像和第2圖像的圖像之間進(jìn)行位置修正，生成隔時 圖像。根據(jù)本發(fā)明的第2實施方式，提供一種隔時圖像的圖像處理程序，其特征在于，包 括取得由攝像裝置拍攝到位于視野內(nèi)的多個物體(例如，實施方式中的細(xì)胞Cl、C2)的第1圖像、和在經(jīng)過了規(guī)定的時間后由攝像裝置拍攝到位于視野內(nèi)的多個物體的第2圖像的 取得步驟；使用加權(quán)后的相關(guān)函數(shù)，計算出針對第1圖像和第2圖像的攝影位置的相對位置 偏差的位置修正值的步驟，其中該加權(quán)是與在上述第1圖像和上述第2圖像中包含的各個 所述物體的圖像特征量相對應(yīng)的；根據(jù)位置修正值，在第1圖像和第2圖像的圖像之間進(jìn)行 位置修正的步驟，使用在圖像之間進(jìn)行了位置修正的第1圖像和第2圖像，生成隔時圖像。根據(jù)本發(fā)明的第3實施方式，提供一種隔時圖像的圖像處理裝置，其特征在于，具 有拍攝多個物體的攝像裝置；圖像解析部，其從由攝像裝置以規(guī)定的時間間隔拍攝到的 第1圖 像和第2圖像，解析出在各個圖像中包含的各個物體的特征量；位置修正值計算部， 其使用加權(quán)后的相關(guān)函數(shù)，計算出針對第1圖像和第2圖像的攝影位置的相對位置偏差的 位置修正值，其中該加權(quán)是與所解析出的各個上述物體的上述圖像特征量相對應(yīng)的；圖像 間位置修正部，其根據(jù)在位置修正值計算部中計算出的位置修正值，在第1圖像和第2圖像 的圖像之間進(jìn)行位置修正，構(gòu)成為，由圖像間位置修正部，使用在圖像之間進(jìn)行了位置修正 的第1圖像和第2圖像，生成隔時圖像。根據(jù)上述的隔時圖像的圖像處理方法、圖像處理程序、和圖像處理裝置，由于使用 基于在視野內(nèi)包含的多個物體的圖像特征量的加權(quán)的相關(guān)函數(shù)計算出多個圖像之間的位 置修正，所以，可提供一種提高了對斷續(xù)拍攝的各個圖像之間的位置修正的精度的隔時圖 像的圖像處理技術(shù)。


圖1是第1實施方式的圖像處理程序的流程圖。圖2是作為本發(fā)明的適用例表示的培養(yǎng)觀察系統(tǒng)的概要結(jié)構(gòu)圖。圖3是上述培養(yǎng)觀察系統(tǒng)的方框圖。圖4是模式表示用于說明以往的位置修正的顯微觀察像的模式圖。圖5是表示圖像處理裝置的概要結(jié)構(gòu)的方框圖。圖6是模式表示對細(xì)胞作用了外壓的狀況的俯視圖和剖面圖。圖7是第2實施方式的圖像處理程序的流程圖。圖8是第3實施方式的圖像處理程序的流程圖。附圖標(biāo)記說明BS_培養(yǎng)觀察系統(tǒng)；C1、C2_細(xì)胞(物體)；GP (GPl GP3)-圖像處 理程序；55-顯微觀察系統(tǒng)(55c攝像裝置)；100 (101 103)-圖像處理裝置；110-圖像解 析部；120-位置修正值計算部；130-圖像間位置修正部；140-特征量存儲部；150-模式選 擇開關(guān)(模式選擇單元)。
具體實施例方式下面，參照附圖，對用于實施本發(fā)明的實施方式進(jìn)行說明。作為應(yīng)用本發(fā)明的隔時 圖像的圖像處理裝置的系統(tǒng)的一例，在圖2和圖3中分別圖示了培養(yǎng)觀察系統(tǒng)的概要結(jié)構(gòu) 圖和方框圖。該培養(yǎng)觀察系統(tǒng)BS大體上由設(shè)在箱體1的上部的培養(yǎng)室2、收容并保持多個培養(yǎng) 容器10的貨架狀的儲料器3、觀察培養(yǎng)容器10內(nèi)的試驗料的觀察單元5、把培養(yǎng)容器10在 儲料器3與觀察單元5之間搬運的搬運單元4、控制系統(tǒng)的動作的控制單元6、具備了圖像顯示裝置的操作盤7等構(gòu)成。培養(yǎng)室2是形成并維持與要培養(yǎng)的細(xì)胞的種類和目的等對 應(yīng)的培養(yǎng)環(huán)境的室，為 了防止環(huán)境變化和污染而在投入樣品后保持密閉狀態(tài)。作為培養(yǎng)室2的附帶設(shè)備，設(shè)有使 培養(yǎng)室內(nèi)的溫度升溫、降溫的溫度調(diào)整裝置21、調(diào)整濕度的加濕器22、供應(yīng)CO2和N2等氣體 的氣體供應(yīng)裝置23、用于使培養(yǎng)室2整體的環(huán)境均勻的循環(huán)風(fēng)扇24、檢測培養(yǎng)室2的溫度 和濕度的環(huán)境傳感器25等。由控制單元6控制各個設(shè)備的動作，把基于培養(yǎng)室2的溫度、濕 度、二氧化碳濃度等規(guī)定的培養(yǎng)環(huán)境維持在與在操作盤7中設(shè)定的培養(yǎng)條件一致的狀態(tài)。儲料器3形成為在圖2中的與紙面正交的前后方向和上下方向分別被分隔為多個 的貨架狀。各個貨架分別設(shè)有固有的地址，例如在把前后方向設(shè)為A C列、把上下方向設(shè) 為1 7層的情況下，A列5層的貨架被設(shè)定為A-5。培養(yǎng)容器10具有燒瓶、盤、井板等種類，并具有圓形、方形等形態(tài)和尺寸，可根據(jù) 要培養(yǎng)的細(xì)胞的種類和目的選擇使用適宜的容器。在本實施方式中，舉例說明了使用盤的 結(jié)構(gòu)。把細(xì)胞等的試驗料、與添加了酚紅等PH試劑的液體培養(yǎng)基一同注入培養(yǎng)容器10中。 對培養(yǎng)容器10付與代碼編號，與儲料器3的指定編號對應(yīng)收容。另外，在培養(yǎng)容器10中，根 據(jù)容器的種類和形態(tài)等形成的搬送用容器托架，以裝入的狀態(tài)被收容保持在各個貨架中。搬送單元4由在培養(yǎng)室2內(nèi)部可上下方向移動設(shè)置的，基于Z軸驅(qū)動機(jī)構(gòu)升降的 Z臺41、可前后方向移動地安裝在Z臺41上的基于Y軸驅(qū)動機(jī)構(gòu)而前后移動的Y臺42、和 可左右方向移動地安裝在Y臺42上的基于X軸驅(qū)動機(jī)構(gòu)而向左右移動的X臺43等構(gòu)成， 在相對Y臺左右移動的X臺43的前端側(cè)，設(shè)有將培養(yǎng)容器10抬起支撐的支撐臂45。搬送 單元4構(gòu)成為使支撐臂45具有在儲料器3的全部貨架與觀察單元5的試驗料臺15之間可 移動的移動范圍。X軸驅(qū)動機(jī)構(gòu)、Y軸驅(qū)動機(jī)構(gòu)、Z軸驅(qū)動機(jī)構(gòu)，例如由滾珠絲杠和帶編碼器 的伺服電機(jī)構(gòu)成，由控制單元6控制其工作。觀察單元50由第1照明部51、第2照明部52、第3照明部53、進(jìn)行試驗料的宏觀 觀察的宏觀觀察系統(tǒng)54、進(jìn)行試驗料的微觀觀察的微觀觀察系統(tǒng)55、圖像處理裝置100等 構(gòu)成。試驗料臺15由具有透光性的材質(zhì)構(gòu)成，并且在顯微觀察系統(tǒng)55的觀察區(qū)域設(shè)有透 明的窗部16。第1照明部51由設(shè)在下部框架Ib側(cè)的面發(fā)光光源構(gòu)成，從試驗料臺15的下側(cè)對 培養(yǎng)容器10整體進(jìn)行背光照明。第2照明部52具有LED等光源、和由相位環(huán)和聚光透鏡 等構(gòu)成的照明光學(xué)系統(tǒng)，并被設(shè)置在培養(yǎng)室2內(nèi)，從試驗料臺15的上方沿著顯微觀察系統(tǒng) 5的光軸，對培養(yǎng)容器中的試驗料進(jìn)行照明。第3照明部53具有由可分別射出適合進(jìn)行落 射照明觀察和熒光觀察的波長的光的多個LED和水銀燈等光源、和把從各個光源射出的光 重疊在顯微觀察系統(tǒng)55的光軸上的分光鏡和熒光濾鏡等構(gòu)成的照明光學(xué)系統(tǒng)，其被配置 在培養(yǎng)室2下側(cè)的下部框架Ib內(nèi)，從試驗料臺15的下方沿著顯微觀察系統(tǒng)5的光軸，對培 養(yǎng)容器中的試驗料進(jìn)行照明。宏觀觀察系統(tǒng)54具有觀察光學(xué)系統(tǒng)54a、和對由觀察光學(xué)系統(tǒng)成像的試驗料的像 進(jìn)行拍攝的CXD照相機(jī)等攝像裝置54c，其位于第1照明部51的上方，并被設(shè)在培養(yǎng)室2 內(nèi)。宏觀觀察系統(tǒng)54拍攝由第1照明部51背光照明的培養(yǎng)容器10的從上方觀察的全體 觀察圖像(宏觀像)。微觀觀察系統(tǒng)55具有物鏡、中間變倍透鏡、和熒光濾鏡等構(gòu)成的觀察光學(xué)系統(tǒng)55a、和拍攝由觀察光學(xué)系統(tǒng)55a成像的試驗料的像的，冷卻CXD照相機(jī)等攝像裝置55c，其 被設(shè)置在下部框架Ib的內(nèi)部。分別設(shè)置有多個物鏡和中間變倍透鏡，并且構(gòu)成為使用省略 了詳細(xì)圖示的轉(zhuǎn)換器和滑塊等變位機(jī)構(gòu)可設(shè)定多個倍率的結(jié)構(gòu)，其根據(jù)初始選擇的透鏡設(shè) 定，能夠在例如2倍 80倍等的范圍內(nèi)變倍。顯微觀察系統(tǒng)55拍攝通過顯微鏡觀察了由 第2照明部52照明的，透過了細(xì)胞的透過光、或由第3照明部53照明的，從細(xì)胞反射的反 射光、或由第3照明部53照明的，從細(xì)胞發(fā)出的熒光的顯微觀察像(微觀像)。圖像處理裝置100對從宏觀觀察系統(tǒng)的攝像裝置54c和顯微觀察系統(tǒng)的攝像裝置55c輸入的信號進(jìn)行A/D轉(zhuǎn)換，并且實施各種圖像處理，生成整體觀察圖像或顯微觀察圖像 的圖像數(shù)據(jù)。另外，圖像處理裝置100對這些觀察圖像的圖像數(shù)據(jù)實施圖像解析，進(jìn)行隔時 圖像的生成和細(xì)胞的移動量計算等。圖像處理裝置100具體是通過執(zhí)行在后述的控制裝置 6的ROM中保存的圖像處理程序構(gòu)筑而成。另外，關(guān)于圖像處理裝置100，將在后面詳細(xì)說 明。控制單元6具有CPTO1、設(shè)定并保存了控制培養(yǎng)觀察系統(tǒng)BS的動作的控制程序、 用于控制各部的數(shù)據(jù)的R0M62、暫時保存圖像數(shù)據(jù)等的RAM63等，并且構(gòu)成為由數(shù)據(jù)總線把 這些連接的結(jié)構(gòu)。控制單元6的輸入輸出口與培養(yǎng)室2中的溫度調(diào)整裝置21、加濕器22、 氣體供應(yīng)裝置23、循環(huán)風(fēng)扇24、環(huán)境傳感器25、搬送裝置4中的X、Y、Z臺43、42、41的各軸 的驅(qū)動機(jī)構(gòu)、觀察單元5中的第1、第2、第3照明部51、52、53、宏觀觀察系統(tǒng)54、顯微觀察 系統(tǒng)55、操作盤7中的操作面板71、和顯示屏72等連接。從上述各部向CPU61輸入檢測信 號，由CPU61根據(jù)預(yù)先設(shè)定的控制程序，控制上述各部。在操作盤7上設(shè)有設(shè)置了鍵盤、片式開關(guān)、和對磁記錄介質(zhì)或光盤等進(jìn)行信息的 讀出和寫入的讀/寫裝置等輸入輸出裝置的操作面板71、以及顯示各種操作畫面和圖像數(shù) 據(jù)等的顯示屏72，通過一邊參照顯示屏72，一邊利用操作面板71輸入觀察程序(動作條 件)的設(shè)定和條件選擇、和動作指令等，通過CPU61使培養(yǎng)觀察系統(tǒng)BS的各部動作。艮口， CPU61根據(jù)來自操作面板71的輸入，進(jìn)行培養(yǎng)室2的環(huán)境調(diào)整、培養(yǎng)室2內(nèi)的培養(yǎng)容器10 的搬送、基于觀察單元5的試驗料的觀察、取得的圖像數(shù)據(jù)的解析、和在顯示屏72上的顯示 等。在顯示屏72上，除了顯示動作指令和條件選擇的輸入畫面以外，還顯示培養(yǎng)室2的環(huán) 境條件的各個數(shù)值、被解析的圖像數(shù)據(jù)、和發(fā)生異常時的警告等。另外，CPU61通過根據(jù)有 線或無線的通信規(guī)格構(gòu)成的通信部65，能夠在與外部連接的計算機(jī)等之間進(jìn)行數(shù)據(jù)的發(fā)送 接收。RAM63中記錄有在操作面板71上設(shè)定的觀察程序的動作條件、例如培養(yǎng)室2的溫 度和濕度等環(huán)境條件、每個培養(yǎng)容器10的觀察時間安排、觀察單元5中的觀察種類、觀察位 置、觀察倍率等觀察條件等。另外，還記錄有被收容在培養(yǎng)室2中的各個培養(yǎng)容器10的代 碼編號、收容了各個代碼編號的培養(yǎng)容器10的儲料器3的收納地址等培養(yǎng)容器10的管理 數(shù)據(jù)、和在圖像解析中使用的各種數(shù)據(jù)。在RAM63中，設(shè)有記錄由觀察單元5拍攝的圖像數(shù) 據(jù)的圖像數(shù)據(jù)存儲區(qū)域，在各個圖像數(shù)據(jù)中，與其對應(yīng)地記錄有包括培養(yǎng)容器10的代碼編 號和攝影時間的索引數(shù)據(jù)。這樣概要構(gòu)成的培養(yǎng)觀察系統(tǒng)BS，根據(jù)在操作盤7上設(shè)定的觀察程序的設(shè)定條 件，CPU61根據(jù)在R0M62中保存的控制程序控制各部的動作，同時自動地進(jìn)行培養(yǎng)容器10 內(nèi)的試驗料的攝影。即，如果通過對操作面板71的面板操作(或通過通信部65的遠(yuǎn)程操作)開始了觀察程序，CPU61讀取出在RAM64中保存的環(huán)境條件的各個條件值，同時檢測出 從環(huán)境傳感器25輸入的培養(yǎng)室2的環(huán)境狀態(tài)，根據(jù)條件值與實測值的差異，使溫度調(diào)整裝 置21、加濕器22、氣體供應(yīng)裝置23、循環(huán)風(fēng)扇24等動作，對培養(yǎng)室2的溫度、濕度、二氧化碳 濃度等培養(yǎng)環(huán)境進(jìn)行反饋控制。另外，CPTOl讀取出在RAM63中保存的觀察條件，根據(jù)觀察時間安排，使搬送單元4 的X、Y、Z臺43、42、41的各軸的驅(qū)動機(jī)構(gòu)動作，把觀察對象的培養(yǎng)容器10從儲料器3搬送 到觀察單元5的試驗料臺15，開始觀察單元5的觀察。例如，在觀察程序中設(shè)定的觀察是 宏觀觀察的情況下，把由搬送單元4從儲料器3搬送來的培養(yǎng)容器10定位在宏觀觀察系統(tǒng) 54的光軸上，并載置在試驗料臺15上，使第1照明部51的光源點燈，從被背光照明的培養(yǎng) 容器10的上方，由攝像裝置54c拍攝整體觀察像。從攝像裝置54c被輸入到控制裝置6的 信號由圖像處理裝置100進(jìn)行處理，生成整體觀察圖像，其圖像數(shù)據(jù)與拍攝時間等索引數(shù) 據(jù)等一同被記錄在RAM63中。
另外，在觀察程序中設(shè)定的觀察是對培養(yǎng)容器10內(nèi)的特定位置的試驗料的微觀 觀察的情況下，把由搬送單元4搬送來的培養(yǎng)容器10的特定位置定位在顯微觀察系統(tǒng)55 的光軸上，并把其載置在試驗料臺15上，使第2照明部52或第3照明部53的光源點燈，由 攝像裝置55c拍攝基于透過照明、落射照明、熒光的顯微觀察像。由攝像裝置55c拍攝的， 被輸入到控制裝置6的信號，由圖像處理裝置100進(jìn)行處理，生成顯微觀察圖像，該圖像數(shù) 據(jù)與拍攝時間等索引數(shù)據(jù)等一同被保存在RAM63中。CPU61對被收容在儲料器3中的多個培養(yǎng)容器的試驗料，按照基于觀察程序的 30分鐘 2小時左右的時間間隔的觀察時間安排，順序進(jìn)行上述那樣的觀察，并順序進(jìn)行 整體觀察像和顯微觀察像的攝影。在本實施方式中，攝影的時間間隔可以固定，也可以不 同。攝影的整體觀察像和顯微觀察像的圖像數(shù)據(jù)，與培養(yǎng)容器10的代碼編號一同被保存在 RAM63的圖像數(shù)據(jù)存儲區(qū)域中。被記錄在RAM63中的圖像數(shù)據(jù)，根據(jù)從操作面板71輸入的 圖像顯示指令，被從RAM63中讀出，在操作盤7的顯示屏72上顯示指定時刻的整體觀察圖 像和顯微觀察圖像(單體圖像)、或指定時間層的整體觀察像和顯微觀察像的隔時圖像。這樣，在培養(yǎng)觀察系統(tǒng)BS中，根據(jù)觀察程序的設(shè)定，把成為對象的培養(yǎng)容器10從 儲料器3由搬送裝置4搬送到觀察單元，并定位在指定的觀察系統(tǒng)的光軸上，由攝像裝置進(jìn) 行拍攝。即，在培養(yǎng)觀察系統(tǒng)BS中，觀察對象的試驗料和觀察系統(tǒng)在每次進(jìn)行觀察時，進(jìn)行 相對移動。因此，對于多次的觀察，難以通過硬件使觀察對象與觀察系統(tǒng)的相對位置關(guān)系保 持一致，尤其是觀察倍率越高，越困難。因此，由攝像裝置54c、55c拍攝的圖像相對試驗料 的位置(試驗料的視野位置)，在每次觀察時出現(xiàn)微妙的差異，在RAM63中記錄的多個圖像 之間不可避免地產(chǎn)生觀察視野的位置偏差。這樣的位置偏差，在連續(xù)回放斷續(xù)拍攝的多個圖像，通過壓縮時間軸，以使在現(xiàn)實 的時間軸上難以目視把握的試驗料的變化狀態(tài)，如動畫那樣動態(tài)變化，生成可視化的隔時 圖像時，成為使圖像品質(zhì)劣化的重大的原因。因此，以往是采用把觀察對象是隨機(jī)運動的情 況作為前提，對斷續(xù)拍攝的圖像，取得圖像整體的相關(guān)，進(jìn)行圖像之間的位置修正的方法。但是，在觀察系統(tǒng)的視野內(nèi)，例如除了細(xì)胞等觀察對象以外，有時候還會包含灰塵 和氣泡等那樣的觀察對象以外的物體(被稱為非對象物)，這樣的非對象物隨著培養(yǎng)容器 10的搬送的培養(yǎng)基的流動、和受基于循環(huán)風(fēng)扇24的動作而產(chǎn)生的風(fēng)的影響而在視野內(nèi)浮動的情況下，將導(dǎo)致進(jìn)行了隨著非對象物的變位的位置修正。另外，即使是在視野內(nèi)不包含非對象物的情況，多數(shù)情況也是觀察對象的細(xì)胞 (單一細(xì)胞和細(xì)胞塊)的尺寸大小不同、或包含特性不同的多個細(xì)胞。在這樣的例子中， 在容易受外力影響的尺寸小的細(xì)胞和浮游性的細(xì)胞在基于培養(yǎng)基的流動和風(fēng)的壓力等“外 壓”，發(fā)生大的移動的情況下，也會導(dǎo)致進(jìn)行了很大程度受這樣的細(xì)胞移動的影響的位置修 正。圖4(1) (3)是為了說明進(jìn)行上述那樣的位置修正的狀況，模式地表示利用顯微 觀察系統(tǒng)55觀察了包含不同尺寸的細(xì)胞的試驗料時的顯微觀察像的圖。各個圖中Cl是與 培養(yǎng)容器的接地面積大的細(xì)胞，C2是與培養(yǎng)容器的接地面積小的細(xì)胞。圖4的(1)是在可進(jìn)行位置修正的時刻t，由攝 像裝置55c拍攝的顯微觀察圖像。 圖中標(biāo)記的箭頭表示，在未作用培養(yǎng)基的流動和風(fēng)的壓力等的外壓的情況下，在下一個觀 察時間的時刻t+Ι觀察的各個細(xì)胞的移動量。如該圖所示，一般的傾向于，接地面積大的細(xì) 胞Cl的移動量小，接地面積小的細(xì)胞C2的移動量大。圖4的(2)是在(1)所示的狀態(tài)下，從圖中的下方向上方作用了外壓P的情況下 的顯微觀察圖像，與(1)同樣，用箭頭表示在作為下一個觀察時間的時刻t+Ι觀察的各個細(xì) 胞的移動量。接地面積小的細(xì)胞C2容易受培養(yǎng)基的流動和風(fēng)的壓力等外壓的影響，相比接 地面積大的細(xì)胞Cl，向上方的移動量大。在這樣的情況下，利用時刻t的圖像和時刻t+Ι的 圖像的圖像整體的相關(guān)值求出的位置修正量，成為相對顯微觀察系統(tǒng)55的光軸的觀察對 象的定位誤差、和基于外壓P的影響的移動量的合計值。圖4的(3)是根據(jù)時刻t的圖像、和利用(2)的圖像整體的相關(guān)值進(jìn)行了位置修 正的時刻t+Ι的圖像，計算出了各個細(xì)胞Cl、C2的移動量的情況下的圖像。對于圖像之間 的位置修正，由于過分修正了基于外壓P的影響的移動量，所以基于外壓P向上方移動的細(xì) 胞C2的移動量被算得小，而對本來幾乎未移動的大的細(xì)胞Cl卻計算出了向下方的移動量。為了消除這樣的不良現(xiàn)象，在培養(yǎng)觀察系統(tǒng)BS中構(gòu)成為，對根據(jù)觀察時間安排斷 續(xù)拍攝的時刻t的第1圖像和時刻t+Ι的第2圖像，不采用圖像整體的相關(guān)值進(jìn)行位置修 正，而使用進(jìn)行了與在視野內(nèi)包含的物體的圖像特征量對應(yīng)的加權(quán)的相關(guān)函數(shù)，進(jìn)行位置 修正。圖5用方框圖表示進(jìn)行上述位置修正的圖像處理裝置100的概要結(jié)構(gòu)。另外，圖 像處理裝置100(101 103)構(gòu)成為，由CPTOl讀取預(yù)先設(shè)定并保存在R0M62中的圖像處理 程序GP(GP1 GP3)，由CPU61執(zhí)行基于圖像處理程序GP的處理的結(jié)構(gòu)。圖1表示第1實 施方式的圖像處理程序GPl的流程圖。圖像處理裝置100具有從由攝像裝置(54c、55c)以規(guī)定的觀察間隔拍攝的第1 圖像和第2圖像中，解析出在各個圖像中包含的各個物體的圖像特征量的圖像解析部110、 使用進(jìn)行了與解析出的各個物體的圖像特征量對應(yīng)的加權(quán)的相關(guān)函數(shù)，計算出針對第1圖 像與第2圖像的攝影位置的相對位置偏差的位置修正值的位置修正值計算部120、和根據(jù) 在位置修正值計算部中計算出的位置修正值，進(jìn)行第1圖像和第2圖像的圖像之間的位置 修正的圖像間位置修正部130，并且構(gòu)成為，使用由圖像間位置修正部在圖像之間進(jìn)行了位 置修正的第1圖像和第2圖像，生成隔時圖像。(第1實施方式)
第1實施方式的圖像處理裝置101構(gòu)成為，由CPTOl執(zhí)行第1實施方式的圖像處 理程序GP1。該圖像處理裝置101作為第1圖像和第2圖像中包含的物體的圖像特征量，以 基于物體外形的特征量為基準(zhǔn)，使用進(jìn)行了對應(yīng)于特征量的加權(quán)的相關(guān)函數(shù)，進(jìn)行針對位 置偏差的位置修正。
在圖像處理程序GPl中，首先在步驟SllO中，讀出并取得被記錄在RAM63中的時 刻t的第1圖像、和時刻t+Ι的第2圖像，在步驟S120中，對各個區(qū)域進(jìn)行分區(qū)。為了分區(qū)， 可使用公知的各種方法，例如，可列舉出基于輝度值的2值化、基于分散值的2值化、Snakes 和LevelSet法等動態(tài)輪廓抽出法等。然后，在步驟S130中，進(jìn)行基于被分區(qū)的各個區(qū)域的外形的特征量(形狀特征) 的解析。作為基于外形的特征量，例如是區(qū)域的寬度和長度、面積(大小)、形狀的復(fù)雜程度 (周圍長度7面積)等。在實施例中，說明作為基于外形的特征量關(guān)注細(xì)胞的接地面積，并 規(guī)定了區(qū)域的面積的情況。在步驟S135中，對被分區(qū)的各個區(qū)域的面積，作成頻度分布，然 后進(jìn)入步驟S140。在步驟S140中，判斷在步驟S135中作成的頻度分布是否能夠用1個正態(tài)分布模 型化，在能夠用1個正態(tài)分布表現(xiàn)的情況下，進(jìn)入步驟S150A，在不能用1個正態(tài)分布模型 化，而可用多個正態(tài)分布之和表現(xiàn)的情況下，進(jìn)入步驟S150B。例如，在圖4所示的圖像的情 況下，在步驟S135中作成的頻度分布，由于用接地面積大的細(xì)胞Cl的分布和接地面積小的 細(xì)胞C2的分布的2個分布表現(xiàn)，所以進(jìn)入步驟S150B。在步驟S150A中，對被分區(qū)化的各個區(qū)域進(jìn)行標(biāo)定，對每個區(qū)域計算出面積，在步 驟S155A中指定基于面積值的加權(quán)。在步驟S150B中，根據(jù)被分離的分布分級(例如分成 接地面積大的細(xì)胞Cl的級別、和接地面積小的細(xì)胞C2的級別的2個級別)，在步驟155B中 對每個級別指定加權(quán)。這里，對加權(quán)的函數(shù)進(jìn)行考察。圖6是模式表示對某個細(xì)胞C從下方作用了外壓 P的狀況的俯視圖(1)、和剖面圖(2)。在假設(shè)對觀察對象的細(xì)胞C施加了一定的外壓P的 情況下，外壓P作用于任意細(xì)胞Cj的外力(使細(xì)胞移動的力)Fj，在把與外壓P垂直的面的 剖面面積設(shè)為S」時，成為。-ρ χ Sj,與該細(xì)胞q的剖面面積Sj成比例。在細(xì)胞C是單層 細(xì)胞的情況下，由于核細(xì)胞的厚度一定，所以，如果把與外壓P正交方向的寬度設(shè)為Lp則成 為Fj - PXL」，外壓P作用于細(xì)胞Cj的外力Fj與寬度Lj成比例。另一方面，細(xì)胞的質(zhì)量W與體積成比例，如果把細(xì)胞Cj的立體形狀近似為直徑Lj 的圓柱，則體積\與直徑的乘方、即，細(xì)胞q的外壓正交方向的寬度h的乘方量成比例。因 此，與培養(yǎng)容器10底部接觸的細(xì)胞的摩擦力(摩擦阻力μ Wj)與Lj_2成比例。因此，對細(xì)胞的移動的外壓P的影響度(移動易度/移動難度)，即使在只單純考 慮了摩擦力的情況下，也是與Lf1成比例地增加移動難度，越是大的細(xì)胞，越不容易受外壓 P的影響。實際上，由于根據(jù)細(xì)胞的接地面積，摩擦系數(shù)μ也不同，所以，加權(quán)的函數(shù)成為比 L—1更陡峭的函數(shù)。在R0M62中，預(yù)先保存有根據(jù)上述那樣的考察而計算出的與細(xì)胞接地面積的大小 對應(yīng)的加權(quán)的函數(shù)gj，在步驟S155A、S155B中，指定與各個細(xì)胞Cj的大小和各個級別的平 均尺寸對應(yīng)的加權(quán)的函數(shù)gp然后進(jìn)入步驟S170。在步驟S170中，作成對每個區(qū)域指定的加權(quán)函數(shù)gj的對照表，在步驟S180中，在時刻t的第1圖像與時刻t+Ι的第2圖像之間，使用上述加權(quán)的函數(shù)值計算出圖像之間的 相關(guān)值。然后，把相關(guān)值的總和成為了最大時的圖像之間的移動量，作為起因于定位誤差的 移動量，并把其作為第1圖像與第2圖像之間的位置修正量(相對第1圖像的第2圖像的 位置修正值)，記錄在RAM63中，然后進(jìn)入步驟S190。
在步驟S190中，根據(jù)在步驟S180中計算出的位置修正量，進(jìn)行第1、第2圖像之間 的位置修正。例如，在從操作面板71向CPU61輸入了隔時圖像的生成指令的情況下，使用 被位置修正的第1圖像和第2圖像生成隔時圖像。另外，在通過操作面板71選擇了計算各 個細(xì)胞的移動量的處理，其指令被輸入到CPU61的情況下，使用被位置修正的第1圖像和第 2圖像，計算出在其之間的各個細(xì)胞的移動量，并利用例如圖4所示那樣的箭頭的方向和長 度進(jìn)行矢量顯示。在通過執(zhí)行這樣的圖像處理程序GPl而構(gòu)成的圖像處理裝置101中，作為物體的 圖像特征量而抽出基于物體的外形的特征量，通過附加基于特征量的加權(quán)，取得多個圖像 之間的相關(guān)，把相關(guān)值的總和成為最大時的移動量作為位置修正量計算出來，執(zhí)行多個圖 像之間的圖像處理。因此，即使是在觀察視野內(nèi)包含灰塵和氣泡等那樣的觀察對象以外的 物體、或包含觀察對象的動態(tài)特性不同的多個細(xì)胞的情況，也能夠進(jìn)行正確的位置修正，由 此，可提高斷續(xù)拍攝的圖像之間的位置修正的精度。(第2實施方式)下面，對第2實施方式的圖像處理裝置102進(jìn)行說明。本實施方式的圖像處理裝 置102，作為物體的圖像特征量而以位于視野內(nèi)的物體的紋理構(gòu)造的特征量為基準(zhǔn)。S卩，作 為硬件資源的圖像控制裝置的裝置結(jié)構(gòu)與第1實施方式的圖像處理裝置101相同，但在圖 像處理過程中，成為判斷的對象的圖像特征量與第1實施方式的圖像處理裝置101不同。圖 7表示通過由CPTOl讀取并執(zhí)行而構(gòu)成圖像處理裝置102的圖像處理程序GP2的流程圖，下 面，利用該基于圖像處理程序GP2的處理流程，對本實施方式的圖像處理方法進(jìn)行說明。在圖像處理程序GP2中，首先在步驟S210中，讀出被記錄在RAM63中的時刻t的 第1圖像和時刻t+Ι的第2圖像，在步驟S220中對各個區(qū)域進(jìn)行分區(qū)。關(guān)于分區(qū)的方法， 可以使用與上述相同的各種方法。然后，在步驟230中，對被分區(qū)的各個區(qū)域進(jìn)行基于紋理構(gòu)造的特征量(紋理特 征)的解析。作為基于紋理構(gòu)造的特征量，例如是被分區(qū)的區(qū)域的圖案和分散、核的有無 等。在實施例中，說明作為基于紋理構(gòu)造的特征量而關(guān)注細(xì)胞像的分散，并規(guī)定了區(qū)域的 分散的情況。在步驟S235中，對被分區(qū)的各個區(qū)域的分散，作成頻度分布，然后進(jìn)入步驟 S240。在步驟S240中，判斷在步驟S235中作成的頻度分布是否能夠用1個正態(tài)分布模 型化，在能夠用1個正態(tài)分布表現(xiàn)的情況下，進(jìn)入步驟S250A，在不能用單1個正態(tài)分布模型 化，而可用多個正態(tài)分布之和表現(xiàn)的情況下，進(jìn)入步驟S250B。在步驟S250A中，對被分區(qū)化的各個區(qū)域進(jìn)行標(biāo)定，在步驟S255A中指定基于面積 值的加權(quán)。在步驟S250B中，對每個正態(tài)分布進(jìn)行分級(例如，根據(jù)分散值進(jìn)行從分散值大 的細(xì)胞的級別到分散值小的細(xì)胞的級別的3個級別分類)，在步驟255B中，指定每個級別的 加權(quán)。加權(quán)的函數(shù)可以與第1實施方式同樣地使用與各個細(xì)胞的接地面積的大小(或級另Ij)對應(yīng)的加權(quán)的函數(shù)&。另外，在紋理構(gòu)造的特征量被分類為多個級別，并且該級別是 起因于細(xì)胞的種類和成長階層的不同的情況下，可以使用與各自的動態(tài)特性對應(yīng)的加權(quán)的 函數(shù)。在R0M62中，預(yù)先保存有根據(jù)這樣的考察而設(shè)定的加權(quán)的函數(shù)，在步驟S255A、S255B 中，指定加權(quán)的函數(shù)，然后進(jìn)入步驟S270。在步驟S270中，作成對每個區(qū)域指定的加權(quán)函數(shù)的對照表，在步驟S280中，在時 刻t的第1圖像與時刻t+Ι的第2圖像之間，使用上述加權(quán)的函數(shù)值計算出圖像之間的相 關(guān)值。然后，把相關(guān)值的總和成為了最大時的圖像之間的移動量作為起因于定位誤差的移 動量，并把其作為第1圖像與第2圖像之間的位置修正量記錄在RAM63中，然后進(jìn)入步驟 S290。在步驟S290中，根據(jù)在步驟S280中計算出的位置修正量，進(jìn)行第1、第2圖像之間 的位置修正。而且，在從操作面板71向CPU61輸入了隔時圖像的生成指令的情況下，或向 CPU61輸入了計算細(xì)胞的移動量的指令的情況下，CPU61使用被位置修正的第1圖像和第2 圖像生成隔時圖像，或者，如圖4所示那樣，利用箭頭，矢量顯示各個細(xì)胞的移動量。
在通過執(zhí)行這樣的圖像處理程序GP2而構(gòu)成的圖像處理裝置102中，作為物體的 圖像特征量而抽出基于物體的紋理構(gòu)造的特征量，通過附加基于特征量的加權(quán)，取得多個 圖像之間的相關(guān)，計算出位置修正量，執(zhí)行多個圖像之間的圖像處理。因此，即使是在觀察 視野內(nèi)包含灰塵和氣泡等那樣的非對象物的情況、或包含觀察對象的動態(tài)特性不同的多個 細(xì)胞的情況，也能夠進(jìn)行正確的位置修正，由此，可提高斷續(xù)拍攝的圖像之間的位置修正的 精度。(第3實施方式)下面，對第3實施方式的圖像處理裝置103進(jìn)行說明。該圖像處理裝置103，如圖 5中用虛線所示那樣，在上述的各個實施方式的圖像處理裝置101、102的基礎(chǔ)上，增加了對 圖像特征量保存多種特征量的存儲部140、和選擇在特征量存儲部140中設(shè)定的特征量種 類的模式選擇開關(guān)150，構(gòu)成為，位置修正值計算部120可使用基于通過模式選擇開關(guān)150 所選擇的特征量的加權(quán)的相關(guān)函數(shù)，計算出位置修正值。圖8表示由CPTOl讀取并執(zhí)行而構(gòu)成圖像處理裝置103的圖像處理程序GP3的流 程圖，下面，根據(jù)該圖像處理程序GP3說明本實施方式的圖像處理方法。在圖像處理程序GP3中，首先在步驟S310中，讀出并取得被記錄在RAM63中的時 刻t的第1圖像、和時刻t+Ι的第2圖像，在步驟S320中，對各個區(qū)域進(jìn)行分區(qū)。關(guān)于分區(qū) 的方法，與上述相同可以采用各種方法。然后，在步驟S330中，在各個區(qū)域中從被分區(qū)的圖像中抽出并指定1個進(jìn)行加權(quán) 的對象。例如是，在圖4所示的圖像中，抽出面積大的細(xì)胞Cl，并指定為加權(quán)對象，然后進(jìn)入 步驟S340。在步驟S340中，對于從RAM63取得的第1圖像和第2圖像，判斷是否在上述指定 對象以外存在成為加權(quán)對象的區(qū)域。然后，在判斷為，如在除了在步驟S330中指定的指定 對象的細(xì)胞Cl以外，還存在面積小的細(xì)胞C2時那樣，在指定對象以外存在成為加權(quán)對象的 區(qū)域的情況下，進(jìn)入步驟S345，在判斷為不存在其他對象區(qū)域的情況下，進(jìn)入步驟S370。在步驟S345中，在顯示屏72中顯示選擇在特征量存儲部140中設(shè)定的特征量的 種類的模式選擇畫面。該模式選擇畫面在從RAM63取得的圖像中，可區(qū)別地顯示有在步驟S330中抽出的指定對象(細(xì)胞Cl)、和成為加權(quán)對象的其他區(qū)域(細(xì)胞C2)。雖然可在模式 選擇畫面上，對應(yīng)特征量的選擇來適宜設(shè)定可選擇的模式，但例如圖8所示那樣，設(shè)定有手 動模式、形狀特征量模式、和紋理特征量模式。操作培養(yǎng)觀察系統(tǒng)的操作者通過操作模式選 擇開關(guān)150，能夠以任意模式執(zhí)行位置修正處理。 在通過模式選擇開關(guān)150選擇了手動模式的情況下，在步驟S346中設(shè)定為手動模 式，然后返回步驟S330，操作者通過操作操作面板71，能夠自己進(jìn)行加權(quán)對象的指定區(qū)域 的追加和刪除。在通過模式選擇開關(guān)150選擇了特征量模式的情況下，進(jìn)入步驟S350A，設(shè)定為形 狀特征量模式，進(jìn)行基于形狀特征量的分級。例如如對第1實施方式的圖像處理裝置101 說明的那樣，對被分區(qū)的區(qū)域進(jìn)行分級，分成接地面積大的細(xì)胞Cl的級別、和接地面積小 的細(xì)胞C2的級別。在通過模式選擇開關(guān)150選擇了紋理量模式的情況下，進(jìn)入步驟S350B，設(shè)定為紋 理特征量模式，進(jìn)行根據(jù)紋理特征量的分級。例如如對第2實施方式的圖像處理裝置102 說明的那樣，對被分區(qū)的區(qū)域進(jìn)行分級，分成分散值大的細(xì)胞的級別、和分散值小的細(xì)胞的 級別。然后，在步驟S360中，把與指定區(qū)域相同級別的區(qū)域加在加權(quán)對象區(qū)域中，在步 驟S370中，在指定了加權(quán)函數(shù)的基礎(chǔ)上，作成加權(quán)對照表。加權(quán)函數(shù)與上述的圖像處理裝 置101、102同樣，可使用與各個細(xì)胞的接地面積大小和級別對應(yīng)的加權(quán)函數(shù)gj，或者，在相 當(dāng)于根據(jù)細(xì)胞的種類和成長階層的不同的級別分類的情況下，可以使用基于各自的特性的 加權(quán)的函數(shù)。在步驟S370中作成了加權(quán)函數(shù)的對照表后，在步驟S380中，在時刻t的第1圖像 和時刻t+Ι的第2圖像之間，使用上述加權(quán)的函數(shù)值計算出圖像之間的相關(guān)值。然后，把相 關(guān)值的總和成為了最大時的圖像之間的移動量作為起因于定位誤差的移動量，并把其作為 第1圖像與第2圖像之間的位置修正量，記錄在RAM63中，然后進(jìn)入步驟S390。在步驟S390中，根據(jù)在步驟S380中計算出的位置修正量，進(jìn)行第1、第2圖像之間 的位置修正。另外，在從操作面板71向CPU61輸入了隔時圖像的生成指令的情況下，或者 向CPU61輸入了計算細(xì)胞的移動量的指令的情況下，CPU61使用被位置修正的第1圖像和 第2圖像生成隔時圖像，或者如圖4所示那樣，使用箭頭，矢量顯示各個細(xì)胞的移動量。通過這樣地執(zhí)行圖像處理程序GP3而構(gòu)成的圖像處理裝置103，作為物體的圖像 特征量而在特征量存儲部140中預(yù)先設(shè)定并保存有多種特征量，通過進(jìn)行基于利用模式選 擇開關(guān)150選擇的特征量的加權(quán)，取得多個圖像之間的相關(guān)，計算出位置修正量，執(zhí)行多個 圖像之間的圖像處理。因此，即使是在觀察視野內(nèi)包含灰塵和氣泡等那樣的觀察對象以外 的物體的情況、或包含觀察對象的動態(tài)特性不同的多個細(xì)胞的情況，也能夠根據(jù)觀察對象 的種類和狀態(tài)，選擇適當(dāng)?shù)奶卣髁?，進(jìn)行正確的位置修正，由此，可提高斷續(xù)拍攝的圖像之 間的位置修正的精度。如以上說明的那樣，根據(jù)本發(fā)明的圖像處理程序GP (GPl GP3)、通過執(zhí)行這些圖 像處理程序而構(gòu)成的圖像處理方法和圖像處理裝置100(101 103)，由于使用基于視野內(nèi) 的物體的圖像特征量的加權(quán)的相關(guān)函數(shù)進(jìn)行圖像之間的位置修正，所以，可實現(xiàn)提高了斷 續(xù)拍攝的圖像之間的位置修正精度的隔時圖像的圖像處理技術(shù)。
另外，在實施方式中，舉例說明了把本發(fā)明的隔時圖像的圖像處理裝置應(yīng)用在培養(yǎng)觀察系統(tǒng)中的情況，但本發(fā)明不限于此實施方式，也可以同樣地應(yīng)用在以規(guī)定的時間間 隔取得多個圖像，并把這些圖像連續(xù)回放的其他裝置中，并可獲得同樣的效果。作為一例， 簡單說明觀察在海域中移動的船舶的移動狀況的觀察裝置，作為基于外形的特征量，例如 是船舶的形態(tài)(漁船、客船、集裝箱船、驅(qū)逐艦等)、大小(排水量)、和高度、作為基于紋理 構(gòu)造的特征量，例如是船體的顏色和分散等，作為外壓，例如是潮水的流動和風(fēng)的狀態(tài)等。 作為其他裝置，例如是觀測車輛的阻塞狀況的道路信息觀測裝置、監(jiān)視人的移動狀態(tài)的監(jiān) 視裝置等。
權(quán)利要求
一種隔時圖像的圖像處理方法，其特征在于，取得由攝像裝置拍攝到位于視野內(nèi)的多個物體的第1圖像、和經(jīng)過了規(guī)定的時間后由所述攝像裝置拍攝到位于視野內(nèi)的多個所述物體的第2圖像，使用加權(quán)后的相關(guān)函數(shù)，計算出針對所述第1圖像和所述第2圖像的攝影位置的相對位置偏差進(jìn)行位置修正的位置修正值，其中該加權(quán)是與在所述第1圖像和所述第2圖像中包含的各個所述物體的圖像特征量相對應(yīng)的，根據(jù)所述位置修正值，在所述第1圖像和所述第2圖像的圖像之間進(jìn)行位置修正，生成隔時圖像。
2.根據(jù)權(quán)利要求1所述的隔時圖像的圖像處理方法，其特征在于，所述圖像特征量是 基于所述物體的外形的特征量。
3.根據(jù)權(quán)利要求1所述的隔時圖像的圖像處理方法，其特征在于，所述圖像特征量是 基于所述物體的紋理構(gòu)造的特征量。
4.一種隔時圖像的圖像處理程序，其特征在于，包括取得由攝像裝置拍攝到位于視野內(nèi)的多個物體的第1圖像、和在經(jīng)過了規(guī)定的時間后 由所述攝像裝置拍攝到位于視野內(nèi)的多個所述物體的第2圖像的步驟；使用加權(quán)后的相關(guān)函數(shù)，計算出針對所述第1圖像和所述第2圖像的攝影位置的相對 位置偏差進(jìn)行位置修正的位置修正值的步驟，其中該加權(quán)是與在所述第1圖像和所述第2 圖像中包含的各個所述物體的圖像特征量相對應(yīng)的；根據(jù)所述位置修正值，在所述第1圖像和所述第2圖像的圖像之間進(jìn)行位置修正的步驟，使用在圖像之間進(jìn)行了位置修正的所述第1圖像和所述第2圖像，生成隔時圖像。
5.根據(jù)權(quán)利要求4所述的隔時圖像的圖像處理程序，其特征在于，所述圖像特征量是 基于所述物體的外形的特征量。
6.根據(jù)權(quán)利要求4所述的隔時圖像的圖像處理程序，其特征在于，所述圖像特征量是 基于所述物體的紋理構(gòu)造的特征量。
7.根據(jù)權(quán)利要求4所述的隔時圖像的圖像處理程序，其特征在于，所述圖像特征量由預(yù)先設(shè)定保存的多種特征量構(gòu)成，并且還包括選擇所述特征量的種 類的模式選擇步驟，并且構(gòu)成為，使用與在所述模式選擇步驟中選擇出的特征量對應(yīng)的加權(quán)的相關(guān)函數(shù)， 計算出所述偏差量。
8.一種隔時圖像的圖像處理裝置，其特征在于，具有 拍攝多個物體的攝像裝置；圖像解析部，其從由所述攝像裝置以規(guī)定的時間間隔拍攝到的第1圖像和第2圖像，解 析出在各個圖像中包含的各個所述物體的所述特征量；位置修正值計算部，其使用加權(quán)后的相關(guān)函數(shù)，計算出針對所述第1圖像和所述第2圖 像的攝影位置的相對位置偏差進(jìn)行位置修正的位置修正值，其中該加權(quán)是與所解析出的各 個所述物體的所述圖像特征量相對應(yīng)的；圖像間位置修正部，其根據(jù)在所述位置修正值計算部中計算出的所述位置修正值，在 所述第1圖像和所述第2圖像的圖像之間進(jìn)行位置修正，并且構(gòu)成為，使用由所述圖像間位置修正部在圖像之間進(jìn)行了位置修正的所述第1圖 像和所述第2圖像，生成隔時圖像。
9.根據(jù)權(quán)利要求8所述的隔時圖像的圖像處理裝置，其特征在于，所述圖像特征量是 基于所述物體的外形的特征量。
10.根據(jù)權(quán)利要求8所述的隔時圖像的圖像處理裝置，其特征在于，所述圖像特征量是 基于所述物體的紋理構(gòu)造的特征量。
11.根據(jù)權(quán)利要求8所述的隔時圖像的圖像處理裝置，其特征在于，還具有 特征量存儲部，其存儲對所述圖像特征量預(yù)先設(shè)定的多種特征量；模式選擇單元，其選擇在所述特征量存儲部中設(shè)定的所述特征量的種類， 并且構(gòu)成為，所述位置修正值計算部，使用與在所述模式選擇單元中選擇的特征量對 應(yīng)的加權(quán)的相關(guān)函數(shù)，計算出所述位置修正值。
全文摘要
本發(fā)明提供一種隔時圖像的圖像處理方法。其中包括取得由攝像裝置拍攝到位于視野內(nèi)的多個物體的第1圖像、和在經(jīng)過了規(guī)定的時間后由攝像裝置拍攝到位于視野內(nèi)的多個上述物體的第2圖像的步驟(S110)；使用進(jìn)行了與在第1圖像和第2圖像中包含的各個物體的圖像特征量相應(yīng)的加權(quán)的相關(guān)函數(shù)，計算出針對第1圖像和第2圖像的攝影位置的相對位置偏差的位置修正值的步驟(S180)；和根據(jù)位置修正值，在第1圖像和第2圖像的圖像之間進(jìn)行位置修正的步驟(S190)，構(gòu)成為，使用進(jìn)行了位置修正的第1圖像和第2圖像，生成隔時圖像。
文檔編號G06T1/00GK101868808SQ20088011729
公開日2010年10月20日 申請日期2008年12月18日 優(yōu)先權(quán)日2007年12月20日
發(fā)明者三村正文, 伊藤啟 申請人:株式會社尼康