利用相機瓷磚化實現(xiàn)實時多尺度成像系統(tǒng)及方法
【專利摘要】本發(fā)明所涉及的利用相機“瓷磚化”實現(xiàn)實時多尺度成像系統(tǒng)，包括相機陣列，圖像處理及存儲系統(tǒng)，顯示器，所述圖像處理及存儲系統(tǒng)將相機陣列獲取的圖像處理后發(fā)送至顯示器；其特征在于：所述相機陣列由若干相互交錯設置的微相機組成，所述微相機拍攝所得的微視場的分辨率高于顯示器的顯示視場的分辨率。
【專利說明】
利用相機瓷磚化實現(xiàn)實時多尺度成像系統(tǒng)及方法
技術領域
[0001]本發(fā)明涉及利用相機“瓷磚化”實現(xiàn)實時多尺度成像系統(tǒng)及方法，屬于圖像處理技術領域。
【背景技術】
[0002]數(shù)字圖像分辨率取決于像素數(shù)。固態(tài)成像技術的分辨率從開始的一兆到現(xiàn)在的10到100兆。當前的傳感器像素尺寸已經(jīng)小到幾個光波長的級別。在這個尺度下，進一步降低像素尺寸變得很困難。所以為了增加圖像大小，開始增加傳感器面積。但是目前大于I平方厘米的傳感器價格昂貴，產(chǎn)出率不高。另外，鏡頭的可分辨點尺寸和空間頻響能力隨著傳感器尺寸的增加而降低。這也是應通過利用相機陣列，而不是提升單相機傳感器分辨率，來提升圖像大小的原因。
[0003]近百年來，全景高清圖像都是通過在三腳架上旋轉單相機，連續(xù)拍攝多張圖片，拼接成一張大圖像。在數(shù)字時代之前，全景圖像是通過剪切拼接而成。最近出現(xiàn)的拼接技術通過在關聯(lián)重疊區(qū)域共同點實現(xiàn)拼接。但是在此過程中經(jīng)常會發(fā)生錯誤，造成可察覺的誤差。主要原因是不同的圖片是在不同時間拍攝的，共同點可能在兩次曝光之間發(fā)生了移動。
[0004]如圖1所示，全景圖像也可以通過相機陣列去采集。相機陣列可以同步采集數(shù)據(jù)，消除了圖像之間的時間差。在美國專利8，259，212(多尺度光學系統(tǒng))中已經(jīng)描述了這種超高分辨率圖像采集系統(tǒng)。在這種架構中，保證多有相機的光軸盡量通過同一點是比較困難的。
[0005]如圖2所示，相機觀察場景的角范圍叫做視場角。每個相機像素從場景中采集數(shù)據(jù)，一個像素對應的角范圍叫做瞬態(tài)視場角ifov。一個相機有N個水平像素，M個垂直像素，水平視場角是N*ifov，垂直視場角是M*ifov?？傁袼財?shù)是N*M。可以通過像附圖中描述的那樣利用多個相機或者傳感器來增加視場角。每個相機觀察一部分場景且圖像間有部分重疊，場景中不能有不被相機覆蓋的地方。
[0006]正如圖2中描述的，相機從不同的視角觀察場景中的不同部分。相機的不同姿態(tài)使得形成一個單一視角總圖較為困難。理想情況下，我們希望將相機前透光孔圍繞一個中心點布置，以便所有相機共用一個視角中心點。實踐中，這種布置很難，甚至不可能實現(xiàn)。作為替代方法，我們可以簡單地確保相機光軸通過同一點，如圖3所示。
[0007]在這種情況下，我們可以通過縮放圖像把有效視角從光圈入口平移到所有相機共同相交的視角點。但是，每個物體為了平移有效視角點而進行的縮放量是和物體的距離相關的。在一個具有多個不同地點的物體的場景，通過準確的縮放來實現(xiàn)平移是不可能的。
[0008]在之前的實踐中，多個相機的圖像通過拼接形成一幅全景合成圖。由于相機間有重疊區(qū)域，一些像素被一個以上的相機采集，所以合成圖的總像素數(shù)少于相機矩陣的像素數(shù)。但是合成圖的像素數(shù)仍然遠超每個相機的像素數(shù)，也遠超在可以在顯示器上有效顯示的像素數(shù)。這些大圖通常用“瓷磚(tile)”格式存儲在內(nèi)存中，如圖4所示。分辨率最低的圖像在瓷磚金字塔的最上層，顯示場景全貌。在此圖中，低分辨率圖像是128*128像素。金字塔的第二層有4幅圖像，每幅圖是128*128像素，場景被分為四個象限，分辨率提升兩倍。下一層由16個瓷磚片組成，也是128*128像素，比第二層的瓷磚片分辨率提升兩倍。在圖像顯示系統(tǒng)中，只有需要顯示的瓷磚片被使用。例如，一個128*128的顯示器只使用最上層的瓷瓦片來顯示全景圖。當用戶縮放進場景的一個細節(jié)，只有和這個細節(jié)相關的瓦片被送進顯示器。在之前的實踐中，這個瓦片金字塔結構是從合成場景的全分辨率圖開始創(chuàng)建的。這個結構使用戶可以不需要在網(wǎng)絡上傳輸全分辨率圖像而看到全分辨率圖像。此方法被百度，谷歌地圖采用，在不經(jīng)過傳送全部數(shù)據(jù)的情況下讓用戶瀏覽大量圖像數(shù)據(jù)集。
[0009]作為此發(fā)明的關鍵組成部分，我們注意到為了使用相機矩陣中的高清圖像而創(chuàng)建全局圖像其實沒有必要，甚至不是好事。用戶只是想把從多個相機的圖像以視覺感官令人震撼的效果集成到顯示器上來。相機相鄰區(qū)域的拼接錯誤會引起用戶的反感，從一個相機視角平移到下一個相機視角卻不一定引起用戶反感。從這個觀點出發(fā)，我們尋求一種不產(chǎn)生拼接誤差、在相鄰相機間平移相機視角的方法。
[0010]在特定情況下，由于不同相機可以看到其它被遮擋的相機看不到的場景，所以從計算角度消除拼接誤差是不可能的。在其它情況下，通過匹配相鄰相機圖像來消除或者減少拼接誤差是可能的，但是所需的計算量也是很大的。在此發(fā)明中，我們尋求一種方法，不僅避免拼接誤差，還能通過消除拼接圖像這個步驟而保證在場景中的實時瀏覽。
[0011]意識到單傳感器相機或者相機陣列的分辨率遠超于顯示分辨率是理解此發(fā)明的關鍵?，F(xiàn)有高清電視圖像的分辨率是1920*1080像素，或者4k(3840*2160像素hsk分辨率(兩倍于現(xiàn)有4k分辨率相機)的相機在開發(fā)當中。意識到高清分辨率對于大多數(shù)人的顯示應用已經(jīng)足夠了，多出來的相機分辨率可以用來實現(xiàn)數(shù)字PTZ效果。正如下文描述的，以這種方式來使用相機可以實現(xiàn)無拼接誤差的實時全景圖像。

【發(fā)明內(nèi)容】

[0012]本發(fā)明的目的:旨在提供一種能夠減少或者避免使用圖像拼接技術，避免拼接誤差，提升全景圖像顯示效果，并通過消除拼接圖像這個步驟保證全景圖像中對場景的實時瀏覽。
[0013]這種利用相機“瓷磚化”實現(xiàn)實時多尺度成像系統(tǒng)，包括相機陣列，圖像處理及存儲系統(tǒng)，顯示器，所述圖像處理及存儲系統(tǒng)將相機陣列獲取的圖像處理后發(fā)送至顯示器;其特征在于:所述相機陣列由若干相互交錯設置的微相機組成，所述微相機拍攝所得的微視場的分辨率高于顯示器的顯示視場的分辨率。
[0014]所述相機陣列還包括一個寬視場相機。
[0015]所述微視場的四個象限分別與四個相鄰微相機拍攝所得的微視場的一個象限重置。
[0016]進一步的，顯示視場的尺寸須小于1/4的微視場尺寸。
[0017]這種利用相機“瓷磚化”實現(xiàn)實時多尺度成像方法，其步驟如下:
[0018]寬視場相機獲取整個系統(tǒng)視場的粗視場圖像；
[0019]微相機獲取系統(tǒng)視場局部的高精度的微視場圖像，每個微視場的四個象限分別與四個相鄰微相機拍攝所得的微視場的一個象限重疊。
[0020]顯示器的顯示視場可以在微視場內(nèi)上下左右任意移動，顯示某一特定象限時，可以使用覆蓋此象限的兩個微相機中的任意一個來產(chǎn)生顯示數(shù)據(jù)。
[0021]當顯示視場平移到當前微視場的下一個象限時，覆蓋當前微視場的微相機和覆蓋當前新象限的微相機可以共同為顯示視場提供顯示數(shù)據(jù)。
[0022]當用戶放大顯示視場，超過單個微相機的微視場時，采用寬視場相機提供顯示數(shù)據(jù)。
[0023]進一步的，可在系統(tǒng)視場中心地帶使用密集的微相機陣列，實現(xiàn)微視場的象限重疊采集，在系統(tǒng)視場的邊緣地帶使用非重疊陣列，采用傳統(tǒng)的圖像拼接算法。
[0024]通過利用微相機與顯示器的分辨率差異，使得微相機的分辨率高于顯示器的分辨率，并對相機陣列中微相機交錯排列，使得微相機采集所得的微視場中每個象限均有兩個微相機提供顯示數(shù)據(jù)，可以使得顯示視場在相鄰設置的微相機所提供的微視場內(nèi)移動時，獲得實時的高分辨率全景圖像。此外，由于消除了相鄰相機圖像的拼接計算這一流程，不僅避免了拼接計算的誤差，提升了圖像質量，還提升了顯示速度，保證在系統(tǒng)視場內(nèi)的實時瀏
ΙΙΛ-
見ο
[0025]對此行業(yè)熟悉的人會意識到此策略可以被應用到從粗到細多層級結構。也會意識到有必要匹配相機間的亮度，對比度，Ga_a曲線及其它圖像參數(shù)以便平滑地從一個相機平移到另一個相機。通過匹配相機間特征點來平滑視場點移動也是有好處的，當然這個要求比傳統(tǒng)圖像拼接中的相應要求要寬松的多。
【附圖說明】
[0026]圖1是單相機視場不意圖；
[0027]圖2是多相機視場示意圖；
[0028I圖3是視角中心點布置示意圖；
[0029]圖4是瓷磚金字塔顯示結構示意圖；
[0030]圖5是本發(fā)明的多相機視場結構不意圖；
[0031]圖6是本發(fā)明的微視場不意圖；
[0032]圖7是本發(fā)明的系統(tǒng)視場結構示意圖。
【具體實施方式】
[0033]下文結合附圖和具體的實例對本發(fā)明所述這種利用相機“瓷磚化”實現(xiàn)實時多尺度成像系統(tǒng)和方法作進一步詳細說明。
[0034]這種利用相機“瓷磚化”實現(xiàn)實時多尺度成像系統(tǒng)，包括相機陣列，圖像處理及存儲系統(tǒng)，顯示器，所述圖像處理及存儲系統(tǒng)將相機陣列獲取的圖像處理后發(fā)送至顯示器;其特征在于:所述相機陣列由若干相互交錯設置的微相機組成，所述微相機拍攝所得的微視場的分辨率高于顯示器的顯示視場的分辨率。
[0035]所述相機陣列還包括一個寬視場相機。
[0036]所述微視場的四個象限分別與四個相鄰微相機拍攝所得的微視場的一個象限重置。
[0037]進一步的，顯示視場的尺寸須小于1/4的微視場尺寸。
[0038]這種利用相機“瓷磚化”實現(xiàn)實時多尺度成像方法，其步驟如下:
[0039]寬視場相機獲取整個系統(tǒng)視場的粗視場圖像；
[0040]微相機獲取系統(tǒng)視場局部的高精度的微視場圖像，每個微視場的四個象限分別與四個相鄰微相機拍攝所得的微視場的一個象限重疊。
[0041]顯示器的顯示視場可以在微視場內(nèi)上下左右任意移動，顯示某一特定象限時，可以使用覆蓋此象限的兩個微相機中的任意一個來產(chǎn)生顯示數(shù)據(jù)。
[0042]當顯示視場平移到當前微視場的下一個象限時，覆蓋當前微視場的微相機和覆蓋當前新象限的微相機可以共同為顯示視場提供顯示數(shù)據(jù)。
[0043]當用戶放大顯示視場，超過單個微相機的微視場時，采用寬視場相機提供顯示數(shù)據(jù)。
[0044]進一步的，可在系統(tǒng)視場中心地帶使用密集的微相機陣列，實現(xiàn)微視場的象限重疊采集，在系統(tǒng)視場的邊緣地帶使用非重疊陣列，采用傳統(tǒng)的圖像拼接算法。
[0045]我們來考慮一個由相機陣列組成的圖像系統(tǒng)。我們把每個陣列中的相機成為微相機。每個微相機觀察場景的一部分。所有微相機觀察的空間總稱為系統(tǒng)視場，每個微相機觀察的空間稱為微相機視場。我們也考慮從相機陣列中產(chǎn)生的顯示圖像。每個顯示圖像也有視場。與拼接全景成像不同，我們假設每個顯示視場對應于一個微相機視場的子區(qū)域。系統(tǒng)的基本結構在附圖中說明。它表現(xiàn)有重疊視場的微相機陣列及產(chǎn)生的顯示圖像。
[0046]高清在此文中特指圖像大小明顯超過顯示設備顯示大小的情況。例如，一個4K圖像在1920*1080像素的顯示器上顯示。即使在顯示器具有更高分辨率的情況下，通過上采樣(up-sampling)也可以在顯示器上呈現(xiàn)滿意的顯示效果。目前已有相機系統(tǒng)可以采集百兆，乃至億級像素的圖像，這些相機系統(tǒng)通常采用陣列相機或者通過將相機固定在云臺上掃描場景，然后拼接出全景大圖。本文描述的方法使用相機陣列來提升顯示效果，但是減少或者避免使用圖像拼接。
[0047]本發(fā)明的核心概念是我們要求每個微相機的分辨率要高于用于顯示圖像所需的分辨率。我們可以要求微相機比顯示器有更多的像素，或者用插值方法增大微相機圖像和顯示器之間的尺寸差距。在這兩種情況下，我們假設顯示圖像區(qū)域可以在微相機圖像范圍內(nèi)上下、左右移動，為了使微相機獲得更大的視場，可以使用4K(3840*2160)相機來產(chǎn)生一個標準HD(1920*1080)顯示圖像流。同樣效果可以通過上采樣一個HD相機生成一個等效的4K相機圖像，以此來生成顯示圖像流。在這兩種情況下，顯示窗口可以通過選擇相機窗口中的相應像素范圍來實現(xiàn)數(shù)字左右上下移動?？梢酝ㄟ^對相機窗口上或者下采樣來匹配顯示窗口來實現(xiàn)數(shù)字縮放。
[0048]本發(fā)明利用相機陣列直接獲得圖像瓦片的方法。和以往的利用瓦片結構樹的方法不同，我們需要瓦片和顯示圖像有充分重疊以便可以從一個相機圖像流中即可直接獲得顯示圖像流，不必進行拼接。為實現(xiàn)此目標，我們按照附圖所示組織相機陣列視場。一個寬視場相機采集整個場景的粗視場圖像。細分辨率相機陣列采集場景局部的細節(jié)圖像。如附圖所示，細分辨率相機陣列間相互交錯，每個相機的四個象限和四個鄰近相機的一個象限重疊。要求顯示窗口小于等于1/4相機采集窗口大小，可以保證顯示窗口可以從一個相機窗口連續(xù)平移至下一個相機窗口，不必進行拼接。當顯示窗口在某特定象限，可以使用覆蓋此瓦片的兩個相機中的任一一個來產(chǎn)生顯示數(shù)據(jù)。當顯示窗口移到下一個象限時，覆蓋當前象限的相機和新象限的相機可以共同平滑地為顯示窗口提供數(shù)據(jù)。在新象限里，顯示窗口可以轉移到同樣覆蓋此窗口的新相機，以便讓顯示窗口脫離現(xiàn)有相機，擴展到新相機去。
[0049]我們可以搭建一個復合式架構，在系統(tǒng)視場中心地帶使用密集的重疊相機采集窗口，在系統(tǒng)視場邊緣地帶使用非重疊陣列。在邊緣地帶，相機間的平移可以通過使用傳統(tǒng)的圖像拼接算法和瓦片馬賽克方法。在多數(shù)情況下，用戶較容易容忍在邊緣地帶的拼接誤差。當用戶放大圖像窗口，超過單個微相機視場的時候，使用粗分辨率相機。
【主權項】
1.利用相機“瓷磚化”實現(xiàn)實時多尺度成像系統(tǒng)，包括相機陣列，圖像處理及存儲系統(tǒng)，顯示器，所述圖像處理及存儲系統(tǒng)將相機陣列獲取的圖像處理后發(fā)送至顯示器;其特征在于:所述相機陣列由若干相互交錯設置的微相機組成，所述微相機拍攝所得的微視場的分辨率高于顯示器的顯示視場的分辨率。2.如權利要求1所述的利用相機“瓷磚化”實現(xiàn)實時多尺度成像系統(tǒng)，其特征在于:所述相機陣列還包括一個寬視場相機。3.如權利要求1所述的利用相機“瓷磚化”實現(xiàn)實時多尺度成像系統(tǒng)，其特征在于:所述微視場的四個象限分別與四個相鄰微相機拍攝所得的微視場的一個象限重疊。4.如權利要求1所述的利用相機“瓷磚化”實現(xiàn)實時多尺度成像系統(tǒng)，其特征在于:進一步的，顯示視場的尺寸須小于1/4的微視場尺寸。5.利用相機“瓷磚化”實現(xiàn)實時多尺度成像方法，其步驟如下: 寬視場相機獲取整個系統(tǒng)視場的粗視場圖像； 微相機獲取系統(tǒng)視場局部的高精度的微視場圖像，每個微視場的四個象限分別與四個相鄰微相機拍攝所得的微視場的一個象限重疊； 顯示器的顯示視場可以在微視場內(nèi)上下左右任意移動，顯示某一特定象限時，可以使用覆蓋此象限的兩個微相機中的任意一個來產(chǎn)生顯示數(shù)據(jù)； 當顯示視場平移到當前微視場的下一個象限時，覆蓋當前微視場的微相機和覆蓋當前新象限的微相機可以共同為顯示視場提供顯示數(shù)據(jù)。6.如權利要求5所述的利用相機“瓷磚化”實現(xiàn)實時多尺度成像方法，當用戶放大顯示視場，超過單個微相機的微視場時，采用寬視場相機提供顯示數(shù)據(jù)。7.如權利要求5所述的利用相機“瓷磚化”實現(xiàn)實時多尺度成像方法，可在系統(tǒng)視場中心地帶使用密集的微相機陣列，實現(xiàn)微視場的象限重疊采集，在系統(tǒng)視場的邊緣地帶使用非重疊陣列，采用傳統(tǒng)的圖像拼接算法。
【文檔編號】H04N7/18GK106067941SQ201610238952
【公開日】2016年11月2日
【申請日】2016年4月18日 公開號201610238952.6, CN 106067941 A, CN 106067941A, CN 201610238952, CN-A-106067941, CN106067941 A, CN106067941A, CN201610238952, CN201610238952.6
【發(fā)明人】戴維·白瑞迪, 范柘
【申請人】宿州安科迪智能技術有限公司