圖像拾取設備、執(zhí)行圖像補償的方法和計算機可讀記錄介質的制作方法
【專利摘要】一種圖像拾取設備，包括：圖像拾取單元，使用圖像拾取裝置來連續(xù)地拾取在其間具有共同位移的多個圖像；存儲單元，存儲圖像拾取裝置的缺陷區(qū)域的位置；圖像補償單元，利用多個被拾取的圖像中的一個圖像來補償所述多個被拾取的圖像中的另一個圖像中的缺陷區(qū)域。
【專利說明】圖像拾取設備、執(zhí)行圖像補償的方法和計算機可讀記錄介質
【技術領域】
[0001]本發(fā)明總體發(fā)明構思總體涉及一種圖像拾取設備、執(zhí)行圖像補償的方法和計算機可讀記錄介質，更具體地講，涉及一種通過連續(xù)拾取多個圖像來對圖像傳感器的缺陷進行校正的圖像拾取設備、執(zhí)行圖像補償的方法和計算機可讀記錄介質。
【背景技術】
[0002]傳統(tǒng)的圖像拾取裝置是指在移動電話相機或者數字靜止攝影機(DSC)中生成圖像的組件。圖像拾取裝置可以是電荷耦合器件(CCD)圖像拾取裝置或者互補金屬氧化物半導體(CMOS)圖像拾取裝置。
[0003]CXD是這樣的裝置，其中，金屬氧化物半導體(MOS)電容器靠得很近且載流子存儲在電容器中并轉移到電容器。CMOS圖像傳感器是利用CMOS技術來設置MOS晶體管的一種裝置，其中，MOS晶體管的數量與像素的數量對應，CMOS技術使用控制電路和信號處理電路作為外圍電路，從而使用MOS晶體管來順序地檢測輸出的切換方法被采用。
[0004]最近，數碼相機采用具有尺寸為1/2.33英寸、1/1.8英寸、21.5 X 14.4mm( 即，先進攝影系統(tǒng)C型,又名，APS-C)、35X24mm(即，全幀(full-frame))的圖像傳感器。這種圖像傳感器的尺寸與裸片(c hip die)的尺寸對應，如果裸片的尺寸大，則生產產量大大降低。例如，在正常的片上系統(tǒng)(SoC)的情況下，如果尺寸大于8mmX8mm，則大規(guī)模生產可能是不可行的。
[0005]考慮到這點，在現有技術中，通過利用沒有缺陷的相鄰像素的像素值來對圖像拾取設備中的缺陷區(qū)域進行校正。然而，僅通過利用相鄰像素來對圖像拾取設備的缺陷進行校正導致如下問題，在有意地將缺陷區(qū)域置于諸如相差AF(Auto Focus)傳感器中的情況下，即使在低靈敏度(ISO)且充足光量的情況下，與相差AF對應的像素也表現為缺陷，這對圖像品質造成不良影響。

【發(fā)明內容】

[0006]技術問題
[0007]本發(fā)明總體發(fā)明構思提供一種能夠通過連續(xù)拾取多個圖像來對圖像傳感器的缺陷進行校正的圖像拾取設備、執(zhí)行圖像補償的方法和計算機可讀記錄介質。
[0008]在以下描述中本發(fā)明總體發(fā)明構思的其他特征和效用將被部分地闡述，部分地，通過描述將是明顯的，或者可通過總體發(fā)明構思的實踐來學習
[0009]技術方案
[0010]通過提供如下圖像拾取設備來實現本發(fā)明總體發(fā)明構思的以上和/或其他特征和效用，所述圖像拾取設備包括:圖像拾取單元，使用圖像拾取裝置來連續(xù)地拾取在其間具有共同位移的多個圖像；存儲單元，存儲圖像拾取裝置的缺陷區(qū)域的位置；圖像補償單元，利用多個被拾取的圖像中的一個圖像來補償所述多個被拾取的圖像中的另一個圖像中的缺陷區(qū)域。
[0011]所述多個被拾取的圖像可包括第一圖像和第二圖像，圖像補償單元可根據共同位移來補償第一圖像，計算出與第二圖像的缺陷區(qū)域對應的被補償的第一圖像的像素值，并用計算出的像素值來替換第二圖像的缺陷區(qū)域。
[0012]所述多個被拾取的圖像中的每個可以是通過快門操作的全幀圖像。
[0013]所述多個被拾取的圖像中的至少一個可以是通過快門操作的全幀圖像，所述多個被拾取的圖像中的其他圖像可以是用于實時取景(live-view)顯示的實時取景圖像。
[0014]實時取景圖像可以是當釋放快門時顯示的小尺寸實時取景或者是當輸入半按快門時顯示的全方位實時取景。
[0015]實時取景圖像可以是就在拾取全幀圖像之前拾取的圖像。
[0016]實時取景圖像可以是在拾取全幀圖像之后拾取的圖像。
[0017]根據本發(fā)明的一方面的圖像拾取設備還可包括:感測單元，感測圖像拾取設備的移動；ois(光學圖像穩(wěn)定器)單元，按預設位移來移動圖像拾取設備的圖像拾取方向，從而在沒有感測到圖像拾取設備的移動的情況下所述多個被拾取的圖像之間存在共同位移。
[0018]根據本發(fā)明的一方面的圖像拾取設備還可包括:用戶界面單元，顯示由圖像拾取單元拾取的實時取景圖像。
[0019]根據本發(fā)明的一方面的圖像拾取設備還可包括:控制單元，如果在顯示實時取景的同時輸入快門命令，則在將正在顯示的實時取景圖像存儲為第一圖像之后，通過快門操作來控制圖像拾取單元拾取全幀圖像。
[0020]存儲單元可存儲圖像拾取裝置的白色像素缺陷區(qū)域、圖像拾取裝置的黑色像素缺陷區(qū)域和AF相差缺陷區(qū)域中的至少一個的位置。
[0021]還可通過提供一種在圖像拾取設備中執(zhí)行圖像補償的方法來實現本發(fā)明總體發(fā)明構思的以上和/或其他特征和效用，所述方法包括:利用圖像拾取裝置來連續(xù)地拾取和存儲在其間具有共同位移的多個圖像；利用所述多個被拾取的圖像中的一個圖像來補償所述多個被拾取的圖像中的另一個圖像中的缺陷區(qū)域。
[0022]所述多個被拾取的圖像可包括第一圖像和第二圖像，補償的步驟可包括:根據共同位移來移動第一圖像；計算與第二圖像的缺陷區(qū)域對應的被移動的第一圖像的像素值；用計算出的像素值來替換第二圖像的缺陷區(qū)域。
[0023]所述多個被拾取的圖像中的每個可以是通過快門操作的全幀圖像。
[0024]所述多個被拾取的圖像中的至少一個可以是通過快門操作的全幀圖像，所述多個被拾取的圖像中的其他圖像可以是用于實時取景顯示的實時取景圖像。
[0025]實時取景圖像可以是當釋放快門時顯示的小尺寸實時取景或者是當輸入半按快門時顯示的全方位實時取景。
[0026]實時取景圖像可以是就在拾取全幀圖像之前拾取的圖像。
[0027]實時取景圖像可以是在拾取全幀圖像之后拾取的圖像。
[0028]執(zhí)行圖像補償的方法還可包括:感測圖像拾取設備的移動；按預設位移來移動圖像拾取設備的圖像拾取方向，從而在沒有感測到圖像拾取設備的移動的情況下所述多個被拾取的圖像之間存在共同位移。
[0029] 執(zhí)行補償的方法還可包括:顯示由圖像拾取單元拾取的實時取景圖像。[0030]拾取和存儲的步驟可包括:如果在顯示實時取景的同時輸入快門命令，則在將正在顯示的實時取景圖像存儲為第一圖像之后，通過快門操作來拾取和存儲全幀圖像。
[0031]缺陷區(qū)域可以是圖像拾取裝置的白色像素缺陷區(qū)域、圖像拾取裝置的黑色像素缺陷區(qū)域和AF相差缺陷區(qū)域中的至少一個。
[0032]還可通過提供一種非暫時性計算機可讀記錄介質來實現本發(fā)明總體發(fā)明構思的以上和/或其他方面和效用，所述非暫時性計算機可讀記錄介質包括用于執(zhí)行執(zhí)行圖像補償的方法的計算機可讀代碼，其中，所述方法包括:利用圖像拾取裝置來連續(xù)地拾取和存儲在其間具有共同位移的多個圖像；利用所述多個被拾取的圖像中的一個圖像來補償所述多個被拾取的圖像中的另一個圖像中的缺陷區(qū)域。
[0033]通過提供一種用于生成對象的校正的最終圖像的圖像拾取設備來實現本發(fā)明總體發(fā)明構思的以上和/或其他特征和效用，該圖像拾取設備包括:圖像拾取裝置，包括預定缺陷區(qū)域，用于至少捕獲對象的第一圖像和第二圖像，從而在缺陷區(qū)域被施加到第一圖像時針對缺陷區(qū)域第二圖像從第一圖像移動特定距離；圖像補償單元，沿著與位移相反的方向移動第二圖像的位置，以與缺陷區(qū)域對應，從而產生對象的校正的最終圖像。
[0034]圖像補償單元還可包括:補償處理器，通過將第二圖像映射到第一圖像來計算與缺陷區(qū)域的位置對應的第二圖像的像素值，并用計算的第二圖像的像素值來替換第一圖像的缺陷區(qū)域。
[0035]第一圖像可在由用戶輸入快門命令之后產生，第二圖像可以是在輸入快門命令之前產生的最終實時取景圖像。
[0036]圖像拾取設備還可包括:感測單元，通過檢測圖像拾取設備的移動來感測第二圖像的位移。
[0037]有益效果
[0038]根據本發(fā)明總體發(fā)明構思的示例性實施例的圖像拾取設備可通過連續(xù)拾取具有共同位移的多個圖像來對由于圖像傳感器的缺陷而引起的畫面質量的惡化進行校正。
【專利附圖】

【附圖說明】
[0039]通過下面結合附圖對實施例進行的描述，將會變得清楚和更易于理解，其中:
[0040]圖1是示出根據本發(fā)明總體發(fā)明構思的示例性實施例的圖像拾取設備的配置的框圖；
[0041]圖2是示出圖1的圖像拾取單元和控制單元的詳細配置的示圖；
[0042]圖3是示出根據本發(fā)明總體發(fā)明構思的示例性實施例的圖像拾取設備的操作的示圖；
[0043]圖4是示出根據本發(fā)明總體發(fā)明構思的另一示例性實施例的圖像拾取設備的操作的示圖；
[0044]圖5是示出根據本發(fā)明總體發(fā)明構思的另一示例性實施例的圖像拾取設備的操作的示圖；
[0045]圖6是示出根據本發(fā)明總體發(fā)明構思的另一示例性實施例的圖像拾取設備的操作的示圖；
[0046]圖7至圖9D是示出圖1中的圖像補償單元的操作的示圖；[0047]圖10是示出圖1中的存儲單元的存儲區(qū)域的示例的示圖；
[0048]圖11是示出根據本發(fā)明總體發(fā)明構思的示例性實施例的執(zhí)行圖像補償的方法的流程圖；
[0049]圖12是詳細地示出圖11中的圖像拾取操作的流程圖。
【具體實施方式】
[0050]現在將對本發(fā)明總體發(fā)明構思的示例性實施例進行詳細參照，其示例在附圖中示出，其中，相同的標號始終表示相同的元件。下面在參照附圖的同時對實施例進行描述以解釋本發(fā)明總體發(fā)明構思。
[0051]圖1是示出根據本發(fā)明總體發(fā)明構思的示例性實施例的圖像拾取設備100的配置的框圖。
[0052]參照圖1，圖像拾取設備100包括:通信接口單元110、用戶界面單元120、存儲單元130、圖像拾取單元140、感測單元150、光學圖像穩(wěn)定器(OIS)單元160、圖像補償單元170和控制單元180。根據圖1的圖像拾取設備100可包括能夠連續(xù)地拾取多個圖像的數碼相機、攝影機、移動電話、PMP、網絡攝像機、黑匣子等，但不限于此。
[0053]通信接口單元110被形成為連接至少一個外部終端裝置50。通信接口單元110可通過局域網(LAN)和因特網來無線或有線地連接到外部終端裝置50，還可通過通用串行總線(USB)端口和藍牙模塊連接到外部終端裝置50。
[0054]此外，通信接 口單元110將存儲在圖像拾取設備100中的內容發(fā)送到外部終端裝置50。具體地講，通信接口單元110可將之后要描述的存儲在存儲單元130中的圖像文件發(fā)送到外部終端裝置50或者服務器。這里，內容可以是由圖像拾取設備100生成的靜止圖像內容或者運動圖像內容
[0055]用戶界面單元120具有大量的功能鍵，所述功能鍵用于設置或者選擇由圖像拾取設備100支持的各種功能。用戶界面單元120可由能夠同時執(zhí)行輸入和輸出的裝置(諸如觸摸板或者鼠標滾球)來實現，但不限于此，并且可由輸入配置(諸如大量按鈕)和顯示配置(諸如彼此相關聯的液晶二極管(LCD)或有機發(fā)光二極管(OLED)，)來實現，但不限于此。
[0056]用戶界面單元120從用戶接收各種控制命令，諸如實時取景顯示命令、半按快門命令(又名，自動對焦)和快門命令(又名，全按快門或者圖像拾取命令)。此外，用戶界面單元120接收與圖像拾取相關的設置的輸入。具體地，用戶界面單元120可接收輸入，諸如，存儲被拾取的圖像的特定的文件格式、被拾取的圖像的分辨率、是否施加根據本發(fā)明總體發(fā)明構思的實施例的圖像補償/校正、是否執(zhí)行數字變焦、自動白平衡(AWB)、自動對焦(AF)和自動曝光(AE)，但不限于此。
[0057]此外，用戶界面單元120可顯示被拾取的圖像。具體地講，用戶界面單元120可顯示根據用戶的圖像拾取命令被拾取的圖像或者以后要描述的由圖像補償單元170校正的圖像。
[0058]此外，用戶界面單元120可根據用戶的再現命令來顯示存儲在存儲單元130中的各種內容。所述內容可包括靜止圖像內容或者運動圖像內容。例如，如果圖像拾取設備100捕獲運動圖像并將其存儲在存儲單元130中，則用戶界面單元120可再現存儲在存儲單元130中的運動圖像內容。
[0059]此外，用戶界面單元120可顯示實時取景圖像。具體地講，用戶界面單元120可響應于用戶的實時取景顯示命令來顯示由圖像拾取單元140拾取的實時取景圖像，并且可包括實時顯示的圖像。這里，實時取景是在用戶界面窗口上而非在取景器上顯示由圖像拾取單元140拾取的圖像的功能，并且可被劃分為全尺寸實時取景和小尺寸實時取景。
[0060]全尺寸實時取景包括在輸入用戶的半按快門命令之后拾取并顯示具有高分辨率的圖像的操作，小尺寸實時取景包括在沒有輸入半按快門或者快門命令的快門釋放期間顯示具有低分辨率的圖像的操作。因此，用戶界面單元120在快門釋放期間根據小尺寸實時取景功能來顯示小尺寸實時取景圖像，在半按快門命令期間根據全尺寸實時取景功能來顯示全尺寸實時取景圖像。與此相反，全尺寸實時取景的分辨率和小尺寸實時取景的分辨率可根據圖像拾取設備100的功能而改變，最佳分辨率可根據針對圖像拾取設備100的制造商的說明書來選擇。
[0061]存儲單元130存儲多個被拾取的圖像。具體地講，存儲單元130可根據圖像拾取的拾取順序或者類型(或者操作狀態(tài))暫時存儲由圖像拾取單元140拾取的多個圖像。這里，圖像拾取的類型可被劃分為全幀圖像拾取和實時取景圖像拾取，或者可被劃分為全幀圖像拾取、小尺寸實時取景圖像拾取和全尺寸實時取景圖像拾取。這里，全幀圖像拾取是基本的靜止圖像拾取操作。
[0062]此外，存儲單元130可存儲由圖像補償單元170校正的圖像。存儲單元130還可存儲由圖像補償單元170最終生成的內容(即，被拾取的圖像的壓縮形式)。
[0063]此外，存儲單元130存儲與圖像拾取設備100的缺陷對應的信息。具體地講，存儲單元130可存儲圖像拾取設備100的缺陷區(qū)域的位置信息，諸如白色像素缺陷區(qū)域、黑色像素缺陷區(qū)域、AF相差缺陷區(qū)域。關于缺陷區(qū)域的這種信息可由制造商來預先產生和存儲，并且可通過用戶的測試操作來更新。
[0064]以上所描述的存儲單元130可由圖像拾取設備100中的存儲介質和外部存儲媒介來實現，例如，諸如包括USB存儲器和閃存的可移動盤、連接到圖像拾取設備100的存儲介質，通過網絡的網絡服務器等。此外，存儲單元130可包括如圖10所示的多個存儲空間，并且可存儲捕獲的圖像和與缺陷區(qū)域對應的信息。此外，存儲單元130可包括用于驅動圖像處理單元170和控制單元180的易失性存儲器(例如，DRAM)。
[0065]圖像拾取單元140使用圖像拾取裝置141來連續(xù)地拾取在其間具有共同位移(mutual displacement)的多個圖像。參照圖1和圖2,圖像拾取單元140可包括透鏡單元144、圖像拾取裝置141、模數(A/D)轉換器145，透鏡單元144包括一個透鏡或者多個透鏡來從物體會聚光，并且可在圖像拾取區(qū)域上形成光學圖像；圖像拾取裝置141用于執(zhí)行將通過透鏡入射的光轉換為電信號的光電轉換；模數(A/D)轉換器145將來自圖像拾取裝置141的模擬信號轉換為數字信號。圖像拾取裝置141可以是電荷耦合器件(CCD)或者電荷耦合器件(CCD)。
[0066]圖像拾取單元140可根據圖像拾取設備100的操作狀態(tài)來生成全幀圖像或者實時取景圖像。將參照圖3至圖6對圖像拾取單元140根據各種操作狀態(tài)的詳細的圖像拾取操作進行描述。
[0067]感測單元150感測圖像拾取設備100的移動。具體地講，感測單元150可使用陀螺儀傳感器、聲傳感器、光學傳感器、磁傳感器、摩擦電傳感器、慣性開關傳感器等(但不限于此)來感測圖像拾取設備100的移動，并且可感測在多個圖像的圖像拾取操作之間的圖像拾取設備100的位移。
[0068]OIS單元160通過改變由圖像拾取單元140接收的光的路徑來補償圖像拾取設備100的移動。具體地講，如果圖像拾取設備100的抖動被感測單元150感測到，則圖像拾取設備100的移動可通過提供與抖動方向相反的光來改變提供給圖像拾取單元140的光的路徑的方向而被補償。
[0069]另一方面，根據本發(fā)明總體發(fā)明構思的示例性實施例，為了補償圖像拾取裝置141的缺陷區(qū)域，在其間具有共同位移的至少兩個圖像被使用。因此，OIS單元160可按預設的位移移動圖像拾取裝置141的圖像拾取方向，從而如果圖像拾取設備100的移動沒有被感測單元150感測到(即，如果圖像拾取設備100被三腳架固定等)，則在多個被拾取圖像之間存在共同位移。沿圖像拾取方向的這種位移移動是用于允許在圖像之間存在共同位移，然而在單個圖像拾取過程期間不存在該共同位移。因此，OIS單元160可在單個圖像拾取過程期間執(zhí)行如上所述的運動補償操作。
[0070]另一方面，在本發(fā)明總體發(fā)明構思的示例性實施例中，實例表明使用OIS功能使共同位移存在于多個圖像之間。然而，可使用使圖像能夠相對于彼此移動的微電子機械系統(tǒng)(MEMS)結構來實現共同位移以使其存在于多個圖像之間。此外，當圖像拾取設備100沒有被固定在三腳架時，由于當拿著圖像拾取設備100時用戶的手抖動，因此位移自然地存在于被拾取的圖像之間，這種情況下，不需要用于單獨地移動圖像拾取裝置141的圖像拾取方向的OIS功能。
[0071]圖像補償單元170使用另一個拾取圖像來補償多個拾取圖像中的一個中的缺陷區(qū)域。具體地講，為了對多個圖像中的一個圖像(例如，第一圖像或者輔助圖像，以下，被稱為“主圖像”)連同另一圖像(例如，第二圖像或者主圖像，以下，被稱為“輔助圖像”)一起進行映射，圖像補償單元170補償導致圖像拾取設備100的移動(圖像拾取設備100的移動造成與由感測單元150感測到的位移對應的輔助圖像的位移)，通過將被補償的(即，移動的)輔助圖像映射到主圖像來計算出與主圖像的缺陷區(qū)域的位置對應的輔助圖像的像素值，并且用計算出的輔助圖像的像素值替換主圖像的缺陷區(qū)域。
[0072]詳細地，如上所述，圖像拾取裝置141可包括例如由制造商預設的預定的缺陷區(qū)域。因此，主圖像可被拾取以使它包括圖像拾取裝置141的預定的缺陷區(qū)域。因此，當輔助圖像被圖像拾取裝置141拾取時，輔助圖像被映射到主圖像以計算出輔助圖像和主圖像之間的位移。然后，基于該位移，計算出與主圖像的缺陷區(qū)域的位置對應的輔助圖像的像素值。最后，用計算出的輔助圖像的像素值替換主圖像的缺陷區(qū)域以生成最終的校正的圖像。
[0073]此外，可以存在圖像拾取裝置141的多個缺陷區(qū)域，從而圖像補償單元170可執(zhí)行如上所述的針對圖像拾取裝置141的多個各自的缺陷區(qū)域的補償操作。輔助圖像可以是全幀圖像、小尺寸實時取景圖像或者全尺寸實時取景圖像，主圖像可以是全幀圖像。
[0074] 圖像補償單元170可執(zhí)行信號處理，諸如針對從圖像拾取單元140輸出的圖像或者已經針對缺陷區(qū)域進行校正的圖像執(zhí)行格式轉換和圖像縮放的數字變焦、AWB、AF和AE。此外，圖像補償單元170可通過將通過麥克風10接收的音頻信號和多個圖像組合來生成運動圖像文件，并且可在存儲單元130中存儲生成的運動圖像文件。麥克風10可以是圖像補償單元170的內部組件，或者可以被外部連接到圖像補償單元170。
[0075]控制單元180可控制在圖像拾取設備100內的組件的各自的操作。具體地講，控制單元180可控制圖像拾取單元140來拾取實時取景圖像(即，實時觀看的圖像)以對應于用戶的實時取景的顯示操作，并且控制用戶界面單元120來顯示被拾取的實時取景圖像。
[0076]此外，如果在實時取景顯示期間拾取命令(即，快門命令)被輸入，則控制單元180可將正在顯示的實時取景圖像作為輔助圖像存儲在存儲單元130中，然后可在輔助圖像被存儲之后控制圖像拾取單元140來拾取作為全幀圖像的主圖像。此外，控制單元180可控制圖像補償單元170用與圖像拾取裝置141的缺陷區(qū)域對應的輔助圖像的像素值替換主圖像的缺陷區(qū)域。
[0077]此外，如果在沒有實時取景顯示操作的情況下從用戶輸入拾取命令，則控制單元180可控制圖像拾取單元140來拾取多個全幀圖像并控制圖像補償單元170來用另一全幀圖像(即，輔助圖像)的像素值替換多個被拾取的全幀圖像中的一個(即，主圖像)的缺陷區(qū)域。
[0078]此外，控制單元180可控制感測單元150來感測圖像拾取設備100是否移動，并且如果預測到在連續(xù)拾取過程期間圖像拾取設備100沒有移動，即，如果預測到圖像拾取設備100固定在三腳架上等，則控制單元180可控制OIS單元160以使共同位移存在于多個拾取圖像之間。
[0079]如上所述，根據圖1的圖像拾取設備100可對因通過連續(xù)地拾取多個具有共同位移的多個圖像的圖像拾取單元140的缺陷而導致的畫面質量的惡化進行校正。
[0080]圖1示出圖像 補償單元170和控制單元180是彼此進行通信的單獨的組件。然而，如圖2所示，控制單元180可包括圖像補償單元170的功能，以由單芯片(例如，片上系統(tǒng)(SOC))上的控制單元180和圖像補償單元170的的組合配置來實現。
[0081]圖2是示出圖1的圖像拾取單元140和控制單元180的詳細配置的示圖.[0082]參照圖2，圖像拾取單元140可包括圖像拾取裝置141、時序產生單元(又名，時序產生器)142、高速串口 143和透鏡單元144。
[0083]圖像拾取裝置141執(zhí)行通過透鏡入射的光轉換到電信號的光電轉換。此外，圖像拾取裝置141可使用內置的模數(A/D)轉換器145來將光電轉換的模擬信號轉換為數字信號。然而，可從圖像拾取裝置141的外部提供A/D轉換器145。如上所述，圖像拾取裝置141可以是CCD或者CMOS。
[0084]時序產生單元142控制圖像拾取裝置141的圖像拾取操作。具體地講，時序產生單元142可生成控制信號來控制圖像拾取裝置141的重啟時間和光電轉換的電信號的讀取時間，并將生成的控制信號提供給圖像拾取裝置141。
[0085]高速串口 143可將圖像拾取裝置141的數字信號發(fā)送到控制單元180。參照圖2，由圖像拾取裝置141生成的信號以串口的方法被傳輸到控制單元180。然而，由圖像拾取裝置141生成的信號可通過并行通信被傳輸到控制單元180。
[0086]透鏡單元144采集來自物體的光并在圖像拾取區(qū)域上形成光學圖像。
[0087]控制單元180可從圖像拾取單元140接收圖像，對輸入圖像進行校正，并將校正的圖像存儲在存儲單元130中。具體地講，控制單元180可包括預處理器181、總線182、圖像處理鏈183、存儲器控制器184、編解碼器185、補償處理器186、顯示處理器187和中央處理單元(CPU) 188。
[0088]預處理器181控制圖像拾取單元140的圖像拾取操作。具體地講，預處理器181可控制圖像拾取單元140來生成實時取景圖像來對應于用戶的實時取景顯示操作，并且將從圖像拾取單元140接收的實時取景圖像發(fā)送到顯示處理器187，以使生成的實時取景圖像顯示在用戶界面單元120上。
[0089]此外，預處理器181可控制圖像拾取單元140生成多個圖像以對應于用戶的快門命令，并且將從圖像拾取單元140接收的多個圖像發(fā)送到補償處理器186，從而使用另一圖像來補償多個生成的圖像中的一個的缺陷區(qū)域。
[0090]總線182在控制單元180內的各自的組件之間傳輸信號。
[0091]圖像處理鏈183可執(zhí)行信號處理，諸如針對圖像調整格式轉換和圖像縮放的數字變焦、AWB、AF 和 AE。
[0092]存儲器控制器184控制易失性存儲器的操作。
[0093]當圖像拾取設備100執(zhí)行運動圖像捕捉操作時，編解碼器185對多個圖像進行編碼以生成由圖像拾取單元140拾取的多個圖像。雖然在本示例性實施例中沒有對音頻信號接收進行描述，但是編解碼器185可將通過單獨的內部的或者外部的麥克風10接收的音頻信號和多個被拾取的圖像進行組合來生成運動圖像文件。
[0094]補償處理器186使用另一圖像(即，輔助圖像)來補償多個被拾取的圖像中的一個圖像(即，主圖像)中的缺陷區(qū)域。具體地講，為了將多個圖像的一個圖像(以下，被稱為“輔助圖像”)映射到另一個圖像(以下，被稱為“主圖像”)，補償處理器186按感測單元150感測到的位移來補償輔助圖像的位置，通過將補償的輔助圖像映射到主圖像上來計算出與主圖像的缺陷區(qū)域的位置對應的輔助圖像的像素值，并用計算出的輔助圖像的像素值替換主圖像的缺陷區(qū)域。
[0095]顯示處理器187可生成將顯示在用戶界面單元120上的用戶界面窗口或者控制用戶界面單元120的操作。
[0096]CPU188控制在控制單元180中的各個組件。
[0097]雖然圖2示出圖像處理鏈183和補償處理器186被單獨地配置，但是圖像處理鏈183和補償處理器186可在單個組件中或者單芯片上被實現。
[0098]圖3是示出根據本發(fā)明總體發(fā)明構思的示例性實施例的圖像拾取設備100的操作的示圖。
[0099]具體地講，圖3示出使用另一全幀圖像來補償一個全幀圖像的缺陷區(qū)域的操作。
[0100]參照圖3，如果實時取景顯示命令被用戶輸入，則控制單元180控制圖像拾取單元140和用戶界面單元120來執(zhí)行小尺寸實時取景功能。具體地講，圖像拾取單元140連續(xù)拾取并發(fā)送小尺寸實時取景圖像，并且用戶界面單元120顯示發(fā)送的小尺寸實時取景圖像。
[0101]此后，如果半按快門被用戶輸入，則控制單元180控制圖像拾取單元140和用戶界面單元120來執(zhí)行全尺寸實時取景功能。具體地講，圖像拾取單元140連續(xù)地拾取并發(fā)送全尺寸實時取景圖像，并且用戶界面單元120顯示發(fā)送的全尺寸實時取景圖像。
[0102]如果在輸入半按快門之后輸入快門，則控制單元180控制圖像拾取單元140連續(xù)地生成多個全幀圖像。第一個被拾取的全幀圖像可被用作主圖像，最后被拾取的全幀圖像可以被用作輔助圖像。此外，控制單元180可控制圖像補償單元170來用輔助圖像的像素值替換主圖像的缺陷區(qū)域。
[0103]雖然第一個被拾取的全幀圖像被用作主圖像，但是也可將第二個全幀圖像用作主圖像也。
[0104]盡管圖3示出了生成兩個全幀圖像，但是也可生成三個或者更多個全幀圖像，并且使用所述三個或者更多全幀圖像來用兩個或者更多全幀圖像的像素值替換一個全幀圖像的缺陷區(qū)域。
[0105]如上所述，為了補償一個全幀圖像的缺陷區(qū)域，另一全幀圖像被使用。然而，如隨后的圖4中所示，輔助圖像可以不是全幀圖像，但是反而可以是實時取景圖像。
[0106]圖4是示出根據本發(fā)明總體發(fā)明構思的另一示例性實施例的圖像拾取設備100的操作的示圖。
[0107]具體地講，圖4示出使用全尺寸實時取景圖像來補償一個全幀圖像的缺陷區(qū)域的操作。
[0108]參照圖4，如果實時 取景顯示命令被用戶輸入，控制單元180控制圖像拾取單元140和用戶界面單元120執(zhí)行小尺寸實時取景功能。具體地講，圖像拾取單元140連續(xù)地拾取并發(fā)送小尺寸實時取景圖像，并且用戶界面單元120顯示發(fā)送的小尺寸實時取景圖像。
[0109]此后，如果半按快門被用戶輸入，則控制單元180控制圖像拾取單元140和用戶界面單元120執(zhí)行全尺寸實時取景功能。具體地講，圖像拾取單元140連續(xù)地拾取并且發(fā)送全尺寸實時取景圖像，并且用戶界面單元120顯示發(fā)送的全尺寸實時取景圖像。
[0110]如果在輸入半按快門之后輸入快門，則控制單元180控制圖像拾取單元140生成全幀圖像。被拾取的全幀圖像可被用作主圖像，就在快門命令之前的全尺寸實時取景圖像被用作輔助圖像。此外，控制單元180可控制圖像補償單元170用輔助圖像的像素值替換主圖像的缺陷區(qū)域。
[0111]雖然在圖4中一個全尺寸實時取景圖像被用作輔助圖像，但是兩個或者更多個全尺寸實時取景圖像可被使用。例如，就在快門命令之前的兩個或者更多個全尺寸實時取景圖像可被用作輔助圖像。
[0112]此外，圖4示出就在全幀圖像之前的實時取景圖像被使用。然而，如隨后的圖5中所示，在拾取全幀圖像之后使用實時取景圖像也是可行的。
[0113]圖5是示出根據本發(fā)明總體發(fā)明構思的另一示例性實施例的圖像拾取設備100的操作的示圖。
[0114]具體地講，圖5示出了使用小尺寸實時取景圖像來補償一個全幀圖像的缺陷區(qū)域的操作。
[0115]參照圖5，如果實時取景顯示命令被用戶輸入，則控制單元180控制圖像拾取單元140和用戶界面單元120執(zhí)行小尺寸實時取景功能。具體地講，圖像拾取單元140連續(xù)地拾取并發(fā)送小尺寸實時取景圖像，并且用戶界面單元120顯示發(fā)送的小尺寸實時取景圖像。
[0116]此后，如果半按快門被用戶輸入，則控制單元180控制圖像拾取單元140和用戶界面單元120執(zhí)行全尺寸實時取景功能。具體地講，圖像拾取單元140連續(xù)地拾取并發(fā)送全尺寸實時取景圖像，并且用戶界面單元120顯示發(fā)送的全尺寸實時取景圖像。
[0117]如果在輸入半按快門之后輸入快門，則控制單元180控制圖像拾取單元140生成全幀圖像。被拾取的全幀圖像可以是主圖像。[0118]此外，在生成全幀圖像之后，控制單元180控制圖像拾取單元140和用戶界面單元120來執(zhí)行小尺寸實時取景功能。在快門命令之后的小尺寸實時取景圖像被用作輔助圖像。此外，控制單元180可控制圖像補償單元170來用輔助圖像的像素值替換主圖像的缺陷區(qū)域。
[0119]雖然在圖5中一個小尺寸實時取景圖像被用作輔助圖像，但是兩個或者更多個小尺寸實時取景圖像可以被使用。例如，在快門命令之后的兩個或者更多個小尺寸實時取景圖像可被用作輔助圖像。
[0120]此外，在圖4和圖5中，在一個時間點(例如，就在快門命令之前或者之后)的實時取景圖像被使用。然而，在快門命令之前的全尺寸實時取景圖像和在快門命令之后的輔助尺寸實時取景圖像可被用作輔助圖像。
[0121]雖然圖4和圖5示出了在半按快門之后快門被輸入的實施例，但是如隨后的圖6所示，快門可被輸入而不需要半按快門。
[0122]圖6是示出根據本發(fā)明總體發(fā)明構思的另一示例性實施例的圖像拾取設備100的操作的示圖。
[0123]具體地講，圖6示出使用小尺寸實時取景圖像(以下，被稱為“輔助圖像”)來補償一個全幀圖像(以下，被稱為“主圖像”)的缺陷區(qū)域的操作。
[0124]參照圖6，如果實時取景顯示命令被用戶輸入，則控制單元180控制圖像拾取單元140和用戶界面單元120執(zhí)行小尺寸實時取景功能。具體地講，圖像拾取單元140連續(xù)地拾取并發(fā)送小尺寸實時取景圖像 ，并且用戶界面單元120顯示發(fā)送的小尺寸實時取景圖像。
[0125]此后，如果快門被用戶輸入，則控制單元180控制圖像拾取單元140生成全幀圖像。被拾取的全幀圖像是主圖像，小尺寸實時取景圖像被用作輔助圖像。此外，控制單元180可控制圖像補償單元170來用輔助圖像的像素值替換主圖像的缺陷區(qū)域。
[0126]雖然在圖6中一個小尺寸實時取景圖像被用作輔助圖像，但是兩個或者更多個小尺寸實時取景圖像可以被使用。此外，就在快門命令之前的小尺寸實時取景圖像和在快門命令之后的輔助尺寸實時取景圖像可被用作輔助圖像。
[0127]圖7至圖9D是示出圖1中示出的圖像補償單元的操作的示圖。
[0128]參照圖7，示出兩個連續(xù)被拾取的圖像。
[0129]這里，被拾取圖像是作為全幀圖像的主圖像，輔助圖像是用于補償主圖像的缺陷區(qū)域的輔助圖像。
[0130]由于主圖像和輔助圖像具有共同位移，因此圖像補償單元170按主圖像和輔助圖像之間的位移來補償輔助圖像的位置。例如，如果在主圖像和輔助圖像之間存在在X軸上的多達“a”的位移，則可按在X軸上的“-a”來對輔助圖像的位置進行校正。
[0131]此外，在主圖像和輔助圖像之間的位移可被感測單元150感測或者使用已知的位移感測算法被感測到。例如，如圖8A至SC中所示，通過將輔助圖像(圖8A)映射到主圖像(圖8B)上，如圖SC中所示，可發(fā)現在主圖像和輔助圖像之間的位移(a，b)。
[0132]此外，通過映射補償的輔助圖像和主圖像，可計算出與主圖像的缺陷區(qū)域的位置對應的輔助圖像的像素值。將參照圖9A至圖9D對此進行描述。
[0133]參照圖9A至圖9D，圖9A示出輔助圖像，圖9B示出主圖像，圖9C示出缺陷區(qū)域的位置，圖9D示出被校正的主圖像。[0134]參照圖9C，缺陷區(qū)域的位置可對應于可由制造商提前提供的值，如果通過以上所描述的操作得知位移，則可計算出與主圖像的缺陷區(qū)域的位置對應的輔助圖像的像素位置。
[0135]因此，如圖9D所示，可以通過計算出與計算出的輔助圖像的像素位置對應的像素值并用計算出的像素值替換主圖像的缺陷區(qū)域來對主圖像進行校正。例如，如果主圖像的缺陷區(qū)域對應于一個像素(X，y)，則計算出與主圖像的像素(X，y)對應的輔助圖像的像素位置(x’，y’)，并且用輔助圖像的像素值(x’，y’ )替換主圖像的像素值(x，y)。
[0136]雖然輔助圖像的像素值按原樣被用于主圖像的缺陷區(qū)域，但是可使用與主圖像的缺陷區(qū)域對應的輔助圖像的像素和相鄰像素來計算出所述像素值，在這種情況下，不僅主圖像的缺陷區(qū)域而且主圖像的缺陷區(qū)域的位置和相鄰的像素可以被校正。
[0137]圖10是示出圖1的存儲單元130的存儲區(qū)域的示例的示圖。
[0138]參照圖10，存儲單元130可包括:區(qū)域(O)，用于存儲輔助圖像；區(qū)域(1)，用于存儲主圖像；區(qū)域(2)，用于存儲位置被補償的輔助圖像；區(qū)域(3)，用于存儲圖像拾取裝置141的缺陷區(qū)域的位置；區(qū)域(4)，用于存儲具有被補償的缺陷區(qū)域的主圖像。
[0139]用于存儲輔助圖像的區(qū)域(O)是用于存儲由圖像拾取單元140拾取的多個圖像中的用于校正主圖像的圖像的區(qū)域，并且全幀圖像、全尺寸實時取景圖像和小尺寸實時取景圖像可被存儲在區(qū)域(O)中。區(qū)域(O)還可被劃分為兩個部分，以存儲多個實時取景圖像，諸如，第一圖像、第三圖像、第五圖像等被存儲在區(qū)域(O)的“奇數”部分，第二圖像、第四圖像、第六圖像等被存儲在區(qū) 域(O)的“偶數”部分。
[0140]用于存儲主圖像的區(qū)域(I)是用于存儲由圖像拾取單元140拾取為全幀圖像的圖像的區(qū)域，所述全幀圖像被存儲在區(qū)域(I)中。
[0141]用于存儲位置被補償的輔助圖像的區(qū)域(2)是用于存儲由圖像補償單元170移動了其位置的輔助圖像的區(qū)域。
[0142]用于存儲圖像拾取裝置141的缺陷區(qū)域的位置的區(qū)域(3)是用于存儲圖像拾取裝置141的白色像素缺陷區(qū)域、圖像拾取裝置141的黑色像素缺陷區(qū)域和AF相差缺陷區(qū)域的位置信息的區(qū)域。
[0143]用于存儲具有被補償的缺陷區(qū)域的主圖像的區(qū)域(4)是用于存儲由圖像補償單元170補償了其缺陷區(qū)域的主圖像的區(qū)域。
[0144]圖11是示出根據本發(fā)明總體發(fā)明構思的示例性實施例的執(zhí)行圖像補償的方法的流程圖。
[0145]參照圖11，使用圖像拾取裝置141來連續(xù)地拾取具有共同位移的多個圖像(操作S1110)。下面將參照圖12來描述詳細的圖像拾取操作。
[0146]然后，存儲多個被拾取的圖像(操作S1120)。具體地講，可根據拾取順序或者拾取的類型(或者操作狀態(tài))來暫時地存儲多個被拾取的圖像。
[0147]然后，利用其他被拾取的圖像來補償所述多個被拾取的圖像中的一個中的缺陷區(qū)域(操作S1130)。具體地講，為了將多個圖像中的一個圖像(以下，被稱為“輔助圖像”)映射到其他圖像(以下，被稱為“主圖像”)，輔助圖像的位置按感測的位移被移動，通過將被移動的輔助圖像映射到主圖像來計算出與主圖像的缺陷區(qū)域的位置對應的輔助圖像的像素值，并且用計算出的輔助圖像的像素值來替換主圖像的缺陷區(qū)域。[0148]圖12是詳細地示出如圖11中所示的圖像拾取操作SlllO的流程圖。
[0149]參照圖12，首先顯示實時取景圖像(操作S1210)。具體地講，實時取景圖像可經由用戶的實時取景顯示命令被拾取和顯示。
[0150]其后，如果圖像拾取命令被輸入(操作S1220)，則就在圖像拾取命令之前的實時取景圖像被存儲為輔助圖像(操作S1230)。
[0151]然后，圖像拾取操作被執(zhí)行以生成全幀圖像(操作S1240)。通過該操作拾取的圖像被存儲為主圖像。
[0152]雖然已參照圖12對如圖6中示出的圖像拾取操作進行了描述，但是可通過如圖3至圖5中示出的圖像拾取操作來拾取多個圖像。
[0153]如上所述，根據依照本發(fā)明總體發(fā)明構思的示例性實施例的執(zhí)行圖像補償的方法，可通過連續(xù)地拾取具有共同位移的多個圖像并替換另一圖像的像素值以對應于一個圖像中的缺陷區(qū)域，來校正由于與圖像傳感器對應的缺陷而引起的圖像的畫面質量的惡化。如圖10或者圖11中示出的執(zhí)行圖像拾取的方法可由具有圖1的配置的圖像拾取設備100來執(zhí)行，但不限于此。
[0154]本發(fā)明總體發(fā)明構思(諸如如上所述的執(zhí)行圖像補償的方法)還可被體現為計算機可讀介質上的計算機可讀代碼。計算機可讀介質可包括計算機可讀記錄介質和計算機可讀傳輸介質。計算機可讀記錄介質是任何可以存儲其后可以由計算機系統(tǒng)讀取的數據的數據存儲裝置。計算機可讀記錄介質的示例包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤和光學數據存儲裝置。計算機可讀記錄介質還可以分布在聯網的計算機系統(tǒng)上，從而以分布 式的方式存儲和執(zhí)行計算機可讀代碼。計算機可讀傳輸介質可傳輸載波或者信號(例如，通過因特網的有線或無線數據傳輸)。此外，用于完成本發(fā)明總體發(fā)明構思的功能程序、代碼和代碼段可容易地由與本發(fā)明總體發(fā)明構思相關的領域的程序員來解釋。
[0155]雖然已顯示和描述了本發(fā)明總體發(fā)明構思的一些實施例，但本領域技術人員應該理解，在不脫離由權利要求及其等同物限定其范圍的本發(fā)明總體發(fā)明構思的原理和精神的情況下，可以對這些實施例進行修改。
【權利要求】
1.一種圖像拾取設備，包括: 圖像拾取單元，使用圖像拾取裝置來連續(xù)地拾取在其間具有共同位移的多個圖像； 存儲單元，存儲圖像拾取裝置的缺陷區(qū)域的位置； 圖像補償單元，利用多個被拾取的圖像中的一個圖像來補償所述多個被拾取的圖像中的另一個圖像中的缺陷區(qū)域。
2.根據權利要求1所述的圖像拾取設備，其中: 所述多個被拾取的圖像包括第一圖像和第二圖像， 圖像補償單元根據共同位移來補償第一圖像，計算出與第二圖像的缺陷區(qū)域對應的被補償的第一圖像的像素值，并用計算出的像素值來替換第二圖像的缺陷區(qū)域。
3.根據權利要求1所述的圖像拾取設備，其中， 所述多個被拾取的圖像中的每個是通過快門操作的全幀圖像。
4.根據權利要求1所述的圖像拾取設備，其中: 所述多個被拾取的圖 像中的至少一個是通過快門操作的全幀圖像， 所述多個被拾取的圖像中的其他圖像是用于實時取景顯示的實時取景圖像。
5.根據權利要求4所述的圖像拾取設備，其中，實時取景圖像是當釋放快門時顯示的小尺寸實時取景或者是當輸入半按快門時顯示的全方位實時取景。
6.根據權利要求4所述的圖像拾取設備，其中，實時取景圖像是就在拾取全幀圖像之前拾取的圖像。
7.根據權利要求4所述的圖像拾取設備，其中，實時取景圖像是在拾取全幀圖像之后拾取的圖像。
8.根據權利要求1所述的圖像拾取設備，還包括: 感測單元，感測圖像拾取設備的移動； 光學圖像穩(wěn)定器單元，按預設位移來移動圖像拾取設備的圖像拾取方向，從而如果沒有感測到圖像拾取設備的移動，則所述多個被拾取的圖像之間存在共同位移。
9.根據權利要求1所述的圖像拾取設備，還包括: 用戶界面單元，顯示由圖像拾取單元拾取的實時取景圖像。
10.根據權利要求9所述的圖像拾取設備，還包括: 控制單元，如果在顯示實時取景的同時輸入快門命令，則在將正在顯示的實時取景圖像存儲為第一圖像之后，通過快門操作來控制圖像拾取單元拾取全幀圖像。
11.根據權利要求1所述的圖像拾取設備，其中， 存儲單元存儲圖像拾取裝置的白色像素缺陷區(qū)域、圖像拾取裝置的黑色像素缺陷區(qū)域和AF相差缺陷區(qū)域中的至少一個的位置。
12.—種在圖像拾取設備中執(zhí)行圖像補償的方法，所述方法包括: 利用圖像拾取裝置來連續(xù)地拾取和存儲在其間具有共同位移的多個圖像； 利用所述多個被拾取的圖像中的一個圖像來補償所述多個被拾取的圖像中的另一個圖像中的缺陷區(qū)域。
13.根據權利要求12所述的執(zhí)行圖像補償的方法，其中: 所述多個被拾取的圖像包括第一圖像和第二圖像， 補償的步驟包括:根據共同位移來移動第一圖像，計算出與第二圖像的缺陷區(qū)域對應的被移動的第一圖像的像素值；用計算出的像素值來替換第二圖像的缺陷區(qū)域。
14.根據權利要求20所述的執(zhí)行圖像補償的方法，其中， 拾取和存儲的步驟包括:如果在顯示實時取景的同時輸入快門命令，則在將正在顯示的實時取景圖像存儲為第一圖像之后，通過快門操作來拾取和存儲全幀圖像。
15.根據權利要求12所述的執(zhí)行圖像補償的方法，其中， 缺陷區(qū)域是圖 像拾取裝置的白色像素缺陷區(qū)域、圖像拾取裝置的黑色像素缺陷區(qū)域和AF相差缺陷區(qū)域中的至少一個。
【文檔編號】H04N5/232GK104025565SQ201280062151
【公開日】2014年9月3日 申請日期:2012年11月29日 優(yōu)先權日:2011年12月16日
【發(fā)明者】裴點漢, 金基鎬, 李濬熙, 崔奎烈 申請人:三星電子株式會社