圖像傳感器芯片、操作方法和包括圖像傳感器芯片的系統(tǒng)的制作方法
【專利摘要】提供了一種圖像傳感器芯片、操作方法和包括圖像傳感器芯片的系統(tǒng)，所述圖像傳感器芯片包括彩色傳感器像素和用于感測(cè)對(duì)象的運(yùn)動(dòng)的動(dòng)態(tài)視覺傳感器(DVS)像素。所述方法包括：根據(jù)模式選擇信號(hào)激活彩色傳感器像素和DVS像素中的一個(gè)，并且處理從所激活的像素輸出的像素信號(hào)。
【專利說(shuō)明】圖像傳感器芯片、操作方法和包括圖像傳感器芯片的系統(tǒng)
[0001]本申請(qǐng)要求于2012年7月3日提交到韓國(guó)知識(shí)產(chǎn)權(quán)局的第10-2012-0072462號(hào)韓國(guó)專利申請(qǐng)的優(yōu)先權(quán)，該申請(qǐng)的全部公開通過(guò)引用合并于此。
【技術(shù)領(lǐng)域】
[0002]示例性實(shí)施例涉及一種圖像傳感器芯片。更具體地，示例性實(shí)施例涉及一種基于從圖像傳感器芯片中的彩色傳感器像素和運(yùn)動(dòng)傳感器像素中的一個(gè)輸出的像素信號(hào)來(lái)獲取圖像數(shù)據(jù)的方法以及使用所述方法的系統(tǒng)。
【背景技術(shù)】
[0003]互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器是一種使用CMOS的感測(cè)裝置。CMOS圖像傳感器比電荷耦合器件(CCD)圖像傳感器便宜，且比CCD圖像傳感器消耗的功率低。CMOS圖像傳感器比CCD圖像傳感器消耗的功率低是因?yàn)镃MOS圖像傳感器包括比CCD圖像傳感器小的元件。此外，隨著CMOS圖像傳感器的性能的提高，將CMOS圖像傳感器用于包括便攜式裝置的電器，其中，所述便攜式裝置即智能電話和數(shù)碼相機(jī)。
[0004]然而，移動(dòng)環(huán)境下的CMOS圖像傳感器要求最小功耗。因?yàn)樵诠暮托阅苤g存在折衷關(guān)系，所以期望在仍保持CMOS圖像傳感器的性能的同時(shí)使功耗最小化。
【發(fā)明內(nèi)容】
[0005]根據(jù)示例性實(shí)施例的一方面，提供了一種操作包括彩色傳感器像素和用于感測(cè)對(duì)象的運(yùn)動(dòng)的動(dòng)態(tài)視覺傳感器(DVS)像素的圖像傳感器芯片的方法。所述方法包括:根據(jù)模式選擇信號(hào)激活彩色傳感器像素和DVS像素中的一個(gè)，并且處理從所激活的像素輸出的像
素信號(hào)。
[0006]所述方法還可包括:在激活彩色傳感器像素和DVS像素中的一個(gè)之前，默認(rèn)激活DVS像素，并且基于從默認(rèn)激活的DVS像素輸出的像素信號(hào)來(lái)改變模式選擇信號(hào)的電平。
[0007]根據(jù)另一示例性實(shí)施例的一方面，提供了一種操作包括彩色傳感器像素和用于感測(cè)對(duì)象的運(yùn)動(dòng)的DVS像素的圖像傳感器芯片的方法。所述方法包括:激活DVS像素，根據(jù)模式選擇信號(hào)來(lái)確定是否激活彩色傳感器像素，并且基于確定結(jié)果和模式選擇信號(hào)來(lái)處理從DVS像素和彩色傳感器像素中的一個(gè)輸出的像素信號(hào)。
[0008]根據(jù)另一示例性實(shí)施例的一方面，提供了一種圖像傳感器芯片，包括:像素陣列，包括彩色傳感器像素組和DVS像素組，其中，彩色傳感器像素組包括多個(gè)彩色傳感器像素，DVS像素組包括用于感測(cè)對(duì)象的運(yùn)動(dòng)的多個(gè)DVS像素；控制電路，配置為根據(jù)模式選擇信號(hào)來(lái)激活彩色傳感器像素組和DVS像素組中的一個(gè)；和像素信號(hào)處理電路，配置為處理從所激活的像素組輸出的像素信號(hào)。
[0009]圖像傳感器芯片還可包括:運(yùn)動(dòng)傳感器像素激活控制器，配置為根據(jù)控制電路的控制來(lái)控制供給DVS像素組的功率。
[0010]像素信號(hào)處理電路可包括:行地址事件表示(AER)，配置為處理由各個(gè)DVS像素生成的多個(gè)事件信號(hào)中的至少一個(gè)；和列AER，配置為處理由各個(gè)DVS像素生成的多個(gè)事件信號(hào)中的至少另一個(gè)。行AER可布置在像素陣列的一側(cè)，用于激活每個(gè)彩色傳感器像素的行驅(qū)動(dòng)器可布置在像素陣列的另一側(cè)，并且行AER與行驅(qū)動(dòng)器彼此面對(duì)。
[0011]可選地，像素信號(hào)處理電路可包括:行AER，配置為處理由各個(gè)DVS像素生成的多個(gè)事件信號(hào)中的至少一個(gè)；和列AER，配置為處理由各個(gè)DVS像素生成的多個(gè)事件信號(hào)中的至少另一個(gè)。行AER可與用于激活每個(gè)彩色傳感器像素的行驅(qū)動(dòng)器布置在像素陣列的同一側(cè)。
[0012]根據(jù)另一示例性實(shí)施例的一方面，提供了一種片上系統(tǒng)(SoC)，包括:上述圖像傳感器芯片；圖像信號(hào)處理器(ISP)，配置為處理從圖像傳感器芯片輸出的圖像數(shù)據(jù)；和中央處理單元(CPU)，配置為從ISP接收處理后的圖像數(shù)據(jù)并基于處理后的圖像數(shù)據(jù)生成模式選擇信號(hào)。
[0013]根據(jù)另一示例性實(shí)施例的一方面，提供了一種圖像傳感器芯片，包括:像素陣列，包括彩色傳感器像素、深度傳感器像素和DVS像素；和輸出選擇電路，配置為根據(jù)模式選擇信號(hào)來(lái)選擇從彩色傳感器像素與深度傳感器像素接收的信號(hào)和從DVS像素接收的信號(hào)中的一個(gè)，并且輸出所選擇的信號(hào)。
[0014]根據(jù)另一示例性實(shí)施例的一方面，提供了一種圖像處理系統(tǒng)，包括:圖像傳感器，用于生成與來(lái)自至少一個(gè)彩色傳感器像素的彩色圖像數(shù)據(jù)或者來(lái)自至少一個(gè)運(yùn)動(dòng)傳感器像素的運(yùn)動(dòng)圖像數(shù)據(jù)對(duì)應(yīng)的數(shù)字圖像數(shù)據(jù)，并且發(fā)送數(shù)字圖像數(shù)據(jù)；圖像信號(hào)處理器(ISP)，配置為接收并處理來(lái)自圖像傳感器的數(shù)字圖像數(shù)據(jù)，并且發(fā)送處理后的圖像數(shù)據(jù)；和顯示單元，用于從ISP接收處理后的圖像數(shù)據(jù)，并且顯示處理后的圖像數(shù)據(jù)。
【專利附圖】
【附圖說(shuō)明】
[0015]通過(guò)參照附圖詳細(xì)描述示例性實(shí)施例，示例性實(shí)施例的以上及其他特征和優(yōu)點(diǎn)會(huì)變得更清楚，其中:
[0016]圖1是根據(jù)一些實(shí)施例的圖像處理系統(tǒng)的框圖；
[0017]圖2是根據(jù)一些實(shí)施例的圖1所示的圖像傳感器的框圖；
[0018]圖3是包括圖2所示的像素信號(hào)處理電路的示例的圖像傳感器的框圖；
[0019]圖4是根據(jù)一些實(shí)施例的圖2所示的像素陣列的像素排列的示圖；
[0020]圖5是根據(jù)其他實(shí)施例的圖2所示的像素陣列的像素排列的示圖；
[0021]圖6是根據(jù)另外實(shí)施例的圖2所示的像素陣列的像素排列的示圖；
[0022]圖7是根據(jù)其他實(shí)施例的圖2所示的像素陣列的像素排列的示圖；
[0023]圖8A是根據(jù)其他實(shí)施例的圖2所示的像素陣列的像素排列的示圖；
[0024]圖SB是根據(jù)其他實(shí)施例的圖2所示的像素陣列的像素排列的示圖；
[0025]圖9A是根據(jù)另外實(shí)施例的圖2所示的像素陣列的像素排列的示圖；
[0026]圖9B是根據(jù)其他實(shí)施例的圖2所示的像素陣列的像素排列的示圖
[0027]圖10是根據(jù)一些實(shí)施例的圖4所示的像素陣列的布線圖；
[0028]圖11是根據(jù)其他實(shí)施例的圖4所示的像素陣列的布線圖；
[0029]圖12A是根據(jù)一些實(shí)施例的圖10所示的彩色傳感器像素的電路圖；
[0030]圖12B是根據(jù)其他實(shí)施例的圖10所示的彩色傳感器像素的電路圖；[0031]圖12C是根據(jù)另外實(shí)施例的圖10所示的彩色傳感器像素的電路圖；
[0032]圖12D是根據(jù)其他實(shí)施例的圖10所示的彩色傳感器像素的電路圖；
[0033]圖12E是根據(jù)其他實(shí)施例的圖10所示的彩色傳感器像素的電路圖；
[0034]圖13是根據(jù)一些實(shí)施例的圖10所示的運(yùn)動(dòng)傳感器像素的示圖；
[0035]圖14是根據(jù)其他實(shí)施例的圖1所示的圖像傳感器的框圖；
[0036]圖15是根據(jù)另外實(shí)施例的圖1所示的圖像傳感器的框圖；
[0037]圖16是根據(jù)其他實(shí)施例的圖1所示的圖像傳感器的框圖；
[0038]圖17是包括圖2所示的像素信號(hào)處理電路的另一示例的圖像傳感器的框圖；
[0039]圖18是包括圖2所示的像素信號(hào)處理電路的另一示例的圖像傳感器的框圖；
[0040]圖19是圖18所示的像素信號(hào)處理電路的變型的框圖；
[0041]圖20是包括圖2所示的像素信號(hào)處理電路的另一示例的圖像傳感器的框圖；
[0042]圖21是包括圖15所示的像素信號(hào)處理電路的示例的圖像傳感器的框圖；
[0043]圖22是包括圖15所示的像素信號(hào)處理電路的另一示例的圖像傳感器的框圖；
[0044]圖23是包括圖15所示的像素信號(hào)處理電路的另一示例的圖像傳感器的框圖；
[0045]圖24是包括圖15所示的像素信號(hào)處理電路的另一示例的圖像傳感器的框圖；
[0046]圖25是根據(jù)一些實(shí)施例的操作圖像傳感器芯片的方的流程圖；
[0047]圖26是根據(jù)其他實(shí)施例的操作圖像傳感器芯片的方法的流程圖；
[0048]圖27是根據(jù)另外實(shí)施例的操作圖像傳感器芯片的方法的流程圖；
[0049]圖28是根據(jù)一些實(shí)施例的包括圖1所示的圖像傳感器的電子系統(tǒng)的框圖；
[0050]圖29是根據(jù)一些實(shí)施例的包括圖1所示的圖像傳感器的系統(tǒng)的框圖。
【具體實(shí)施方式】
[0051]以下，將參照其中示出實(shí)施例的附圖更詳細(xì)地描述示例性實(shí)施例。然而，這些示例性實(shí)施例可以以很多不同的形式來(lái)實(shí)現(xiàn)，而不應(yīng)解釋為限于此處闡述的實(shí)施例。反而，提出這些實(shí)施例以使本公開全面和完整，并將示例性實(shí)施例的范圍充分地傳達(dá)給本領(lǐng)域技術(shù)人員。在附圖中，為清楚起見，可夸大各層和區(qū)域的尺寸和相對(duì)尺寸。類似的標(biāo)號(hào)始終指示類似的元件。
[0052]應(yīng)理解，當(dāng)將一個(gè)元件稱作“連接”或“結(jié)合”至另一元件時(shí)，這個(gè)元件可直接連接或結(jié)合至其他元件，或者可存在中間元件。相比之下，當(dāng)將一個(gè)元件稱作“直接連接”或“直接結(jié)合”至另一元件時(shí)，不存在中間元件。如這里所使用的情況，術(shù)語(yǔ)“和/或”包括一個(gè)或多個(gè)相關(guān)所列項(xiàng)的任何和全部組合，且可縮寫為“/”。
[0053]應(yīng)理解，雖然這里可使用術(shù)語(yǔ)第一、第二等來(lái)描述各種元件，但這些元件不應(yīng)被這些術(shù)語(yǔ)所限制。這些術(shù)語(yǔ)僅用于區(qū)分一個(gè)元件與另一個(gè)元件。例如，在不脫離本公開的教導(dǎo)的情況下，可將第一信號(hào)稱作第二信號(hào)，類似地，可將第二信號(hào)稱作第一信號(hào)。
[0054]這里使用的術(shù)語(yǔ)僅僅是為了描述特定實(shí)施例，而并不是為了限制示例性實(shí)施例。如這里所使用的情況，單數(shù)形式也意圖包括復(fù)數(shù)形式，除非上下文清楚地另有指示。還將理解:本說(shuō)明書使用的術(shù)語(yǔ)“包括”和/或“包含”明確指定存在聲明的特征、區(qū)域、整體、步驟、操作、元件和/或部件，但是并不排除存在或附加一個(gè)或多個(gè)其它特征、區(qū)域、整體、步驟、操作、元件、部件和/或上述項(xiàng)的組合。[0055]除非以其他方式定義，否則這里使用的所有術(shù)語(yǔ)(包括技術(shù)術(shù)語(yǔ)和科學(xué)術(shù)語(yǔ))具有與由這些示例性實(shí)施例所屬的本領(lǐng)域普通技術(shù)人員所通常理解的含義相同的含義。進(jìn)一步理解，諸如通用詞典中所定義的術(shù)語(yǔ)應(yīng)被解釋為具有與它們?cè)谙嚓P(guān)技術(shù)和/或本申請(qǐng)的背景下的含義一致的含義，而不應(yīng)在理想化或過(guò)度正式的含義上來(lái)解釋，除非在這里如此地明確定義。
[0056]圖1是根據(jù)一些實(shí)施例的圖像處理系統(tǒng)10的框圖。圖像處理系統(tǒng)10可包括圖像傳感器100、圖像信號(hào)處理器(ISP) 200、顯示單元205、中央處理單元(CPU)210以及外圍電路220。圖像處理系統(tǒng)10可作為片上系統(tǒng)(SoC)來(lái)實(shí)現(xiàn)。
[0057]圖像處理系統(tǒng)10既可具有用于獲取對(duì)象的彩色圖像數(shù)據(jù)的彩色傳感器的功能，還可具有用于感測(cè)對(duì)象的運(yùn)動(dòng)并獲取運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)傳感器的功能。運(yùn)動(dòng)傳感器可分析按照幀連續(xù)拍攝的圖像，并可將分析后的幀的陰影信息以數(shù)字代碼的形式存儲(chǔ)在幀存儲(chǔ)器(未示出)中。運(yùn)動(dòng)傳感器可比較已存儲(chǔ)于幀存儲(chǔ)器中的先前幀的陰影信息與目前輸入的當(dāng)前幀的陰影信息，并且感測(cè)對(duì)象的運(yùn)動(dòng)。此外，當(dāng)獲取像素的陰影信息時(shí)，運(yùn)動(dòng)傳感器可同時(shí)處理相鄰像素(例如，在分別四個(gè)方向上的四個(gè)像素)的陰影信息，并計(jì)算陰影的移動(dòng)方向。
[0058]可選地，運(yùn)動(dòng)傳感器可包括位于像素中的信號(hào)存儲(chǔ)元件(例如電容器)。運(yùn)動(dòng)傳感器可存儲(chǔ)與先前幀的像素信號(hào)對(duì)應(yīng)的電壓，將所述電壓和與當(dāng)前幀的像素信號(hào)對(duì)應(yīng)的電壓進(jìn)行比較并且感測(cè)對(duì)象的運(yùn)動(dòng)。
[0059]圖像傳感器100可生成從至少一個(gè)彩色傳感器像素(未示出)輸出的彩色圖像數(shù)據(jù)或者從至少一個(gè)運(yùn)動(dòng)傳感器像素(未示出)輸出的運(yùn)動(dòng)圖像數(shù)據(jù)，并將數(shù)字圖像數(shù)據(jù)IDATA發(fā)送至ISP200。圖像傳感器100可根據(jù)從CPU210接收的模式選擇信號(hào)MSEL來(lái)輸出與彩色圖像數(shù)據(jù)或運(yùn)動(dòng)圖像數(shù)據(jù)對(duì)應(yīng)的圖像數(shù)據(jù)IDATA。
[0060]例如，當(dāng)模式選擇信號(hào)MSEL處于低電平時(shí)，圖像傳感器100可輸出與運(yùn)動(dòng)圖像數(shù)據(jù)對(duì)應(yīng)的圖像數(shù)據(jù)IDATA，當(dāng)模式選擇信號(hào)MSEL處于高電平時(shí)，圖像傳感器100可輸出與彩色圖像數(shù)據(jù)對(duì)應(yīng)的圖像數(shù)據(jù)IDATA。然而，示例性實(shí)施例不限于這些示例。在其他實(shí)施例中，圖像傳感器100可包括至少一個(gè)深度傳感器像素(未示出)，并將彩色圖像數(shù)據(jù)與深度圖像數(shù)據(jù)一起輸出。
[0061]圖像傳感器100可作為單獨(dú)的芯片來(lái)實(shí)現(xiàn)。圖像傳感器100可以是互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器。
[0062]ISP200可接收?qǐng)D像數(shù)據(jù)IDATA，處理圖像數(shù)據(jù)IDATA并且生成處理后的圖像數(shù)據(jù)IDATA'。ISP200可將圖像數(shù)據(jù)IDATA處理成幀。ISP200還可調(diào)整圖像數(shù)據(jù)IDATA的亮度、對(duì)比度和色彩飽和度。當(dāng)圖像數(shù)據(jù)IDATA包括深度圖像數(shù)據(jù)時(shí)，ISP200可使用飛行時(shí)間(TOF)法生成深度傳感器像素的深度信息，并將深度信息嵌入處理后的圖像數(shù)據(jù)IDATA'中。
[0063]ISP200可包括幀存儲(chǔ)器，比較先前幀的陰影信息與當(dāng)前幀的陰影信息并且根據(jù)比較結(jié)果生成運(yùn)動(dòng)圖像數(shù)據(jù)?？蛇x地，ISP200可將像素的陰影信息和相鄰像素的陰影信息一起處理，并且計(jì)算陰影的移動(dòng)方向。ISP200還可將處理后的圖像數(shù)據(jù)IDATA'發(fā)送到至顯示單元205和CPU210。
[0064]ISP200可控制在圖像傳感器100中包括的控制寄存器組(未示出)，以便控制圖像傳感器100的總體操作。雖然在圖1所示的實(shí)施例中，在圖像傳感器100的外部來(lái)實(shí)現(xiàn)ISP200，但示例性實(shí)施例不限于此?？稍趫D像傳感器100的內(nèi)部來(lái)實(shí)現(xiàn)ISP200。
[0065]顯示單元205可顯示處理后的圖像數(shù)據(jù)IDATA'。顯示單元205可以是能輸出圖像的任何裝置。顯示單元205可作為電子裝置來(lái)實(shí)現(xiàn)，其中，所述電子裝置諸如計(jì)算機(jī)、移動(dòng)電話或相機(jī)。
[0066]CPU210可從ISP200接收處理后的圖像數(shù)據(jù)IDATA'，并基于處理后的圖像數(shù)據(jù)IDATA'生成模式選擇信號(hào)MSEL。CPU210可將模式選擇信號(hào)MSEL發(fā)送至圖像傳感器100。
[0067]當(dāng)圖像處理系統(tǒng)10通電時(shí)，CPU210可輸出處于默認(rèn)電平(例如，低電平)的模式選擇信號(hào)MSEL。當(dāng)CPU210基于處理后的圖像數(shù)據(jù)IDATA'確定模式修正為必需時(shí)，CPU210可輸出處于變化后的電平(例如，高電平)的模式選擇信號(hào)MSEL。
[0068]CPU210可比較處理后的圖像數(shù)據(jù)IDATA'與已存儲(chǔ)的模式修正代碼以生成模式選擇信號(hào)MSEL。當(dāng)處理后的圖像數(shù)據(jù)IDATA'與模式修正代碼相同時(shí)，CPU210可改變模式選擇信號(hào)MSEL的電平。
[0069]模式修正代碼可以是諸如一個(gè)人的指紋或臉的特定二維(2D)圖像、包括深度信息的三維(3D)圖像或者與諸如手勢(shì)的連續(xù)運(yùn)動(dòng)對(duì)應(yīng)的參考運(yùn)動(dòng)圖像。
[0070]當(dāng)模式修正代碼是手指畫圈的運(yùn)動(dòng)圖像時(shí)，CPU210可確定處理后的圖像數(shù)據(jù)IDATA'是否對(duì)應(yīng)于手指畫圈的運(yùn)動(dòng)圖像，并根據(jù)確定結(jié)果生成模式選擇信號(hào)MSEL。然而，示例性實(shí)施例未被模式修正代碼的類型所限制。
[0071]在只有運(yùn)動(dòng)傳感器默認(rèn)操作且彩色傳感器像素在睡眠模式下停用的情況下，當(dāng)用戶輸入的特定動(dòng)作與模式修正代碼相同時(shí)，CPU210可激活彩色傳感器像素或者諸如電力系統(tǒng)、音頻系統(tǒng)等與圖像處理系統(tǒng)連接的系統(tǒng)或者具體應(yīng)用。
[0072]模式修正代碼可在用戶的請(qǐng)求下改變，且可設(shè)定為默認(rèn)值。
[0073]CPU210可基于從外圍電 路220接收的信號(hào)(或數(shù)據(jù))生成模式選擇信號(hào)MSEL，并將模式選擇信號(hào)MSEL發(fā)送至圖像傳感器100。
[0074]圖像傳感器100可根據(jù)模式選擇信號(hào)MSEL來(lái)輸出與彩色圖像數(shù)據(jù)或運(yùn)動(dòng)圖像數(shù)據(jù)對(duì)應(yīng)的圖像數(shù)據(jù)IDATA。外圍電路220可提供根據(jù)系統(tǒng)狀態(tài)生成的或?yàn)镃PU210輸入的信號(hào)(或數(shù)據(jù))。
[0075]外圍電路220可作為輸入/輸出(I/O)接口來(lái)實(shí)現(xiàn)。在此情況下，外圍電路220可將根據(jù)用戶的輸入生成的信號(hào)發(fā)送至CPU210。I/O接口可以是任何類型的I/O裝置，諸如，外部輸入按鈕、觸摸屏或鼠標(biāo)。
[0076]可選地，外圍電路220可作為功率監(jiān)測(cè)模塊來(lái)實(shí)現(xiàn)。在此情況下，當(dāng)外圍電路220確定系統(tǒng)功率不足時(shí)，外圍電路220可將對(duì)應(yīng)于所述確定的信號(hào)發(fā)送至CPU210。作為另一選擇，外圍電路220可作為應(yīng)用執(zhí)行模塊來(lái)實(shí)現(xiàn)。在此情況下，當(dāng)執(zhí)行特定應(yīng)用時(shí)，外圍電路220可將通過(guò)執(zhí)行生成的信號(hào)發(fā)送至CPU210。所述特定應(yīng)用可以是相機(jī)拍攝應(yīng)用、增強(qiáng)現(xiàn)實(shí)應(yīng)用或需要相機(jī)圖像的應(yīng)用。
[0077]圖2是根據(jù)一些實(shí)施例的圖像傳感器100A的框圖。圖像傳感器100A可包括像素陣列110、控制邏輯(或控制電路)120、行驅(qū)動(dòng)器130、運(yùn)動(dòng)傳感器像素激活控制器140以及像素?目號(hào)處理電路150。
[0078]像素陣列110包括用于獲取對(duì)象的彩色圖像數(shù)據(jù)的多個(gè)彩色傳感器像素C以及用于感測(cè)對(duì)象的運(yùn)動(dòng)的多個(gè)運(yùn)動(dòng)傳感器像素Μ。像素陣列110還可包括濾色器陣列(未示出)，所述濾色器陣列包括以預(yù)定波長(zhǎng)發(fā)射光的多個(gè)濾色器層(未示出)。
[0079]像素陣列110還可包括用于獲取對(duì)象的深度信息的深度傳感器像素(未示出)。當(dāng)使用TOF法處理深度傳感器像素的像素信號(hào)時(shí)，圖像傳感器100Α還可包括紅外帶通濾波器(未示出)，其中，紅外帶通濾波器對(duì)除了由控制邏輯120控制的紅外光源(未示出)所發(fā)射的紅外光以及在被紅外光源發(fā)射后從對(duì)象反射的紅外光以外的光進(jìn)行濾除。
[0080]運(yùn)動(dòng)傳感器像素M可由動(dòng)態(tài)視覺傳感器(DVS)像素來(lái)實(shí)現(xiàn)，但示例性實(shí)施例不限于此。
[0081]控制邏輯120可基于模式選擇信號(hào)MSEL來(lái)控制圖像傳感器100Α的總體操作。控制邏輯120可控制行驅(qū)動(dòng)器130、運(yùn)動(dòng)傳感器像素激活控制器140以及像素信號(hào)處理電路150。
[0082]行驅(qū)動(dòng)器130可根據(jù)控制邏輯120的控制按照行來(lái)激活彩色傳感器像素C。
[0083]運(yùn)動(dòng)傳感器像素激活控制器140可根據(jù)控制邏輯120的控制來(lái)激活運(yùn)動(dòng)傳感器像素Μ。運(yùn)動(dòng)傳感器像素激活控制器140還根可據(jù)控制邏輯120的控制來(lái)控制對(duì)運(yùn)動(dòng)傳感器像素M供電。
[0084]控制邏輯120可基于模式選擇信號(hào)MSEL來(lái)控制行驅(qū)動(dòng)器130和運(yùn)動(dòng)傳感器像素激活控制器140，從而激活在包括彩色傳感器像素C的彩色傳感器像素組和包括運(yùn)動(dòng)傳感器像素M的運(yùn)動(dòng)傳感器像素組中的一個(gè)組。此時(shí)，像素信號(hào)處理電路150可處理從像素陣列110輸出的像素信號(hào)(例如，從每個(gè)運(yùn)動(dòng)傳感器像素M輸出的像素信號(hào)或從每個(gè)彩色傳感器像素C輸出的像素信號(hào))，并且輸出處理結(jié)果以作為圖像數(shù)據(jù)IDATA。
[0085]可選地，控制邏輯120可在已激活了包括運(yùn)動(dòng)傳感器像素M的運(yùn)動(dòng)傳感器像素組的狀態(tài)下，根據(jù)模式選擇信號(hào)MSEL僅控制是否激活包括彩色傳感器像素C的彩色傳感器像素組。此時(shí)，像素信號(hào)處理電路150可根據(jù)控制邏輯120的控制來(lái)選擇從運(yùn)動(dòng)傳感器像素M輸出的像素信號(hào)或者從彩色傳感器像素C輸出的像素信號(hào)，并基于選擇結(jié)果輸出圖像數(shù)據(jù)IDATA。
[0086]當(dāng)運(yùn)動(dòng)傳感器像素M通過(guò)DVS像素來(lái)實(shí)現(xiàn)時(shí)，像素信號(hào)處理電路150可包括地址事件表不(address event representation, AER)(未不出)。AER可處理從用于感測(cè)光量的變化的每個(gè)運(yùn)動(dòng)傳感器像素M輸出的事件信號(hào)，并將復(fù)位信號(hào)發(fā)送至已生成事件信號(hào)的每個(gè)運(yùn)動(dòng)傳感器像素M。在后面參照?qǐng)D3、圖17、圖18和圖20來(lái)詳述AER的配置。
[0087]當(dāng)像素陣列110包括深度傳感器像素(未示出)時(shí)，深度傳感器像素的激活控制和從深度傳感器像素輸出的像素信號(hào)的處理與彩色傳感器像素C的激活控制和從彩色傳感器像素C輸出的像素信號(hào)的處理基本上相同。
[0088]圖3是包括圖2所示的像素信號(hào)處理電路150的示例150A的圖像傳感器100A-1的框圖。圖3示出包括通過(guò)DVS像素實(shí)現(xiàn)的運(yùn)動(dòng)傳感器像素M的圖像傳感器100A-1。
[0089]參照?qǐng)D2和圖3，圖3所示的像素信號(hào)處理電路150A可包括列AER_C154、讀出電路156、行AER_R158以及輸出選擇電路160。
[0090]像素陣列110中包括的每個(gè)運(yùn)動(dòng)傳感器像素M可根據(jù)光量的變化輸出事件信號(hào)。將參照?qǐng)D13詳細(xì)描述事件信號(hào)。列AER_C154可接收事件信號(hào)，并基于事件信號(hào)來(lái)輸出已生成事件信號(hào)的每個(gè)運(yùn)動(dòng)傳感器像素M的列地址值。[0091]讀出電路156可接收從像素陣列110中包括的每個(gè)彩色傳感器像素C所輸出的像
素信號(hào)，并且處理像素信號(hào)。
[0092]讀出電路156可包括列解碼器(未示出)、列驅(qū)動(dòng)器(未示出)、相關(guān)雙采樣(CDS)塊(未示出)、模數(shù)轉(zhuǎn)換器(ADC)塊(未示出)以及輸出緩沖器(未示出)。
[0093]列AER_C154和讀出電路156可分別以單獨(dú)的電路來(lái)實(shí)現(xiàn)。
[0094]行AER_R158可接收從每個(gè)運(yùn)動(dòng)傳感器像素M輸出的事件信號(hào)，并基于事件信號(hào)來(lái)輸出已生成事件信號(hào)的每個(gè)運(yùn)動(dòng)傳感器像素M的行地址值?？蓪⑿械刂分蛋l(fā)送至輸出選擇電路160。
[0095]可在行驅(qū)動(dòng)器130的對(duì)面實(shí)現(xiàn)行AER_R158。
[0096]輸出選擇電路160可根據(jù)控制邏輯120的控制來(lái)選擇列AER_C154的輸出、行AER_R158的輸出和讀出電路156的輸出中的至少一個(gè)輸出，并基于選擇結(jié)果來(lái)輸出圖像數(shù)據(jù)IDATA。
[0097]輸出選擇電路160可根據(jù)控制邏輯120的控制來(lái)選擇列AER_C154的輸出和行AER_R158的輸出，并基于選擇結(jié)果來(lái)輸出圖像數(shù)據(jù)IDATA。
[0098]可選地，輸出選擇電路160可根據(jù)控制邏輯120的控制來(lái)選擇讀出電路156的輸出，并基于選擇結(jié)果來(lái)輸出圖像數(shù)據(jù)IDATA。
[0099]輸出選擇電路160可通過(guò)例如復(fù)用器的單元來(lái)實(shí)現(xiàn)，所述復(fù)用器用于從多個(gè)輸入信號(hào)中選擇一個(gè)。然而，示例性實(shí)施例不限于此。當(dāng)從包括彩色傳感器像素C的彩色傳感器像素組和包括運(yùn)動(dòng)傳感器像素M的運(yùn)動(dòng)傳感器像素組中的一個(gè)輸出信號(hào)時(shí)，輸出選擇電路160可旁路掉所述信號(hào)。
[0100]當(dāng)像素陣列110包括深度傳感器像素時(shí)，輸出選擇電路160可根據(jù)模式選擇信號(hào)MSEL來(lái)選擇從彩色傳感器像素C或深度傳感器像素輸出的像素信號(hào)或者從運(yùn)動(dòng)傳感器像素M輸出的像素信號(hào)，并輸出所選擇的信號(hào)。
[0101]圖4是根據(jù)一些實(shí)施例的圖2所示的像素陣列110的像素排列110-1的示圖。圖5是根據(jù)其他實(shí)施例的圖2所示的像素陣列110的像素排列110-2的示圖。圖6是根據(jù)另外實(shí)施例的圖2所示的像素陣列110的像素排列110-3的示圖。圖7是根據(jù)其他實(shí)施例的圖2所示的像素陣列110的像素排列110-4的示圖。圖8A是根據(jù)其他實(shí)施例的圖2所示的像素陣列110的像素排列110-5a的示圖。圖SB是根據(jù)其他實(shí)施例的圖2所示的像素陣列110的像素排列110-5b的示圖。圖9A是根據(jù)另外實(shí)施例的圖2所示的像素陣列110的像素排列110_6a的示圖。圖9B是根據(jù)其他實(shí)施例的圖2所示的像素陣列110的像素排列110-6b的示圖。
[0102]為方便起見，在圖4至圖7所示的實(shí)施例中，假設(shè)像素陣列110具有5行和5列的5X5矩陣形式。然而，示例性實(shí)施例不限于此。
[0103]參照?qǐng)D2以及圖4至圖7，像素陣列110可包括彩色傳感器像素組和運(yùn)動(dòng)傳感器像素組，其中，彩色傳感器像素組包括彩色傳感器像素C，運(yùn)動(dòng)傳感器像素組包括運(yùn)動(dòng)傳感器像素M。運(yùn)動(dòng)傳感器像素組可包括能以比彩色傳感器像素C低的功率工作的DVS像素。
[0104]可根據(jù)模式選擇信號(hào)MSEL來(lái)激活彩色傳感器像素組和運(yùn)動(dòng)傳感器像素組中的任何一個(gè)或兩者。
[0105]當(dāng)默認(rèn)激活以低功率工作的運(yùn)動(dòng)傳感器像素組，彩色傳感器像素組處于睡眠模式，且用戶的運(yùn)動(dòng)與模式修正代碼相同時(shí)，可根據(jù)模式選擇信號(hào)MSEL激活彩色傳感器像素組。在圖4所示的像素排列110-1中，可將每個(gè)彩色傳感器像素C置于運(yùn)動(dòng)傳感器像素M之間。
[0106]可將多個(gè)運(yùn)動(dòng)傳感器像素M置于相鄰的彩色傳感器像素C之間，但示例性實(shí)施例不限于此。
[0107]可選地，彩色傳感器像素C和運(yùn)動(dòng)傳感器像素M可以以不等間隔排列。
[0108]圖5所示的像素排列110-2可包括置于內(nèi)側(cè)的彩色傳感器像素組以及置于彩色傳感器像素組的邊界處的運(yùn)動(dòng)傳感器像素M。
[0109]換言之，包括運(yùn)動(dòng)傳感器像素M的運(yùn)動(dòng)傳感器像素組可排列在包括彩色傳感器像素C的彩色傳感器像素組的邊緣處?？蛇x地，彩色傳感器像素C可排列在包括運(yùn)動(dòng)傳感器像素M的運(yùn)動(dòng)傳感器像素組的邊緣處。
[0110]雖然將運(yùn)動(dòng)傳感器像素M以單線形式排列在彩色傳感器像素組的邊界處，但也可將運(yùn)動(dòng)傳感器像素M以多線形式排列。
[0111]圖6所示的像素排列110-3在每列中可僅包括彩色傳感器像素C或僅包括運(yùn)動(dòng)傳感器像素M。換言之，運(yùn)動(dòng)傳感器像素M在行方向上(即在水平方向上)與彩色傳感器像素C交替。
[0112]雖然在圖6所示的實(shí)施例中，一列彩色傳感器像素C與一列運(yùn)動(dòng)傳感器像素M交替，但可將多列運(yùn)動(dòng)傳感器像素M置于彩色傳感器像素C的相鄰列之間。
[0113]可以以不等間隔來(lái)排列各列彩色傳感器像素C和各列運(yùn)動(dòng)傳感器像素M。
[0114]各列彩色傳感器像素C和各列運(yùn)動(dòng)傳感器像素M可包括線光學(xué)黑色(line-optical black, L-0B)像素以去除行噪聲。例如，在排列有各列彩色傳感器像素C和各列運(yùn)動(dòng)傳感器像素M的區(qū)域的左側(cè)和右側(cè)的每側(cè)可排列一列L-OB像素。然而，示例性實(shí)施例不限于本示例。
[0115]行噪聲是從彩色傳感器像素C輸出的像素信號(hào)中所包含的噪聲。行噪聲可導(dǎo)致在圖像數(shù)據(jù)IDATA中出現(xiàn)水平條紋圖形。行噪聲主要由供給圖像傳感器100的功率的變化、在行驅(qū)動(dòng)器130驅(qū)動(dòng)時(shí)發(fā)生的噪聲等引起。行噪聲具有時(shí)變特性。
[0116]ISP200可通過(guò)從與L-OB像素同一行的彩色傳感器像素C的像素信號(hào)中減去L-OB像素的像素信號(hào)來(lái)去除行噪聲，并生成處理后的圖像數(shù)據(jù)IDATA'。
[0117]L-OB像素可包括用于遮擋入射光的遮擋層(未示出)。
[0118]圖7所示的像素排列110-4在每行中可僅包括彩色傳感器像素C或僅包括運(yùn)動(dòng)傳感器像素M。換言之，運(yùn)動(dòng)傳感器像素M在列方向上(即在垂直方向上)與彩色傳感器像素C交替。
[0119]雖然在圖7所示的實(shí)施例中，一行彩色傳感器像素C與一行運(yùn)動(dòng)傳感器像素M交替，但可將多行運(yùn)動(dòng)傳感器像素M置于彩色傳感器像素C的相鄰行之間。
[0120]可以以不等間隔來(lái)排列各行彩色傳感器像素C和各行運(yùn)動(dòng)傳感器像素M。
[0121]各行彩色傳感器像素C和各行運(yùn)動(dòng)傳感器像素M可包括L-OB像素以去除行噪聲。
[0122]圖8A至圖9B示出根據(jù)運(yùn)動(dòng)傳感器像素M和彩色傳感器像素C的相對(duì)尺寸的像素陣列Iio的不同的像素排列110-5a和像素排列110-6a，以及當(dāng)像素陣列110包括深度傳感器像素Z時(shí)的像素陣列110的不同的像素排列110-5b和像素排列110-6b。[0123]圖8A所示的像素排列110_5a對(duì)應(yīng)于這樣的情況，其中，運(yùn)動(dòng)傳感器像素M的尺寸與RGB彩色傳感器像素R、G、B的尺寸相同。由于單個(gè)運(yùn)動(dòng)傳感器像素M的尺寸與RGB彩色傳感器像素R、G、B中的每個(gè)的尺寸相同，因此，當(dāng)像素陣列110具有2X2矩陣形式時(shí)，像素排列110-5a包括一個(gè)運(yùn)動(dòng)傳感器像素M以及RGB彩色傳感器像素R、G、B。
[0124]在圖8B所示的像素排列110_5b中，RGB彩色傳感器像素R、G、B和深度傳感器像素Z以拜耳圖形排列。RGB彩色傳感器像素R、G、B和深度傳感器像素Z可形成3D傳感器像素組。可將至少一個(gè)運(yùn)動(dòng)傳感器像素M置于拜耳圖形周圍。
[0125]圖9A所示的像素排列110_6a對(duì)應(yīng)于這樣的情況，其中，運(yùn)動(dòng)傳感器像素M的尺寸與四個(gè)RGB彩色傳感器像素R、G、B的組的尺寸相同。由于單個(gè)運(yùn)動(dòng)傳感器像素M的尺寸與由四個(gè)RGB彩色傳感器像素R、G、B組成的拜耳圖形的尺寸相同，因此，可根據(jù)分別通過(guò)圖4至圖7所示的像素排列110-1至像素排列110-4中的一個(gè)來(lái)排列運(yùn)動(dòng)傳感器像素M和四個(gè)RGB彩色傳感器像素R、G、B。
[0126]在圖9B所示的像素排列110_6b中，運(yùn)動(dòng)傳感器像素M的尺寸與3D傳感器像素組中包括的拜耳圖形的尺寸相同。此時(shí)，可根據(jù)分別通過(guò)圖4至圖7所示的像素排列110-1至像素排列110-4中的一個(gè)來(lái)排列拜耳圖形和運(yùn)動(dòng)傳感器像素M。
[0127]可以以各種方式改變運(yùn)動(dòng)傳感器像素M與彩色傳感器像素C的相對(duì)尺寸。
[0128]圖10是根據(jù)一些實(shí)施例的圖4所示的像素陣列110-1的布線圖。參照?qǐng)D4和圖10，圖10示出圖4所示的像素陣列110的部分112以及分別作為單獨(dú)電路實(shí)現(xiàn)的列AER_C154和讀出電路156。像素陣列110的部分112包括彩色傳感器像素C、第一運(yùn)動(dòng)傳感器像素112-1以及第二運(yùn)動(dòng)傳感器像素112-2。
[0129]第一運(yùn)動(dòng)傳感器像素112-1具有與彩色傳感器像素C相同的行地址。第二運(yùn)動(dòng)傳感器像素112-2具有與彩色傳感器像素C相同的列地址。以行方向延伸的布線可包括選擇信號(hào)線SEL、復(fù)位信號(hào)線RS、傳送信號(hào)線TG、行AER事件信號(hào)線REQY以及行AER復(fù)位信號(hào)線ACKY0
[0130]選擇信號(hào)線SEL可連接至行驅(qū)動(dòng)器130和彩色傳感器像素C。行驅(qū)動(dòng)器130可將選擇信號(hào)通過(guò)選擇信號(hào)線SEL傳輸至彩色傳感器像素C。
[0131]復(fù)位信號(hào)線RS和傳送信號(hào)線TG也可連接至行驅(qū)動(dòng)器130和彩色傳感器像素C。行驅(qū)動(dòng)器130可將復(fù)位信號(hào)和傳輸信號(hào)分別通過(guò)復(fù)位信號(hào)線RS和傳送信號(hào)線TG傳輸至彩色傳感器像素C。
[0132]行AER事件信號(hào)線REQY可連接至行AER_R158和第一運(yùn)動(dòng)傳感器像素112_1。第一運(yùn)動(dòng)傳感器像素112-1可將導(dǎo)通/截止事件信號(hào)通過(guò)行AER事件信號(hào)線REQY傳輸至行AER_R158。
[0133]行AER復(fù)位信號(hào)線ACKY也可連接至行AER_R158和第一運(yùn)動(dòng)傳感器像素112_1。行AER_R158可將第一 DVS復(fù)位信號(hào)通過(guò)行AER復(fù)位信號(hào)線ACKY傳輸至第一運(yùn)動(dòng)傳感器像素 112-1。
[0134]以列方向延伸的布線可包括像素信號(hào)線PIXEL、列AER導(dǎo)通事件信號(hào)線REQX_0N、列AER截止事件信號(hào)線REQX_0FF以及列AER復(fù)位信號(hào)線ACKX。
[0135]像素信號(hào)線PIXEL可連接至讀出電路156和彩色傳感器像素C。彩色傳感器像素C可將像素信號(hào)通過(guò)像素信號(hào)線PIXEL傳輸至讀出電路156。[0136]列AER導(dǎo)通事件信號(hào)線REQX_0N可連接至列AER_C154和第二運(yùn)動(dòng)傳感器像素112-2。第二運(yùn)動(dòng)傳感器像素112-2可將導(dǎo)通事件信號(hào)通過(guò)列AER導(dǎo)通事件信號(hào)線REQX_0N傳輸至列AER_C154。
[0137]列AER截止事件信號(hào)線REQX_0FF可連接至列AER_C154和第二運(yùn)動(dòng)傳感器像素112-2。第二運(yùn)動(dòng)傳感器像素112-2可將截止事件信號(hào)通過(guò)列AER截止事件信號(hào)線REQX_OFF傳輸至列AER_C154。
[0138]列AER復(fù)位信號(hào)線ACKX可連接至列AER_C154和第二運(yùn)動(dòng)傳感器像素112_2。列AER_C154可將第二 DVS復(fù)位信號(hào)通過(guò)列AER復(fù)位信號(hào)線ACKX傳輸至第二運(yùn)動(dòng)傳感器像素112-2。
[0139]在其他實(shí)施例中，當(dāng)像素陣列110包括深度傳感器像素Z時(shí)，用于深度傳感器像素Z的布線結(jié)構(gòu)與圖10所示的用于彩色傳感器像素C的布線結(jié)構(gòu)基本相同。
[0140]將參照?qǐng)D12A至圖13來(lái)詳細(xì)描述通過(guò)圖10所示的信號(hào)線傳輸?shù)男盘?hào)。
[0141]圖11是根據(jù)其他實(shí)施例的圖4所示的像素陣列110-1的布線圖。參照?qǐng)D4和圖11，就列方向上的布線而目，可將圖10所不的像素彳目號(hào)線PIXEL和列AER復(fù)位彳目號(hào)線ACKX實(shí)現(xiàn)為公共信號(hào)線ACKX&PIXEL。換言之，公共信號(hào)線ACKX&PIXEL可連接至彩色傳感器像素C、運(yùn)動(dòng)傳感器像素M和信號(hào)路徑選擇電路170。
[0142]信號(hào)路徑選擇電路170可根據(jù)控制邏輯120的控制將公共信號(hào)線ACKX&PIXEL連接至讀出電路156或列AER_C154。信號(hào)路徑選擇電路170可通過(guò)解復(fù)用器來(lái)實(shí)現(xiàn)。
[0143]當(dāng)模式選擇信號(hào)MSEL處于例如低電平的第一電平時(shí)，控制邏輯120可控制信號(hào)路徑選擇電路170將公共信號(hào)線ACKX&PIXEL連接至列AER_C154。因此，公共信號(hào)線ACKX&PIXEL可用作列AER復(fù)位信號(hào)線ACKX。
[0144]當(dāng)模式選擇信號(hào)MSEL處于例如高電平的第二電平時(shí)，控制邏輯120可控制信號(hào)通道選擇電路170將公共信號(hào)線ACKX&PIXEL連接至讀出電路156。因此，公共信號(hào)線ACKX&PIXEL可用作像素信號(hào)線PIXEL。
[0145]為方便起見，在圖10和圖11所示的實(shí)施例中僅描述了彩色傳感器像素C、第一運(yùn)動(dòng)傳感器像素112-1和第二運(yùn)動(dòng)傳感器像素112-2，但圖10或圖11所示的布線可適用于像素陣列110中包括的每個(gè)運(yùn)動(dòng)傳感器像素M和每個(gè)彩色傳感器像素C。
[0146]圖12A是根據(jù)一些實(shí)施例的圖10所示的彩色傳感器像素C的電路圖。圖12B是根據(jù)其他實(shí)施例的圖10所示的彩色傳感器像素C的電路圖。圖12C是根據(jù)另外實(shí)施例的圖10所示的彩色傳感器像素C的電路圖。圖12D是根據(jù)其他實(shí)施例的圖10所示的彩色傳感器像素C的電路圖。圖12E是根據(jù)其他實(shí)施例的圖10所示的彩色傳感器像素C的電路圖。
[0147]參照?qǐng)D12A，單位彩色傳感器像素115a可包括光電二極管H)、傳送晶體管Tx、浮動(dòng)擴(kuò)散節(jié)點(diǎn)FD、復(fù)位晶體管Rx、驅(qū)動(dòng)晶體管Dx以及選擇晶體管Sx。
[0148]光電二極管ro是光電轉(zhuǎn)換元件的示例。光電二極管ro可以是光電晶體管、光電門、釘扎光電二極管(PPD)或上述元件的組合。
[0149]圖12A示出包括單個(gè)光電二極管H)和四個(gè)MOS晶體管Tx、Rx、Dx、Sx的4_晶體管(4T)結(jié)構(gòu)。然而，示例性實(shí)施例不限于本示例。至少包括光電二極管ro和三個(gè)晶體管的任何電路均可用于實(shí)施例中，其中，所述三個(gè)晶體管至少包括驅(qū)動(dòng)晶體管Dx和選擇晶體管Sx。
[0150]在單位彩色傳感器像素115a的操作中，光電二極管H)生成隨著入射光的強(qiáng)度變化的光電荷。傳送晶體管Tx可響應(yīng)于從行驅(qū)動(dòng)器130通過(guò)傳送信號(hào)線TG接收的傳送信號(hào)而將光電荷傳送至浮動(dòng)擴(kuò)散節(jié)點(diǎn)FD。驅(qū)動(dòng)晶體管Dx可基于與在浮動(dòng)擴(kuò)散節(jié)點(diǎn)FD處累積的光電荷對(duì)應(yīng)的電位將光電荷放大并將光電荷發(fā)送至選擇晶體管Sx。選擇晶體管Sx的漏極連接至驅(qū)動(dòng)晶體管Dx的源極，選擇晶體管Sx可響應(yīng)于從行驅(qū)動(dòng)器130通過(guò)選擇信號(hào)線SEL接收的選擇信號(hào)將像素信號(hào)輸出至與單位彩色傳感器像素115a連接的像素信號(hào)線PIXEL。復(fù)位晶體管Rx可響應(yīng)于從行驅(qū)動(dòng)器130通過(guò)復(fù)位信號(hào)線RS接收的復(fù)位信號(hào)而將浮動(dòng)擴(kuò)散節(jié)點(diǎn)FD復(fù)位至VDD。
[0151]單位彩色傳感器像素115a可通過(guò)濾色器層(未示出)接收入射光。濾色器層可包括至少一個(gè)紅色濾光器、至少一個(gè)綠色濾光器和至少一個(gè)藍(lán)色濾光器，或者濾色器層可包括至少一個(gè)品紅濾光器、至少一個(gè)青色濾光器和至少一個(gè)黃色濾光器。根據(jù)濾色器層的類型，可將單位彩色傳感器像素115a分成紅色像素R、綠色像素G或藍(lán)色像素B。根據(jù)濾色器層，單位彩色傳感器像素115a可感測(cè)不同波長(zhǎng)的入射光，且ISP200可處理從每個(gè)單位彩色傳感器像素115a輸出的像素信號(hào)以生成2D圖像。
[0152]圖12B至圖12E中示出單位彩色傳感器像素的其他示例。
[0153]參照?qǐng)D12B，單位彩色傳感器像素115b具有3-晶體管(3T)結(jié)構(gòu)，其中，3_晶體管結(jié)構(gòu)可包括光電二極管H)、復(fù)位晶體管Rx、驅(qū)動(dòng)晶體管Dx和選擇晶體管Sx。可將由光電二極管ro生成的光電荷立即累積在浮動(dòng)擴(kuò)散節(jié)點(diǎn)FD處，單位彩色傳感器像素115b可根據(jù)驅(qū)動(dòng)晶體管Dx和選擇晶體管Sx的操作將像素信號(hào)輸出至像素信號(hào)線PIXEL。
[0154]參照?qǐng)D12C，單位彩色傳感器像素115c具有3T結(jié)構(gòu)，其中，3T結(jié)構(gòu)可包括光電二極管H)、傳送晶體管Tx、復(fù)位晶體管Rx以及驅(qū)動(dòng)晶體管Dx。復(fù)位晶體管Rx可通過(guò)η溝道耗盡型晶體管來(lái)實(shí)現(xiàn)。復(fù)位晶體管Rx可響應(yīng)于從行驅(qū)動(dòng)器130通過(guò)復(fù)位信號(hào)線RS接收的復(fù)位信號(hào)而將浮動(dòng)擴(kuò)散節(jié)點(diǎn)FD復(fù)位至VDD或低電平(例如，0V)，從而執(zhí)行與選擇晶體管Sx類似的功能。在其他實(shí)施例中，可通過(guò)選擇信號(hào)線SEL來(lái)接收復(fù)位信號(hào)。
[0155]參照?qǐng)D12D，單位彩色傳感器像素115d具有5-晶體管(5T)結(jié)構(gòu)，其中，5_晶體管結(jié)構(gòu)包括光電二極管PD、傳送晶體管Tx、復(fù)位晶體管Rx、驅(qū)動(dòng)晶體管Dx、選擇晶體管Sx以及一個(gè)或多個(gè)晶體管Gx。
[0156]參照?qǐng)D12E，單位彩色傳感器像素115e具有5T結(jié)構(gòu)，其中，5T結(jié)構(gòu)包括光電二極管PD、傳送晶體管Tx、復(fù)位晶體管Rx、驅(qū)動(dòng)晶體管Dx、選擇晶體管Sx以及一個(gè)或多個(gè)晶體管Ρχ。
[0157]在其他實(shí)施例中，當(dāng)像素陣列110包括深度傳感器像素Z時(shí)，深度傳感器像素Z的內(nèi)部結(jié)構(gòu)與圖12A至圖12E之一所示的結(jié)構(gòu)基本相同。深度傳感器像素Z除了可實(shí)現(xiàn)為I抽頭結(jié)構(gòu)外，還可實(shí)現(xiàn)為2抽頭結(jié)構(gòu)，深度傳感器像素Z與在圖12A至圖12E中的任何一個(gè)所示的彩色傳感器像素C具有相同的內(nèi)部結(jié)構(gòu)。
[0158]圖13是根據(jù)一些實(shí)施例的圖10所示的運(yùn)動(dòng)傳感器像素M的示圖。參照?qǐng)D10和圖13，運(yùn)動(dòng)傳感器像素M可以是DVS像素。將參照?qǐng)D13詳細(xì)描述作為DVS像素的運(yùn)動(dòng)傳感器像素M的每個(gè)操作。
[0159]單位DVS像素117可包括光電二極管117_1、電流電壓(I/V)轉(zhuǎn)換器117_2、放大器電路117-3、比較器電路117-4以及數(shù)字邏輯117-5。
[0160]光電二極管117-1是光電轉(zhuǎn)換元件的示例。光電二極管117-1可以是光電晶體管、光電門、PF1D或上述兀件的組合。光電二極管117-1可根據(jù)入射光的強(qiáng)度生成光電流I。
[0161]I/V轉(zhuǎn)換器117-2可包括轉(zhuǎn)換晶體管Cx和反相器INV?？赏ㄟ^(guò)運(yùn)動(dòng)傳感器像素激活控制器140對(duì)轉(zhuǎn)換晶體管Cx供電。
[0162]當(dāng)運(yùn)動(dòng)傳感器像素組停用時(shí)，運(yùn)動(dòng)傳感器像素激活控制器140可對(duì)轉(zhuǎn)換晶體管Cx施加比預(yù)定電平低的電壓，以使轉(zhuǎn)換晶體管Cx不工作。反相器INV可使光電二極管117-1的端子處的電壓反相以輸出第一電壓Vin。換言之，I/V轉(zhuǎn)換器117-2可感測(cè)光電二極管117-1中流過(guò)的光電流I，并且輸出與光電流I對(duì)應(yīng)的第一電壓Vin。
[0163]放大器電路117-3可包括第一電容器Cl、第二電容器C2、放大器AMP以及復(fù)位開關(guān)SW。放大器電路117-3可基于第一電壓Vin輸出與第一電壓Vin隨時(shí)間的變化相關(guān)的第二電壓Vout。復(fù)位開關(guān)SW可根據(jù)數(shù)字邏輯117-5的控制將第二電壓Vout復(fù)位至復(fù)位電壓。
[0164]比較器電路117-4可包括第一比較器COMPl和第二比較器C0MP2。第一比較器COMPl可比較第二電壓Vout與導(dǎo)通閾值電壓，并根據(jù)比較結(jié)果生成導(dǎo)通事件信號(hào)。第二比較器C0MP2可比較第二電壓Vout與截止閾值電壓，并根據(jù)比較結(jié)果生成截止事件信號(hào)。換言之，當(dāng)單位DVS像素117的陰影的變化高于預(yù)定水平時(shí)，比較器電路117-4可生成導(dǎo)通事件信號(hào)或截止事件信號(hào)。
[0165]例如，當(dāng)單位DVS像素117的陰影比預(yù)定水平亮?xí)r，導(dǎo)通事件信號(hào)可處于高電平，而當(dāng)單位DVS像素117的陰影比預(yù)定水平暗時(shí)，截止事件信號(hào)可處于高電平?？蓪?dǎo)通事件信號(hào)和截止事件信號(hào)發(fā)送至數(shù)字邏輯117-5。
[0166]數(shù)字邏輯117-5可根據(jù)從比較器電路117-4輸出的導(dǎo)通事件信號(hào)和截止事件信號(hào)來(lái)生成事件信號(hào)。例如，數(shù)字邏輯117-5可包括或門以接收導(dǎo)通事件信號(hào)和截止事件信號(hào)，當(dāng)導(dǎo)通事件信號(hào)和截止事件信號(hào)中的一個(gè)處于高電平時(shí)，數(shù)字邏輯117-5生成導(dǎo)通/截止事件信號(hào)?？蓪?dǎo)通/截止事件信號(hào)通過(guò)行AER事件信號(hào)線REQY傳輸至行AER_R158。在其他實(shí)施例中，可在單位DVS像素117外部(例如在行AER_R158內(nèi)部)實(shí)現(xiàn)或門。
[0167]數(shù)字邏輯117-5可將導(dǎo)通事件信號(hào)通過(guò)列AER導(dǎo)通事件信號(hào)線REQX_0N傳輸至列AER_C154,且可將截止事件信號(hào)通過(guò)列AER截止事件信號(hào)線REQX_0FF傳輸至列AER_C154。
[0168]數(shù)字邏輯117-5可根據(jù)從比較器電路117-4輸出的導(dǎo)通事件信號(hào)和截止事件信號(hào)來(lái)生成復(fù)位開關(guān)信號(hào)RS_SW。例如，數(shù)字邏輯117-5可包括或門以接收導(dǎo)通事件信號(hào)和截止事件信號(hào)，當(dāng)導(dǎo)通事件信號(hào)和截止事件信號(hào)中的一個(gè)處于高電平時(shí)，數(shù)字邏輯117-5生成復(fù)位開關(guān)信號(hào)RS_SW。復(fù)位開關(guān)SW可根據(jù)復(fù)位開關(guān)信號(hào)RS_SW復(fù)位第二電壓Vout。在其他實(shí)施例中，可在單位DVS像素117外部實(shí)現(xiàn)或門。
[0169]用于生成導(dǎo)通/截止事件信號(hào)的或門可與用于生成復(fù)位開關(guān)信號(hào)RS_SW的或門相同。
[0170]數(shù)字邏輯117-5可分別通過(guò)行AER復(fù)位信號(hào)線ACKY和列AER復(fù)位信號(hào)線ACKX來(lái)接收第一 DVS復(fù)位信號(hào)和第二 DVS復(fù)位信號(hào)。數(shù)字邏輯117-5可根據(jù)從行AER_R158發(fā)送的第一 DVS復(fù)位信號(hào)和從列AER_C154發(fā)送的第二 DVS復(fù)位信號(hào)來(lái)生成復(fù)位開關(guān)信號(hào)RS_
Sffo[0171]例如，數(shù)字邏輯117-5可包括與門，當(dāng)?shù)谝?DVS復(fù)位信號(hào)和第二 DVS復(fù)位信號(hào)處于高電平時(shí)，數(shù)字邏輯117-5生成復(fù)位開關(guān)信號(hào)RS_SW?？稍趩挝籇VS像素117外部實(shí)現(xiàn)與門。
[0172]圖13所示的單位DVS像素117僅為示例。然而，示例性實(shí)施例不限于此。根據(jù)實(shí)施例的運(yùn)動(dòng)傳感器像素M可適用于感測(cè)對(duì)象的運(yùn)動(dòng)的任何像素。
[0173]圖14是根據(jù)其他實(shí)施例的圖像傳感器100B的框圖。圖像傳感器100B是圖1所示的圖像傳感器100的另一示例。參照?qǐng)D1和圖14，圖像傳感器100B可包括僅包括彩色傳感器像素C的彩色傳感器像素陣列IlOA以及僅包括運(yùn)動(dòng)傳感器像素M的運(yùn)動(dòng)傳感器像素陣列110B。在此情況下，行驅(qū)動(dòng)器130可根據(jù)控制邏輯120的控制來(lái)激活彩色傳感器像素陣列IlOA中的彩色傳感器像素C。運(yùn)動(dòng)傳感器像素激活控制器140可根據(jù)控制邏輯120的控制來(lái)控制運(yùn)動(dòng)傳感器像素陣列IlOB中的運(yùn)動(dòng)傳感器像素M的激活或停用。
[0174]圖15是根據(jù)另外實(shí)施例的圖像傳感器100C的框圖。圖16是根據(jù)其他實(shí)施例的圖像傳感器100D的框圖。圖像傳感器100C和圖像傳感器100D是圖1所示的圖像傳感器100的其他示例。參照?qǐng)D1、圖15和圖16，圖像傳感器100C和圖像傳感器100D可不包括運(yùn)動(dòng)傳感器像素激活控制器140。
[0175]像素信號(hào)處理電路150可在控制邏輯120的控制下控制每個(gè)運(yùn)動(dòng)傳感器像素M的輸出。詳細(xì)來(lái)說(shuō)，在激活運(yùn)動(dòng)傳感器像素M的狀態(tài)下，可通過(guò)像素信號(hào)處理電路150來(lái)僅控制彩色傳感器像素C和運(yùn)動(dòng)傳感器像素M中的每個(gè)的輸出。
[0176]當(dāng)運(yùn)動(dòng)傳感器像素M是DVS像素時(shí)，運(yùn)動(dòng)傳感器像素M可根據(jù)從像素信號(hào)處理電路150接收的信號(hào)而不輸出事件信號(hào)。
[0177]圖17是包括圖2所示的像素信號(hào)處理電路150的另一示例150B的圖像傳感器100A-2的框圖。圖18是包括圖2所示的像素信號(hào)處理電路150的另一示例150C的圖像傳感器100A-3的框圖。參照?qǐng)D2、圖17和圖18，運(yùn)動(dòng)傳感器像素M在圖像傳感器110A-2和圖像傳感器110A-3中是DVS像素。
[0178]參照?qǐng)D17，在像素信號(hào)處理電路150B中，可將列AER_C154和讀出電路156分別以單獨(dú)的電路來(lái)實(shí)現(xiàn)。此外，像素信號(hào)處理電路150B中的行AER_R158可與行驅(qū)動(dòng)器130在同一側(cè)實(shí)現(xiàn)。
[0179]行AER和行驅(qū)動(dòng)器塊132可包括行驅(qū)動(dòng)器130和行AER_R158。可將行AER和行驅(qū)動(dòng)器塊132在功能上和邏輯上分成行AER_R158和行驅(qū)動(dòng)器130，但不必需在物理上如此劃分。
[0180]參照?qǐng)D18，像素信號(hào)處理電路150C可包括列AER、讀出電路塊152和行AER_R158。列AER和讀出電路塊152可包括列AER_C154和讀出電路156?？蓪⒘蠥ER和讀出電路塊152在功能上和邏輯上分成列AER_C154和讀出電路156，但不必需在物理上如此劃分。
[0181]列AER和讀出電路塊152可使用單一方法(或邏輯)來(lái)處理從運(yùn)動(dòng)傳感器像素M輸出的事件信號(hào)和從彩色傳感器像素C輸出的像素信號(hào)。在此情況下，用于對(duì)從彩色傳感器像素C輸出的像素信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換的單獨(dú)的塊可在列AER和讀出電路塊152的內(nèi)部或外部來(lái)實(shí)現(xiàn)。將參照?qǐng)D19詳細(xì)描述這一點(diǎn)。
[0182]行AER_R158可在行驅(qū)動(dòng)器130的對(duì)面來(lái)實(shí)現(xiàn)。已根據(jù)光量的變化生成事件信號(hào)的運(yùn)動(dòng)傳感器像素M的行地址值可從行AER_R158被發(fā)送至列AER和讀出電路塊152。[0183]圖19是圖18所示的像素信號(hào)處理電路150C的變型150C'的框圖。參照?qǐng)D18和圖19，圖19所示的像素信號(hào)處理電路15(V可包括列AER和模擬前端(AFE)電路塊152'、行AER_R158、輸出選擇電路160'以及模數(shù)轉(zhuǎn)換器(ADC)塊172。
[0184]列AER和AFE電路塊152'可包括列AER_C154和AFE電路170。AFE電路170可以是這樣的電路，其中，在讀出電路156所包括的元件中,所述電路包括在模數(shù)轉(zhuǎn)換前執(zhí)行操作的元件?？蓪⒘蠥ER和AFE電路塊152'在功能上和邏輯上分成列AER_C154和AFE電路170，但不必需在物理上如此劃分。
[0185]列AER和AFE電路塊152'可使用單一方法(或邏輯)來(lái)處理從運(yùn)動(dòng)傳感器像素M輸出的事件信號(hào)和從彩色傳感器像素C輸出的像素信號(hào)。
[0186]列AER和AFE電路塊152'可處理從運(yùn)動(dòng)傳感器像素M輸出的事件信號(hào)和從彩色傳感器像素C輸出的像素信號(hào)。列AER和AFE電路塊152'可將需要模數(shù)轉(zhuǎn)換的處理結(jié)果(例如，處理來(lái)自彩色傳感器像素C的像素信號(hào)的結(jié)果)發(fā)送至ADC塊172，并且將不需要模數(shù)轉(zhuǎn)換的處理結(jié)果(例如，處理來(lái)自運(yùn)動(dòng)傳感器像素M的事件信號(hào)的結(jié)果)發(fā)送至輸出選擇電路16(V。
[0187]ADC塊172可對(duì)從列AER和AFE電路塊152'接收的處理結(jié)果進(jìn)行模數(shù)轉(zhuǎn)換，并且將通過(guò)轉(zhuǎn)換獲得的數(shù)字信號(hào)發(fā)送至輸出選擇電路160'。ADC塊172可包括⑶S電路(未示出)、斜坡發(fā)生器(未示出)、比較器(未示出)以及計(jì)數(shù)器(未示出)，并且可根據(jù)控制邏輯120的控制進(jìn)行模數(shù)轉(zhuǎn)換。
[0188]輸出選擇電路160'可選擇并處理從列AER和AFE電路塊152'發(fā)送的信號(hào)以及從ADC塊172發(fā)送的信號(hào)，以便輸出圖像數(shù)據(jù)IDATA。
[0189]圖20是包括圖2所示的像素信號(hào)處理電路150的另一示例的圖像傳感器100A-4的框圖。圖像傳感器100A-4包括像素信號(hào)處理電路150D。
[0190]行AER_R158可與行驅(qū)動(dòng)器130在同一側(cè)來(lái)實(shí)現(xiàn)。行AER和行驅(qū)動(dòng)器塊132可包括行驅(qū)動(dòng)器130和行AER_R158?？蓪⑿蠥ER和行驅(qū)動(dòng)器塊132在功能上和邏輯上分成行AER_R158和行驅(qū)動(dòng)器130，但不必需在物理上如此劃分。
[0191]圖21是包括圖15所示的像素信號(hào)處理電路150的示例的圖像傳感器100C-1的框圖。圖22是包括圖15所示的像素信號(hào)處理電路150的另一示例的圖像傳感器100C-2的框圖。圖23是包括圖15所示的像素信號(hào)處理電路150的另一示例的圖像傳感器100C-3的框圖。圖24是包括圖15所示的像素信號(hào)處理電路150的另一示例的圖像傳感器100C-4的框圖。
[0192]參照?qǐng)D15以及圖21至圖24，圖像傳感器100C-1至圖像傳感器100C-4包括通過(guò)DVS像素實(shí)現(xiàn)的運(yùn)動(dòng)傳感器像素M，不包括圖2所示的運(yùn)動(dòng)傳感器像素激活控制器140。在圖像傳感器100C-1至圖像傳感器100C-4中的像素陣列110中所包括的運(yùn)動(dòng)傳感器像素M的激活狀態(tài)被保持，可通過(guò)列AER_C154和行AER_R158來(lái)控制運(yùn)動(dòng)傳感器像素M的輸出。
[0193]參照?qǐng)D13以及圖21至圖24，列AER_C154和行AER_R158可在初始狀態(tài)(例如復(fù)位狀態(tài))下根據(jù)控制邏輯120的控制來(lái)保持電壓Vout，從而抑制運(yùn)動(dòng)傳感器像素M生成輸出(即事件信號(hào))，其中，運(yùn)動(dòng)傳感器像素M基于作為參考的所述電壓Vout來(lái)生成事件信號(hào)。例如，當(dāng)根據(jù)模式選擇信號(hào)MSEL來(lái)激活彩色傳感器像素C時(shí)，列AER_C154和行AER_R158可根據(jù)控制邏輯120的控制來(lái)抑制運(yùn)動(dòng)傳感器像素M生成輸出(例如事件信號(hào))。[0194]除了上述特征以外，圖21至圖24分別示出的像素信號(hào)處理電路150A至像素信號(hào)處理電路150D的結(jié)構(gòu)和操作與在圖3、圖17、圖18和圖20中分別示出的像素信號(hào)處理電路150A至像素信號(hào)處理電路150D的結(jié)構(gòu)和操作基本相同。
[0195]圖25是根據(jù)一些實(shí)施例的操作圖像傳感器芯片的方法的流程圖。參照?qǐng)D1至圖3以及圖14至圖25，在操作SlO中，控制邏輯120可基于模式選擇信號(hào)MSEL激活彩色傳感器像素C或運(yùn)動(dòng)傳感器像素M。
[0196]CPU210可根據(jù)對(duì)通過(guò)例如輸入接口的外圍電路220輸入的用戶輸入的分析結(jié)果來(lái)生成模式選擇信號(hào)MSEL?？刂七壿?20可通過(guò)控制行驅(qū)動(dòng)器130來(lái)激活彩色傳感器像素C，并且通過(guò)控制運(yùn)動(dòng)傳感器像素激活控制器140來(lái)激活運(yùn)動(dòng)傳感器像素M。
[0197]在操作S12中，像素信號(hào)處理電路150可處理從已激活的彩色傳感器像素C或運(yùn)動(dòng)傳感器像素M輸出的像素信號(hào)。
[0198]圖26是根據(jù)其他實(shí)施例的操作圖像傳感器芯片的方法的流程圖。參照?qǐng)D1至圖3以及圖14至圖26，當(dāng)圖像處理系統(tǒng)10通電時(shí)，CPU210可輸出處于默認(rèn)設(shè)置的電平的模式選擇信號(hào)MSEL。在操作S20中，控制邏輯120可基于模式選擇信號(hào)MSEL來(lái)默認(rèn)激活運(yùn)動(dòng)傳感器像素M。
[0199]從已激活的運(yùn)動(dòng)傳感器像素M輸出的像素信號(hào)可通過(guò)像素信號(hào)處理電路150來(lái)處理，且作為圖像數(shù)據(jù)IDATA被提供給ISP200。ISP200可處理圖像數(shù)據(jù)IDATA并將處理后的圖像數(shù)據(jù)IDATA'發(fā)送至CPU210。在操作S22中，CPU210可基于處理后的圖像數(shù)據(jù)IDATA'來(lái)改變模式選擇信號(hào)MSEL的電平。換言之，CPU210可基于從運(yùn)動(dòng)傳感器像素M輸出的像素信號(hào)來(lái)改變模式選擇信號(hào)MSEL的電平。
[0200]操作S24和操作S26與圖25所示的操作SlO和操作S12基本相同。因此，將省略詳細(xì)描述。
[0201]圖27是根據(jù)另外實(shí)施例的操作圖像傳感器芯片的方法的流程圖。參照?qǐng)D2、圖3、圖14至圖24以及圖27，在操作S30中，運(yùn)動(dòng)傳感器像素激活控制器140可激活運(yùn)動(dòng)傳感器像素M。
[0202]在操作S32中，控制邏輯120可基于模式選擇信號(hào)MSEL來(lái)確定是否激活彩色傳感器像素C。在操作S34中，像素信號(hào)處理電路150可處理從運(yùn)動(dòng)傳感器像素M或彩色傳感器像素C輸出的像素信號(hào)。像素信號(hào)處理電路150可在激活彩色傳感器像素C時(shí)處理從彩色傳感器像素C輸出的像素信號(hào)，可在未激活彩色傳感器像素C時(shí)處理從運(yùn)動(dòng)傳感器像素M輸出的像素信號(hào)?？蛇x地，當(dāng)激活彩色傳感器像素C時(shí)，輸出選擇電路160可選擇并處理來(lái)自運(yùn)動(dòng)傳感器像素M的像素信號(hào)或來(lái)自彩色傳感器像素C的像素信號(hào)，并且輸出圖像數(shù)據(jù) IDATA。
[0203]圖28是根據(jù)一些實(shí)施例的包括圖1所示的圖像傳感器100的電子系統(tǒng)1000的框圖。參照?qǐng)D1和圖28，電子系統(tǒng)1000可通過(guò)數(shù)據(jù)處理設(shè)備來(lái)實(shí)現(xiàn)，其中，所述數(shù)據(jù)處理設(shè)備諸如可使用或支持移動(dòng)產(chǎn)業(yè)處理器接口(MIPI)接口的移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、便攜式媒體播放器(PMP)、IP TV或智能電話。電子系統(tǒng)1000包括圖像傳感器100、應(yīng)用處理器1010以及顯示器1050。
[0204]在應(yīng)用處理器1010中包括的相機(jī)串行接口(CSI)主機(jī)1012與圖像傳感器1040中包括的CSI裝置1041通過(guò)CSI進(jìn)行串行通信。例如，可在CSI主機(jī)1012中實(shí)現(xiàn)光串行器，且可在CSI裝置1041中實(shí)現(xiàn)光解串器。
[0205]在應(yīng)用處理器1010中包括的顯示器串行接口(DSI)主機(jī)1011與顯示器1050中包括的DSI裝置1051通過(guò)DSI進(jìn)行串行通信。例如，可在DSI主機(jī)1011中實(shí)現(xiàn)光串行器，可在DSI裝置1051中實(shí)現(xiàn)光解串器。
[0206]電子系統(tǒng)1000還可包括與應(yīng)用處理器1010通信的射頻(RF)芯片1060。電子系統(tǒng)1000的物理通道(PHY) 1013和RF芯片1060的PHY根據(jù)MIPI DigRF標(biāo)準(zhǔn)來(lái)彼此通信數(shù)據(jù)。電子系統(tǒng)1000還可包括GPS1020、存儲(chǔ)裝置1070、麥克風(fēng)1080、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM) 1085和揚(yáng)聲器1090中的至少一個(gè)元件。電子系統(tǒng)1000可使用全球微波接入互操作性(Wimax) 1030、無(wú)線局域網(wǎng)(WLAN) 1100或超寬帶(UWB) 1110等來(lái)通信。
[0207]圖29是根據(jù)一些實(shí)施例的包括圖1所示的圖像傳感器100的圖像處理系統(tǒng)1100的框圖。參照?qǐng)D1和圖29，圖像處理系統(tǒng)1100可包括圖像傳感器100、處理器1110、存儲(chǔ)器1120、顯示單元1130以及接口 1140。
[0208]處理器1110可控制圖像傳感器100的操作。處理器1110可基于從圖像傳感器100接收的彩色信息、深度信息和運(yùn)動(dòng)信息而生成2D、3D和/或運(yùn)動(dòng)圖像數(shù)據(jù)。
[0209]存儲(chǔ)器1120可存儲(chǔ)用于根據(jù)處理器1110的控制通過(guò)總線1150來(lái)控制圖像傳感器100的操作的程序以及通過(guò)處理器1110生成的圖像。處理器1110可訪問(wèn)存儲(chǔ)器1120中存儲(chǔ)的信息且執(zhí)行所述程序。存儲(chǔ)器1120可通過(guò)非易失性存儲(chǔ)器來(lái)實(shí)現(xiàn)。
[0210]圖像傳感器100可在處理器1110的控制下，基于數(shù)字像素信號(hào)(例如，彩色信息、深度信息或運(yùn)動(dòng)信息)生成2D、3D和/或運(yùn)動(dòng)圖像數(shù)據(jù)。顯示單元1130可使用顯示器(例如，液晶顯示器(IXD)或有源矩陣有機(jī)發(fā)光二極管(AMOLED)顯示器)顯示從處理器1110或存儲(chǔ)器1120接收的圖像?？蔀?D圖像或3D圖像的輸入或輸出設(shè)置接口 1140。接口 1140可作為無(wú)線接口來(lái)實(shí)現(xiàn)。
[0211]還可將示例性實(shí)施例作為計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)可讀代碼來(lái)實(shí)施。計(jì)算機(jī)可讀記錄介質(zhì)是可存儲(chǔ)數(shù)據(jù)以作為隨后可由計(jì)算機(jī)系統(tǒng)讀取的程序的任何數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、⑶-ROM、磁帶、軟盤以及光學(xué)數(shù)據(jù)存儲(chǔ)裝置。
[0212]還可將計(jì)算機(jī)可讀記錄介質(zhì)分布在網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)中，從而以分布式存儲(chǔ)和執(zhí)行計(jì)算機(jī)可讀代碼。而且，程序設(shè)計(jì)者可容易地解釋用于完成示例性實(shí)施例的功能程序、代碼和代碼段。
[0213]如上所述，根據(jù)一些實(shí)施例，基于從彩色傳感器像素輸出的像素信號(hào)來(lái)獲取圖像數(shù)據(jù)，從而可精確地識(shí)別對(duì)象的2D彩色圖像。此外，在其他情況下，基于從運(yùn)動(dòng)傳感器像素輸出的像素信號(hào)來(lái)獲取圖像數(shù)據(jù)，從而可降低功耗。換言之，根據(jù)具體環(huán)境，可進(jìn)行選擇，從而或者精確地識(shí)別對(duì)象的2D彩色圖像，或者降低功耗。
[0214]雖然已參照示例性實(shí)施例具體示出且描述了示例性實(shí)施例，但本領(lǐng)域技術(shù)人員會(huì)理解，在不脫離由權(quán)利要求所限定的示例性實(shí)施例的精神和范圍內(nèi)，可在形式和細(xì)節(jié)上作出各種變化。
【權(quán)利要求】
1.一種操作包括彩色傳感器像素和用于感測(cè)對(duì)象的運(yùn)動(dòng)的動(dòng)態(tài)視覺傳感器(DVS)像素的圖像傳感器芯片的方法，所述方法包括: 根據(jù)模式選擇信號(hào)來(lái)激活彩色傳感器像素和DVS像素中的一個(gè)；和 處理從所激活的像素輸出的像素信號(hào)。
2.如權(quán)利要求1所述的方法，還包括:在激活彩色傳感器像素和DVS像素中的一個(gè)之N /.刖， 默認(rèn)激活DVS像素；和 基于從默認(rèn)激活的DVS像素輸出的像素信號(hào)來(lái)改變模式選擇信號(hào)的電平。
3.如權(quán)利要求2所述的方法，其中，改變模式選擇信號(hào)的電平的步驟包括:當(dāng)模式修正代碼是與根據(jù)對(duì)從默認(rèn)激活的DVS像素輸出的像素信號(hào)的處理結(jié)果所生成的代碼相同的代碼時(shí)，改變模式選擇信號(hào)的電平。
4.如權(quán)利要求1所述的方法，還包括:在激活彩色傳感器像素和DVS像素中的一個(gè)之N /.刖， 分析用戶輸入；和 根據(jù)用戶輸入的分析結(jié)果生成模式選擇信號(hào)。
5.如權(quán)利要求1所述的方法，其中，彩色傳感器像素是從由紅色像素、綠色像素和藍(lán)色像素構(gòu)成的組中選擇的像素，且以拜耳圖形來(lái)排列彩色傳感器像素。`
6.一種操作包括彩色傳感器像素和用于感測(cè)對(duì)象的運(yùn)動(dòng)的動(dòng)態(tài)視覺傳感器(DVS)像素的圖像傳感器芯片的方法，所述方法包括: 激活DVS像素； 根據(jù)模式選擇信號(hào)來(lái)確定是否激活彩色傳感器像素；和 基于確定結(jié)果和模式選擇信號(hào)來(lái)處理從DVS像素和彩色傳感器像素中的一個(gè)輸出的像素號(hào)。
7.如權(quán)利要求6所述的方法，其中，處理像素信號(hào)的步驟包括:當(dāng)激活彩色傳感器像素時(shí)處理從彩色傳感器像素輸出的像素信號(hào)，而當(dāng)未激活彩色傳感器像素時(shí)處理從DVS像素輸出的像素信號(hào)。
8.如權(quán)利要求所述的方法6，其中，彩色傳感器像素是從由紅色像素、綠色像素和藍(lán)色像素構(gòu)成的組中選擇的像素，且以拜耳圖形排列彩色傳感器像素。
9.一種圖像傳感器芯片,包括: 像素陣列，包括彩色傳感器像素組和動(dòng)態(tài)視覺傳感器(DVS)像素組，其中，彩色傳感器像素組包括多個(gè)彩色傳感器像素，DVS像素組包括用于感測(cè)對(duì)象的運(yùn)動(dòng)的多個(gè)DVS像素；控制電路，配置為根據(jù)模式選擇信號(hào)來(lái)激活彩色傳感器像素組和DVS像素組中的一個(gè)；和 像素信號(hào)處理電路，配置為處理從所激活的像素組輸出的像素信號(hào)。
10.如權(quán)利要求9所述的圖像傳感器芯片，還包括:運(yùn)動(dòng)傳感器像素激活控制器，配置為根據(jù)控制電路的控制來(lái)控制供給DVS像素組的功率。
11.如權(quán)利要求9所述的圖像傳感器芯片，其中，像素信號(hào)處理電路包括: 行地址事件表示(AER)，配置為處理由各個(gè)DVS像素生成的多個(gè)事件信號(hào)中的至少一個(gè)；和列AER，配置為處理由各個(gè)DVS像素生成的多個(gè)事件信號(hào)中的至少另一個(gè)，并且行AER布置在像素陣列的一側(cè)，用于激活每個(gè)彩色傳感器像素的行驅(qū)動(dòng)器布置在像素陣列的另一側(cè)，并且行AER與行驅(qū)動(dòng)器彼此面對(duì)。
12.如權(quán)利要求9所述的圖像傳感器芯片，其中，像素信號(hào)處理電路包括: 行地址事件表示(AER)，配置為處理由各個(gè)DVS像素生成的多個(gè)事件信號(hào)中的至少一個(gè)；和 列AER，配置為處理由各個(gè)DVS像素生成的多個(gè)事件信號(hào)中的至少另一個(gè)，并且 行AER與用于激活每個(gè)彩色傳感器像素的行驅(qū)動(dòng)器布置在像素陣列的同一側(cè)。
13.如權(quán)利要求9所述的圖像傳感器芯片，其中，DVS像素組與彩色傳感器像素組分開布置。
14.如權(quán)利要求9所述的圖像傳感器芯片，其中，DVS像素中的每個(gè)布置在彩色傳感器像素之間。
15.如權(quán)利要求9所述的圖像傳感器芯片，其中，DVS像素布置在彩色傳感器像素組的邊緣處。
16.如權(quán)利要求9所述的圖像傳感器芯片，其中，DVS像素在行方向上與彩色傳感器像素交替。
17.如權(quán)利要求9所述的圖像傳感器芯片，其中，DVS像素在列方向上與彩色傳感器像素交替。
18.如權(quán)利要求9所述的圖像傳感器芯片，其中，DVS像素與彩色傳感器像素的尺寸不同。
19.如權(quán)利要求9所述的圖像傳感器芯片，其中，在DVS像素和彩色傳感器像素中，具有同一列地址的DVS像素和彩色傳感器像素彼此共用至少一個(gè)信號(hào)線。
20.如權(quán)利要求9所述的圖像傳感器芯片，其中，像素信號(hào)處理電路包括: 運(yùn)動(dòng)傳感器像素信號(hào)處理電路，配置為處理從DVS像素組輸出的像素信號(hào)；和 彩色傳感器像素信號(hào)處理電路，配置為處理從彩色傳感器像素組輸出的像素信號(hào)。
21.如權(quán)利要求20所述的圖像傳感器芯片，還包括:輸出選擇電路，配置為選擇運(yùn)動(dòng)傳感器像素信號(hào)處理電路的輸出和彩色傳感器像素信號(hào)處理電路的輸出中的一個(gè)。
22.—種片上系統(tǒng)(SoC),包括: 如權(quán)利要求9所述的圖像傳感器芯片； 圖像信號(hào)處理器(ISP)，配置為處理從圖像傳感器芯片輸出的圖像數(shù)據(jù)；和中央處理單元(CPU)，配置為從ISP接收處理后的圖像數(shù)據(jù)并基于處理后的圖像數(shù)據(jù)生成模式選擇信號(hào)。
23.—種圖像傳感器芯片，包括: 像素陣列，包括彩色傳感器像素、深度傳感器像素和動(dòng)態(tài)視覺傳感器(DVS)像素；和輸出選擇電路，配置為根據(jù)模式選擇信號(hào)來(lái)選擇從彩色傳感器像素與深度傳感器像素接收的信號(hào)和從DVS像素接收的信號(hào)中的一個(gè)，并且輸出所選擇的信號(hào)。
24.如權(quán)利要求23所述的圖像傳感器芯片，其中，彩色傳感器像素是從由紅色像素、綠色像素和藍(lán)色像素構(gòu)成的組中選擇的像素，并且 其中，將彩色傳感器像素和深度傳感器像素以拜耳圖形排列。
25.如權(quán)利要求23所述的圖像傳感器芯片，其中，輸出選擇電路包括復(fù)用器。
26.—種圖像處理系統(tǒng),包括: 圖像傳感器，用于生成與來(lái)自至少一個(gè)彩色傳感器像素的彩色圖像數(shù)據(jù)或者來(lái)自至少一個(gè)運(yùn)動(dòng)傳感器像素的運(yùn)動(dòng)圖像數(shù)據(jù)對(duì)應(yīng)的數(shù)字圖像數(shù)據(jù)，并且發(fā)送數(shù)字圖像數(shù)據(jù)； 圖像信號(hào)處理器(ISP)，配置為接收并處理來(lái)自圖像傳感器的數(shù)字圖像數(shù)據(jù)，并且發(fā)送處理后的圖像數(shù)據(jù)；和 顯示單元，用于從ISP接收處理后的圖像數(shù)據(jù)，并且顯示處理后的圖像數(shù)據(jù)。
27.如權(quán)利要求26所述的圖像處理系統(tǒng)，還包括: 中央處理單元(CPU)，配置為根據(jù)來(lái)自ISP的處理后的圖像數(shù)據(jù)和來(lái)自功率監(jiān)測(cè)模塊的信號(hào)中的一個(gè)來(lái)生 成模式選擇信號(hào)，并且發(fā)送模式選擇信號(hào)。
28.如權(quán)利要求27所述的圖像處理系統(tǒng)，其中，功率監(jiān)測(cè)模塊確定圖像處理系統(tǒng)是否具有充足的功率，當(dāng)圖像處理系統(tǒng)不具有充足的功率時(shí)，功率監(jiān)測(cè)模塊將信號(hào)發(fā)送至CPU。
29.如權(quán)利要求27所述的圖像處理系統(tǒng)，其中，圖像傳感器基于來(lái)自CPU的模式選擇信號(hào)來(lái)生成與彩色圖像數(shù)據(jù)或運(yùn)動(dòng)圖像數(shù)據(jù)對(duì)應(yīng)的數(shù)字圖像數(shù)據(jù)。
【文檔編號(hào)】H04N5/3745GK103533263SQ201310277408
【公開日】2014年1月22日 申請(qǐng)日期:2013年7月3日 優(yōu)先權(quán)日:2012年7月3日
【發(fā)明者】金泰瓚, 金茂永 申請(qǐng)人:三星電子株式會(huì)社