集成有相機(jī)陣列的顯示器的制造方法
【專利說(shuō)明】集成有相機(jī)陣列的顯示器
【背景技術(shù)】
[0001] 隨著計(jì)算裝置提供增加的處理能力和功能性，用戶能夠以越來(lái)越多種類的方式來(lái) 提供輸入。舉例來(lái)說(shuō)，用戶可能夠通過(guò)在距計(jì)算裝置某一距離處執(zhí)行運(yùn)動(dòng)或示意動(dòng)作來(lái)控 制計(jì)算裝置，其中所述示意動(dòng)作是使用用戶的手或手指來(lái)執(zhí)行。對(duì)于某些裝置，使用能夠檢 視用戶的相機(jī)所捕獲的圖像來(lái)確定示意動(dòng)作，從而使所述裝置能夠確定所述用戶所執(zhí)行的 運(yùn)動(dòng)。然而，在一些情況下，用戶的至少一部分將不在相機(jī)的視野內(nèi)，這可能妨礙裝置成功 確定正執(zhí)行的運(yùn)動(dòng)或示意動(dòng)作。雖然電容性觸摸接近可感測(cè)非?？拷b置的觸摸屏的手指 的存在，但相機(jī)的視野之外仍存在較大的死區(qū)，其妨礙確定用戶手指的位置或移動(dòng)。
【附圖說(shuō)明】
[0002] 將參考附圖描述根據(jù)本公開的各種實(shí)施方案，其中：
[0003]圖1說(shuō)明根據(jù)各種實(shí)施方案的其中用戶正與計(jì)算裝置交互的實(shí)例情形；
[0004] 圖2(a)、2(b)和2(c)說(shuō)明可根據(jù)各種實(shí)施方案利用的實(shí)例相機(jī)陣列的視圖；
[0005] 圖3(a)、3(b)、3(c)、3(d)、3(e)和3(f)說(shuō)明可使用根據(jù)各種實(shí)施方案的相機(jī)陣列 捕獲的實(shí)例圖像；
[0006] 圖4(a)和4(b)說(shuō)明根據(jù)各種實(shí)施方案的用于操作相機(jī)陣列的實(shí)例過(guò)程的部分；
[0007] 圖5(a)、5(b)、5(c)和5(d)說(shuō)明使用可根據(jù)各種實(shí)施方案利用的相機(jī)元件的組合 來(lái)確定特征位置的實(shí)例方法；
[0008] 圖6說(shuō)明可根據(jù)各種實(shí)施方案利用的實(shí)例裝置；
[0009] 圖7說(shuō)明可在例如圖6中所說(shuō)明的裝置中利用的一組實(shí)例組件；以及
[0010] 圖8說(shuō)明其中可實(shí)現(xiàn)各種實(shí)施方案的環(huán)境的實(shí)例。
【具體實(shí)施方式】
[0011] 根據(jù)本公開各種實(shí)施方案的系統(tǒng)和方法可克服前面提到的缺陷以及將輸入提供 給電子裝置的常規(guī)方法中所經(jīng)歷的其它缺陷中的一個(gè)或多個(gè)。明確地說(shuō)，本文所論述的方 法利用相機(jī)元件的組合來(lái)捕獲用戶的特征（或正由用戶握著的物體等）的圖像和/或視 頻，以用于確定用戶所執(zhí)行的運(yùn)動(dòng)、示意動(dòng)作或其它此類動(dòng)作。在至少一些實(shí)施方案中，當(dāng) 特征（或物體）在裝置的至少一個(gè)相機(jī)的視野中時(shí)，可使用一個(gè)或多個(gè)常規(guī)相機(jī)來(lái)捕獲用 戶特征的圖像，例如用戶的指尖，或用戶握著的物體。所述裝置還可包含相對(duì)較低分辨率相 機(jī)陣列，其可與裝置的顯示屏（或其它至少半透明元件）集成或接近其而定位，使得所述陣 列的元件可捕獲經(jīng)過(guò)顯示屏的光（例如，環(huán)境光或IR光）。
[0012] 在至少一些實(shí)施方案中，所述陣列的每一元件是單獨(dú)的光或輻射檢測(cè)器，例如光 電二極管。在至少一些實(shí)施方案中，個(gè)別檢測(cè)器可定位在顯示屏"后面"，且在一些實(shí)施方案 中，可定位在IR透射片或能夠阻止環(huán)境光被元件檢測(cè)到的其它此類元件后面，從而使相機(jī) 陣列甚至在顯示屏正積極顯示內(nèi)容時(shí)也能夠操作。一個(gè)或多個(gè)照明元件可經(jīng)配置以發(fā)射將 從附近物體反射且被陣列檢測(cè)到的光。由于在至少一些實(shí)施方案中，檢測(cè)器不具有透鏡，因 此所述陣列將僅能夠在距陣列某一距離范圍內(nèi)捕獲可辨別圖像。發(fā)射器可發(fā)射IR，其可穿 過(guò)IR透射片，且使得能夠獨(dú)立于屏幕的操作而確定屏幕附近的物體的位置。在至少一些實(shí) 施方案中，可結(jié)合來(lái)自不同IR發(fā)射器的不同方向的照明來(lái)捕獲圖像，以便獲得在確定正檢 測(cè)的特征的定向或其它方面中有用的深度信息。
[0013] 下文關(guān)于各種實(shí)施方案中的至少一些來(lái)描述和建議許多其它替代和變化。
[0014] 圖1說(shuō)明其中可實(shí)現(xiàn)各種實(shí)施方案的方面的實(shí)例環(huán)境100。在此實(shí)例中，用戶102 正試圖使用用戶的手指106將示意動(dòng)作輸入提供給計(jì)算裝置104。盡管展示便攜式計(jì)算裝 置（例如，電子書閱讀器、智能電話或平板計(jì)算機(jī)），但應(yīng)理解，根據(jù)本文所論述的各種實(shí)施 方案，可使用能夠接收、確定和/或處理輸入的任何電子裝置，其中所述裝置可包含（例如） 桌上型計(jì)算機(jī)、筆記本型計(jì)算機(jī)、個(gè)人數(shù)據(jù)助理、視頻游戲控制臺(tái)、電視機(jī)頂盒、智能電視機(jī) 以及便攜式媒體播放器等等。
[0015] 在此實(shí)例中，計(jì)算裝置104可包含一個(gè)或多個(gè)相機(jī)108,其經(jīng)配置以捕獲包含用戶 手指106的視圖的圖像信息，其可由在計(jì)算裝置上執(zhí)行的應(yīng)用程序分析，以確定手指相對(duì) 于計(jì)算裝置104的相對(duì)位置。所述圖像信息可為使用環(huán)境或紅外光（以及此類選項(xiàng)）捕獲 的靜止圖像或視頻信息。另外，在各種實(shí)施方案的范圍內(nèi)，可使用任何適當(dāng)數(shù)目的相同或不 同類型的相機(jī)。所述應(yīng)用程序可確定手指（或另一此類物體）的位置，且可通過(guò)分析捕獲 的圖像信息來(lái)隨時(shí)間跟蹤手指的位置，以便允許向裝置的運(yùn)動(dòng)和/或示意動(dòng)作輸入。舉例 來(lái)說(shuō)，用戶可上下移動(dòng)手指以調(diào)整音量，在平面內(nèi)移動(dòng)手指以控制虛擬光標(biāo)，等等。
[0016] 然而，依靠相機(jī)信息可能具有某些缺點(diǎn)，因?yàn)槊恳幌鄼C(jī)將通常具有受限的視野，即 使對(duì)于廣角透鏡（即，例如具有大約120度的捕獲角度）來(lái)說(shuō)也是如此。即使魚眼或其它 廣角透鏡也具有受限的視野，或至少提供在視野的邊緣附近有些失真的圖像。因此，在計(jì)算 裝置周圍通常將存在一個(gè)或多個(gè)死區(qū)，其中物體可能在相機(jī)中的任一個(gè)的視野之外。在指 尖進(jìn)入至少一個(gè)相機(jī)的視野之前，裝置無(wú)法在從相機(jī)中的任一個(gè)捕獲的圖像中定位指尖， 且因此無(wú)法確定或跟蹤特征的運(yùn)動(dòng)。
[0017] 根據(jù)各種實(shí)施方案的方法可通過(guò)利用經(jīng)定位以捕獲穿過(guò)裝置的顯示屏或其它此 類元件的光（例如，環(huán)境或IR)的相機(jī)陣列（或傳感器陣列）來(lái)解決計(jì)算裝置上的一個(gè)或 多個(gè)相機(jī)的視野之間和/或視野之外的死區(qū)中的至少一些。根據(jù)各種實(shí)施方案，相機(jī)陣列 可與顯示元件集成，或以其它方式相對(duì)于顯示元件定位。在具有多個(gè)顯示元件的裝置中，可 存在多個(gè)相機(jī)陣列，其用來(lái)檢測(cè)那些元件附近的運(yùn)動(dòng)、示意動(dòng)作、徘徊或其它動(dòng)作，所述元 件可能在裝置上的至少一個(gè)常規(guī)相機(jī)的視野之外。
[0018] 圖2(a)說(shuō)明可根據(jù)各種實(shí)施方案利用的實(shí)例相機(jī)陣列的橫截面圖200。在此實(shí)例 中，所述陣列定位在顯示屏"后面"，顯示屏可至少包含顯示層202,其可為至少半透明的，至 少部分地基于顯示屏的類型（例如，IXD或0LED)。取決于顯示器的類型，可利用也是已知 或用于此類目的的各種其它層和組件。舉例來(lái)說(shuō)，IXD顯示器可包含背光層204,其用于接 收和引導(dǎo)光206 (來(lái)自裝置上的來(lái)源，例如至少一個(gè)LED)穿過(guò)顯示層202,以便在顯示屏上 生成圖像。此實(shí)例中的相機(jī)陣列包含定位在印刷電路板（PCB)、柔性電路或其它此類（大 體上平坦或平面）襯底212上的檢測(cè)器陣列214,例如光電二極管，其中所述檢測(cè)器定位在 朝向顯示屏的一側(cè)上，以便能夠捕獲從計(jì)算裝置的外部入射在顯示層202上且穿過(guò)顯示層 202的光。然而，應(yīng)理解，在各種實(shí)施方案的范圍內(nèi)，也可使用各種類型的單值或多值光或 輻射傳感器。另外，顯示器的其它層可充當(dāng)各種發(fā)射器和/或檢測(cè)器的襯底或支撐件，使得 在一些實(shí)施方案中不使用單獨(dú)的襯底層。在具有背光層206的顯示器中，檢測(cè)器可相對(duì)于 顯示層202定位在背光層206"后面"，因?yàn)闅w因于可包含復(fù)雜性和成本等因素，襯底212上 (或中）的電路、線路和/或其它組件在至少一些實(shí)施方案中通常將不是透明的。
[0019] 在此實(shí)例中，檢測(cè)器214在兩個(gè)維度中以規(guī)則間隔定位，間隔開相對(duì)固定的量，但 也可使用其它配置?？芍辽俨糠值鼗诿恳粰z測(cè)器的大小、顯示屏的大小和/或相機(jī)陣列 的所要分辨率以及其它此類因素來(lái)確定間距。在至少一些實(shí)施方案中，所述檢測(cè)器中無(wú)一 個(gè)將含有聚焦透鏡，使得相機(jī)陣列將有效地充當(dāng)近場(chǎng)相機(jī)。透鏡的缺乏可導(dǎo)致每一檢測(cè)器 直接感測(cè)從手指返回的光，所述光在至少一些實(shí)施方案中只能從在距屏幕相對(duì)較短距離內(nèi) (例如在小于一或二英寸的范圍內(nèi)）的手指或其它物體辨別。超過(guò)所述范圍的任何東西都 可能過(guò)于模糊而無(wú)法辨別，但由于常規(guī)相機(jī)配置的死區(qū)可為距顯示屏大約兩英寸或更小， 因此此范圍至少對(duì)于確定特征在死區(qū)內(nèi)的接近位置可為足夠的。
[0020] 此方法具有優(yōu)點(diǎn)，因?yàn)橥哥R的缺乏允許相機(jī)陣列相對(duì)較薄，這對(duì)于具有有限空間 的裝置（例如便攜式計(jì)算裝置）來(lái)說(shuō)可為合意的。另外，所述陣列可為相對(duì)便宜的，且不需 要光學(xué)對(duì)準(zhǔn)，這在隨陣列包含透鏡時(shí)原本可能是需要的。由于相機(jī)陣列既定覆蓋的距離相 對(duì)較靠近裝置，例如在如上文所論述的相機(jī)死區(qū)內(nèi)，因此當(dāng)可在無(wú)此類透鏡的情況下確定 指尖（或另一此類物體）的位置時(shí)，添加透鏡的優(yōu)點(diǎn)可能很少。
[0021] 在一些實(shí)施方案中，例如對(duì)于大體上透明的0LED顯示器來(lái)說(shuō)，檢測(cè)器可捕獲穿過(guò) 顯示層的環(huán)境（或其它）光。然而，對(duì)于例如IXD顯示器等顯示裝置，可能需要對(duì)檢測(cè)器進(jìn) 行定時(shí)以在顯示器的刷新時(shí)間之間捕獲圖像，以便防止檢測(cè)器飽和，或至少防止所捕獲的 圖像數(shù)據(jù)被來(lái)自正在顯示屏上渲染的圖像的光占領(lǐng)或污染。至少一些顯示屏組合件包含至 少部分不透明背板層208,其可防止光被引導(dǎo)到裝置中，且/或在顯示器不再顯示內(nèi)容時(shí)， 使顯示屏看起來(lái)是黑色（或另一適當(dāng)顏色）。如果結(jié)合顯示屏使用背板層208,那么檢測(cè)器 可經(jīng)定位以捕獲穿過(guò)背板中的孔或開口的光，或所述檢測(cè)器可至少部分地穿過(guò)背板層，以 及此類選項(xiàng)。
[0022] 在圖2(a)的實(shí)例中，檢測(cè)器經(jīng)配置以捕獲（至少）穿過(guò)顯示層202的紅外（IR) 光。在至少一些實(shí)施方案中，一個(gè)或多個(gè)IR發(fā)射器216 (例如，IRLED)可定位在裝置上， 以使IR光被發(fā)射，所述IR光可由死區(qū)中的任何物體反射，使得反射的IR光的至少一部分 可由光電二極管214檢測(cè)。雖然任何合適數(shù)目的IR發(fā)射器均可定位在裝置上的任何合適 位置處，但在此實(shí)例中，存在定位于襯底212上的多個(gè)發(fā)射器216,以便引導(dǎo)光"向上"穿過(guò) 顯示層（圖中），其中所反射的光被引導(dǎo)返回"向下"穿過(guò)所述層。應(yīng)理解，為了便于闡釋， 使用例如"上"和"下"等方向，且不應(yīng)將其解釋為所需的方向，除非針對(duì)特定實(shí)施方案另有 陳述。另外，如所提到，在至少一些實(shí)施方案中，可將一個(gè)或多個(gè)發(fā)射器定位成遠(yuǎn)離襯底，例 如散布在顯示器的背光的光源之間，以及此類選項(xiàng)?？墒褂每啥ㄎ辉谝r底212的邊緣處的 控制電路218和/或組件來(lái)控制和/或操作發(fā)射器和檢測(cè)器，例如以便對(duì)IR的發(fā)射以及檢 測(cè)器的檢測(cè)進(jìn)行定時(shí)?？刂齐娐房砂糜谑占?或分析從檢測(cè)器收集到的圖像數(shù)據(jù)的 一個(gè)或多個(gè)處理器，或可將所述數(shù)據(jù)傳遞給所述裝置的至少一個(gè)其它處理器（未圖示）?？?使用離散讀出電路，其可經(jīng)歷行/列選擇過(guò)程以尋址每一檢測(cè)器，因?yàn)橛邢薜臄?shù)目可使串 行讀取過(guò)程能夠相對(duì)快速地執(zhí)行，但在一些方法中，可至少部分地并行執(zhí)行所述讀取。
[0023] 如所提到，顯示屏可具有定位在顯示層202 "后面"的背板208或其它至少部分地 不透明的層（例如，塑料或類似材料的黑片）。在至少一些實(shí)施方案中，此層可在可見光譜 內(nèi)大體上不透明，但可允許IR光譜的至少一部分的發(fā)射。因此，可將發(fā)射器216和檢測(cè)器 214定位在背板的后面，且經(jīng)配置以分別發(fā)射和捕獲穿過(guò)背板208的IR。能夠利用穿過(guò)背板 層的IR的優(yōu)點(diǎn)在于所述檢測(cè)可在任何時(shí)間發(fā)生，獨(dú)立于顯示屏的操作。另外，入射在裝置 上的環(huán)境光將不可能干擾檢測(cè)器所檢測(cè)到的光，例如在檢測(cè)器可能不是專用IR檢測(cè)器而 是可能夠在較寬的波長(zhǎng)范圍