專利名稱：顯示裝置及信息終端裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及具有圖像取入功能的顯示裝置及信息終端裝置。
背景技術(shù)：
正提出一種在顯示裝置本身設(shè)置坐標(biāo)輸入功能的技術(shù)，以代替鼠標(biāo)等坐標(biāo)指示構(gòu)件。例如，已經(jīng)知道有在顯示裝置的表面配置壓敏式觸摸屏的結(jié)構(gòu)、以及在顯示裝置的背面配置電磁感應(yīng)圖形輸入板的結(jié)構(gòu)。壓敏式觸摸屏是將帶有由透明電極材料形成的透明電極圖形的兩塊透明平板隔開規(guī)定間隔對置，僅在用手指等按壓的部分使電極圖形相互之間接觸，使該電極圖形的電阻值變化，從而計算用手指等按壓的部分的坐標(biāo)。電磁感應(yīng)圖形輸入板是從配置在顯示裝置背面的專用圖形輸入板輸出規(guī)定的電磁波，在具有諧振電路的專用筆接近顯示裝置表面時，用圖形輸入板接受從專用筆的諧振電路發(fā)出的電磁波，利用規(guī)定的方法計算該位置的坐標(biāo)。都可用于便攜式個人計算機及手機(參照特開平8-254682號公報及特開平7-225371號公報)。
但是，以往的帶坐標(biāo)輸入功能的顯示裝置難以小型化，多數(shù)裝置的重量也重。另外，與通常的顯示裝置相比，由于成本相當(dāng)高，再加上結(jié)構(gòu)復(fù)雜，因此存在容易損壞等維修方面的問題。另外，還迫切要求不會因各種各樣的干擾而產(chǎn)生誤動作。

發(fā)明內(nèi)容
本發(fā)明正是鑒于這些方面而提出的，其目的在于提供能夠小型化及低價格、并能夠從高精度進(jìn)行坐標(biāo)檢測的顯示裝置及信息終端裝置。
本發(fā)明一形態(tài)有關(guān)的顯示裝置，能夠檢測出用人手或指示構(gòu)件指示顯示畫面規(guī)定地方，具有在縱橫排列設(shè)置的信號線及掃描線的各交點附近形成的顯示元件；與所述顯示元件的各顯示元件相對應(yīng)設(shè)置的、在顯示畫面上利用所述顯示元件顯示規(guī)定的顯示圖像的狀態(tài)下拍攝各自規(guī)定范圍的入射光的攝像單元；以及根據(jù)拍攝圖像檢測與拍攝時的顯示圖像相關(guān)性強的部分、作為利用手或指示構(gòu)件在顯示畫面上的指示裝置的定位檢測手段。
另外，本發(fā)明一形態(tài)有關(guān)的顯示裝置，能夠檢測出用人手或指示構(gòu)件指示顯示畫面任意地方，具有在縱橫排列設(shè)置的信號線與掃描線的各交點附近形成的顯示文件；拍攝各自在規(guī)定范圍的入射光的攝像單元；每隔多條信號線設(shè)置的、向?qū)?yīng)的多條信號線供給顯示用像素數(shù)據(jù)的D/A變換電路；在所述D/A變換電路依次對多條信號線供給像素數(shù)據(jù)的期間、利用沒有供給像素數(shù)據(jù)的信號線從像素輸出所述攝像單元的攝像數(shù)據(jù)的放大電路；將從像素輸出的攝像數(shù)據(jù)進(jìn)行串行變換并輸出的信號處理輸出電路；以及根據(jù)所述攝像數(shù)據(jù)檢測利用手或指示構(gòu)件在顯示畫面上的指示位置的定位檢測手段。


圖1所示為液晶顯示裝置一實施形態(tài)的簡要構(gòu)成方框圖。
圖2為像素陣列部分1的一個像素部分的詳細(xì)電路圖。
圖3為玻璃基板上的一個像素部分的布局圖。
圖4為圖像取入方法的說明圖。
圖5為沿水平方向相鄰配置的四個像素等效電路圖。
圖6為圖5的處理動作時序圖。
圖7為圖6的詳細(xì)時序圖。
圖8A～8D所示為用于手指觸模像素陣列部分1的表面的前后用傳感器的取入圖像的圖。
圖9為計算手指的指示坐標(biāo)的處理順序流程圖。
圖10為畫面坐標(biāo)的說明圖。
圖11所示為信號處理輸出電路4的內(nèi)部結(jié)構(gòu)一個例子的方框圖。
圖12所示為信號處理輸出電路4或控制器6進(jìn)行的手指坐標(biāo)檢測處理的流程圖。
圖13A～13D所示為拍攝圖像的一個例子的圖。
圖14A～14E所示為拍攝圖像取決于手指與像素陣列部分1的距離而變化的情況的圖。
圖15所示為實施形態(tài)2的動作時序圖。
圖16所示為在手指坐標(biāo)檢測時周期性地僅改變畫面的按鈕顯示區(qū)r1及r2的輝度的例子的圖。
圖17為手機等附屬吊帶上安裝的柔性指示構(gòu)件的圖。
圖18所示為在顯示幀期間的間隔設(shè)置手指坐標(biāo)檢測期間的例子的動作時序圖。
圖19為玻璃基板上具有用低溫多晶硅TFT技術(shù)而形成的電路的顯示裝置簡要構(gòu)成圖。
圖20所示為在顯示幀的間隔插入一個空白幀及兩個攝像幀的例子的圖。
圖21所示為在顯示幀的間隔插入一個空白幀及一個攝像幀的例子的圖。
圖22所示為干擾光的入射狀況的圖。
圖23所示為使用圖21的圖形拍攝的拍攝圖像的圖。
圖24所示為使用多個特殊圖形進(jìn)行拍攝的例子的圖。
圖25A～25B所示為使用圖24的特殊圖形進(jìn)行拍攝而得到的拍攝圖像的圖。
圖26所示為使用黑與白的方格花紋進(jìn)行拍攝、而在下一個拍攝幀使用紅與黑的方格花紋進(jìn)行拍攝的例子的圖。
圖27A～27B所示為使用圖26的圖形拍攝的拍攝圖像的圖。
圖28所示為僅選擇按鈕使特殊圖形顯示的例的圖。
圖29所示為干擾光的入射狀況的圖。
圖30所示為選擇按鈕的拍攝結(jié)果的圖。
圖31所示為使指示構(gòu)件的表面形成特殊圖形的例子的圖。
圖32所示為接觸前的接觸面積的圖。
圖33所示為接觸后的接觸面積的圖。
圖34所示為拍攝幀的格子狀態(tài)圖形的圖。
圖35A及圖35B所示為指示構(gòu)件的變形例的圖。
具體實施例方式
以下，參照附圖具體說明本發(fā)明有關(guān)的顯示裝置及信息終端裝置。下面對于液晶顯示裝置進(jìn)行說明，作為本發(fā)明有關(guān)的顯示裝置及信息終端裝置的一個例子。
(第1實施形態(tài))第1實施形態(tài)的液晶顯示裝置是在各像素配置進(jìn)行圖像取入的傳感器。將利用ITO等透明電極材料形成公共電極的對置基板，隔開規(guī)定間隔(約5微米)配置在LCD基板上，在它們之間注入液晶材料，以規(guī)定的方法封接，再在兩基板的外側(cè)粘貼使用偏光板。
圖1所示為液晶顯示裝置一實施形態(tài)的簡要構(gòu)成方框圖。圖1的液晶顯示裝置，具有信號線及掃描排列設(shè)置的像素陣列部分1、驅(qū)動信號線的信號線驅(qū)動電路2、驅(qū)動掃描線的掃描線驅(qū)動電路3、將來自傳感器的攝像數(shù)據(jù)串行輸出的信號處理輸出電路4、同步信號發(fā)生電路5、以及控制器6，該控制器6從CPU接受數(shù)字像素數(shù)據(jù)，以規(guī)定的時序向信號線驅(qū)動電路供給數(shù)字像素數(shù)據(jù)，同時進(jìn)行攝像數(shù)據(jù)的處理。
像素陣列部分1是在LCD基本上采用低溫多晶硅TFT(Thin FilmTransistor，薄膜晶體管)形成的。另外，信號線驅(qū)動電路2、掃描線驅(qū)動電路3、信號處理輸出電路4及同步信號發(fā)生電路5的至少一部分也用低溫多晶硅TFT在LCD基板上形成。控制器6可以形成或安裝在LCD基板上，也可以設(shè)置在別的基板上。
像素陣列部分1具有水平方向320像素×垂直方向240像素的顯示分辨率。信號線的總數(shù)是320條，掃描線的總數(shù)是240條。各像素是正方形，沒有濾色片。配置在LCD基板背面的未圖示的背光源具有至少以紅、綠、藍(lán)發(fā)光的LED。
根據(jù)寫入輔助電容Cs的電壓，能夠從白到黑以64級灰度改變液晶顯示。它與同步，通過點亮背光源，使其發(fā)出紅、綠、藍(lán)的某一種光，可進(jìn)行各種顏色的64級灰度顯示，即進(jìn)行所謂場順序驅(qū)動。
在信號線驅(qū)動電路2的內(nèi)部，以每四條信號線有一個的比例，一個設(shè)置80個DAC20。信號線驅(qū)動電路2在顯示期間中，將一個水平期間一分四，將四條信號線作為一組，各組都是一條一條驅(qū)動信號線。將從外部IC以規(guī)定周期輸入的數(shù)字像素數(shù)據(jù)變換為適于液晶驅(qū)動的模擬像素電壓，依次驅(qū)動四條信號線。
掃描線驅(qū)動電路3具有80級的移位寄存器11、三選一電路12、電平移位器13、多路選通器(MUX電路)14、緩沖器15。
三選一譯碼器12從相鄰的的三條掃描線中選擇某一條。因而，三選一譯碼器12能夠每隔三條驅(qū)動240條掃描線。通過進(jìn)行這樣的掃描線的驅(qū)動方法，能夠在短時間內(nèi)檢測整個畫面的平均灰度(白像素數(shù)相對于單元像素數(shù)的比例)。即，由于每隔三條驅(qū)動掃描線，讀出與該掃描線相對應(yīng)的傳感器的攝像結(jié)果，來計算平均灰度，并根據(jù)該計算結(jié)果，決定是讀出剩余的傳感器的攝像結(jié)果，還是改變攝像條件來重新拍攝，因此不會無用地取入不符合攝像條件的攝像數(shù)據(jù)。通過這樣，能夠縮短到在最終顯示攝像結(jié)果的時間，而且能夠減少輸出攝像數(shù)據(jù)用的功耗。
信號處理輸出電路4具有預(yù)充電電路16、四條信號線輸出中選擇一條的四選一譯碼器17、將四選一譯碼器17的輸出移位的移位寄存器18、以及與移位寄存器18的輸出連接的輸出緩沖器19。輸出緩沖器19由串級連接的多個反相器構(gòu)成，各反相器根據(jù)輸出負(fù)載慢慢擴大溝道寬度。與移位時鐘同步，將移位寄存器18的規(guī)定節(jié)點上依次出現(xiàn)的攝像數(shù)據(jù)放大，向外部送出。
圖2是像素陣列部分1的一個像素部分的詳細(xì)電路圖，圖3是玻璃基板上的一個像素部分的布局圖。如圖2所示，一個像素具有像素TFT31、控制輔助電容Cs是否存儲電荷的顯示控制TFT32、拍攝各自在規(guī)定范圍的入射光的圖像取入傳感器33、存儲傳感器33的攝像結(jié)果的電容C1(以下也稱為傳感器電容)、存儲與電容C1的存儲電荷相對應(yīng)的二值數(shù)據(jù)的SRAM34、以及對電容C1存儲初始電荷用的初始化用TFT35。SRAM34具有串級連接的兩個反相器，能夠?qū)㈦娙軨1的電位二值化，或者在TFT35及TFT36同時導(dǎo)通時連接成環(huán)狀，以保持二值化的數(shù)據(jù)。
這里，利用根據(jù)輔助電容Cs存儲的電荷所決的像素電極電位、與對置基本上形成的公共電極的電位之差，來控制夾在它們之間的液晶層的透射率，從而對各像素的輝度進(jìn)行灰度控制。
在圖2中表示每個像素設(shè)置一個傳感器33的例子，但傳感器33的數(shù)量沒有特別限制。每一個像素的傳感器33的數(shù)量越增加，則越能夠提高圖像取入的分辨率。
在進(jìn)行電容C1的初始化時，使像素TFT31及初始化用TFT35導(dǎo)通。在將設(shè)定顯示元件輝度用的模擬像素電壓(模擬像素數(shù)據(jù))寫入輔助電容Cs時，使像素TFT31及顯示控制TFT32導(dǎo)通。在進(jìn)行SRAM34的數(shù)據(jù)保持(刷新)時，使初始化用TFT35及SRAM34內(nèi)的數(shù)據(jù)保持用TFT36都導(dǎo)通。在對信號線供給SRAM34中存儲的攝像數(shù)據(jù)時，使像素TFT31及數(shù)據(jù)保持用TFT36都導(dǎo)通。
本實施形態(tài)的顯示裝置可以進(jìn)行通常的顯示動作，也可以進(jìn)行與掃描器相同的圖像取入。再有，也可以讀取因用戶手指等慢慢接近而產(chǎn)生的手指影子或手指肚產(chǎn)生的反射光、或者因光筆接近而產(chǎn)生的明亮部分或投影圖形，用于檢測指示坐標(biāo)。在進(jìn)行通常的顯示動作時，TFT35及36設(shè)定為斷開狀態(tài)，在SRAM34中不存儲有效數(shù)據(jù)。在這種情況下，對信號線供給來自信號線驅(qū)動電路2的信號線電壓，進(jìn)行與該信號線電壓相對應(yīng)的顯示。
另一方面，在進(jìn)行圖像取入時，如圖4所示，在LCD基板1的上面一側(cè)配置圖像取入對象物體(例如紙面)37，來自背光源38的光通過對置基板39及LCD基板1向紙面37照射。被紙面37原射的光用LCD基板1上的傳感器33接受，進(jìn)行圖像取入。
這里，配置在拍攝對象一側(cè)的玻璃基板及偏光板最好盡可能要薄。傳感器與拍攝對象的最短距離(即傳感器基板的厚度與粘貼在傳感器基板上的偏光板等光學(xué)薄膜等的厚度之和)為小于等于0.3mm，最好合計為小于等于0.2mm左右。這是由于紙面一般多數(shù)為漫反射面，使照射光大量慢射。若拍攝對象一側(cè)的玻璃基板厚，則傳感器受光部與紙面的距離增大，因而漫反射光容易進(jìn)入相鄰圖像的傳感器，往往導(dǎo)致取入圖像模糊。另外，內(nèi)裝傳感器的陣列基板1如圖4所示，最好側(cè)置在正面一側(cè)。這是由于若配置在背面一側(cè)(背光源一側(cè))，則手指的反射光要通過液晶層到達(dá)傳感器，因此光量將降低。
取入圖像數(shù)據(jù)存入圖2所示的SRAM34之后，通過信號線送往未圖示的LCDC。該LCDC接受從本實施形態(tài)的顯示裝置輸出的數(shù)字信號，進(jìn)行數(shù)據(jù)的重新排列及去除數(shù)據(jù)中的噪聲等的運算處理。
在進(jìn)行人的手指等比像素間距(幾百微米左右)要大的物體的坐標(biāo)檢測時，不一定必須以高分辨率進(jìn)行圖像取入。因此，在本實施形態(tài)中，沿行(水平)方向每四條信號線進(jìn)行圖像取入，沿列(垂直)方向每三條掃描線進(jìn)行圖像取入。
圖5為沿水平方向相鄰配置的四個像素(像素n、像素(n+1)、像素(n+2)、像素(n+3)的等效電路圖。其特征在于，控制線中對每行可以驅(qū)動Gate線及CRT，對每列可以驅(qū)動SFB及PCC。另外，在SRAM的輸出部分設(shè)置柵極TFT。對于圖5的四個像素供給來自同一個DAC20的模擬像素電壓。另外，在圖5的四個像素中，從信號處理輸出電路4僅輸出一個像素(最左側(cè)的像素)的攝像數(shù)據(jù)。即，四個像素中輸出攝像數(shù)據(jù)的僅是像素n。雖然也可以輸出其它像素的攝像數(shù)據(jù)，但因此要浪費多余的時間。另外，不限定于四個像素中從哪一個寫入模擬像素電壓，從哪一個像素輸出攝像數(shù)。也可以對每行適當(dāng)?shù)卣{(diào)換順序。在計算光筆或手指等比像素間距要大的物體的指示坐標(biāo)方向沒有大的區(qū)別。另外，在本例中，所示的例子是從模擬像素電壓的寫入結(jié)束的像素輸出傳感器的例子，但也可以反過來，采用先輸出傳感器的數(shù)據(jù)、然后寫入模擬像素電壓的結(jié)構(gòu)等各種變形。在將水平期間分割為多個期間、而一個DAC依次驅(qū)動信號線的結(jié)構(gòu)中，一條條信號線為了顯示所占用的期間短，什么也沒有寫入的時間長。宗旨在于將該長時間用于傳感器的數(shù)據(jù)輸出。
以下說明圖5的四個像素中對像素n的數(shù)字像素數(shù)據(jù)的寫入結(jié)束、而對像素(n+1)的數(shù)字像素數(shù)據(jù)正寫入中的情況的動作。在這種情況下，在像素n中，使圖2的信號PCC(n)為低電平，使信號SFB(n)為高電平，一面保持輔助電容Cs的電位，一面從SRAM34向信號線n寫入數(shù)字像素數(shù)據(jù)。
通過這樣，在像素n中，對輔助內(nèi)容Cs不進(jìn)行寫入，從SRAM34經(jīng)由數(shù)據(jù)保持用TFT36，向信號線n輸出用SRAM34保持的攝像數(shù)據(jù)。
另外，在像素(n+1)中，使信號PCC(n+1)為高電平，使信號SFB(n+1)為低電平，將信號線(n+1)上的數(shù)字像素數(shù)據(jù)寫入輔助電容Cs。因此，在像素(n+1)中，從SRAM34不會向信號線(n+1)輸出攝像數(shù)據(jù)，而由DAC20驅(qū)動的信號線電壓被取入輔助電容Cs。
另外，在像素(n+2)中，在使信號PCC(n+2)為高電平、使信號SFB(n+2)為低電平的狀態(tài)下，等待從信號線(n+2)向輔助電容Cs寫入。另外，在像素(n+3)中，在使信號PCC(n+3)為高電平、使信號SFB(n+3)為低電平的狀態(tài)下，等待從信號線(n+3)向輔助電容Cs寫入。
圖6為圖5的處理動作時序圖，圖7為詳細(xì)時序圖。首先，在時刻t1，開始對像素n寫入數(shù)字像素數(shù)據(jù)。然后，在時刻t2，在像素(n+1)中開始寫入數(shù)字像素數(shù)據(jù)，同時暫時使CRT(m)及SFB(n)都為高電平，將電容C1的電位二值化后的數(shù)據(jù)存入SRAM34后，將像素n的攝像數(shù)據(jù)向信號線n輸出。在光筆接近該像素時或手指接近該像素時，顯示裝置的各像素所發(fā)的光在手指表面進(jìn)行反應(yīng)，在該像素的光傳感器產(chǎn)生光泄漏，其結(jié)果電容C1的電位降低。利用SRAM34的二值化動作，在數(shù)字信號變?yōu)榈碗娖叫盘柡螅蛐盘柧€n輸出。另外，在沒有因光筆或手指表面產(chǎn)生的反射光射到的像素的情況下，電容C1的電位不降低，二值化動作后作為高電平信號輸出。然后，在時刻t3，像素(n+2)開始寫入數(shù)字像素數(shù)據(jù)，同時信號線上的像素n的攝像數(shù)據(jù)在信號處理輸出電路4內(nèi)被鎖存，在這之后對移位寄存器18進(jìn)行寫入，然后從移位寄存器18串行輸出攝像輸出。
然后，一到時刻t6，像素(n+3)開始寫入數(shù)字像數(shù)數(shù)據(jù)。然后，一到時刻t7，在將信號PCC設(shè)定為低電平后，在時刻t8進(jìn)行傳感器電容(電容C1)是預(yù)充電。然后再進(jìn)行動作，使得將一幀以后傳感器電容的電位是否降低的情況利用SRAM34二值化后輸出。
本實施形態(tài)對于列(垂直)方向在掃描線驅(qū)動電路3內(nèi)設(shè)置多路選通器，在進(jìn)行紅、綠、藍(lán)的各一個畫面的顯示之間進(jìn)行三次隔行掃描驅(qū)動。所謂隔行掃描驅(qū)動，不是從第1行起依次進(jìn)行掃描，而是指跳過數(shù)地進(jìn)行掃描。為了計算手指等的指示坐標(biāo)，將三行合起來看作為一行也沒有關(guān)系。在連續(xù)數(shù)行中，只要根據(jù)某一行的攝像數(shù)據(jù)進(jìn)行計算就足夠了。于是，垂直方向的坐標(biāo)在一個畫面的顯示期間計算三次。若考慮在紅、綠、藍(lán)的三個畫面中，則計算九次。
另外，顯示一個畫面用的隔行掃描驅(qū)動不限定于三次。若減少移位寄存器數(shù)，增加多路選通器，則能夠增加一幀期間中的掃描數(shù)。就能夠跟蹤光筆或手指等的更快的運動。反之，或增加移位寄存器數(shù)，減少多路選通器，則位置精度提高。
圖8(a)及圖8(b)所示為用手指觸摸像素陣列部分1的表面的前后用傳感器取入的圖像。在室內(nèi)等那樣周圍不太明亮的場合，用手指觸摸前，由于在像素陣列部分1的附近沒有使來自像素陣列部分1的光反射的物體，因此如圖8(a)所示，取入圖像全部為黑。若用手指觸摸或使手指靠近像素陣列部分1，則如圖8(b)所示，僅僅成為手指影子部分的傳感器取入圖像成為白色。
這樣，若手指靠近，則由于取入圖中產(chǎn)生黑白的明暗，因此利用攝像數(shù)據(jù)的值來檢測黑白的邊界部分，從而能夠正確特定畫面上的手指位置。
但是，由于手指輪廓附近遮住了外來光，像素陣列部分1的發(fā)光的反射減弱，因此變黑。因而，最好將黑色部分包圍的白色部分的中心部分作為手指的指示坐標(biāo)。
另外，在室外等周圍明亮的場所，在手指沒有觸摸時，由于外來光而使傳感器有反應(yīng)，幾乎全部成為接近白色的狀態(tài)。在該狀態(tài)下，若使手指靠近，則手指遮住外來光，產(chǎn)生陰影，如圖8(c)所示，能夠得到僅僅手指部分為黑色的攝像數(shù)據(jù)。然后，若使手指觸摸像素陣列部分1，則如圖8(d)所示，手指接觸面將來自像素陣列部分1的發(fā)光進(jìn)行反射，變成白色。但是，由于在手指邊界附近遮住外來光，像素陣列部分1的發(fā)光的反射也減弱，因此變黑。因而，為了求出用手指指示的坐標(biāo)，最好求出用黑色部分包圍的白色部分的中心部分。
圖9所示為計算手指指示坐標(biāo)的處理順序一個例子的流程圖。該流程圖利用信號處理輸出電路4或控制器6來執(zhí)行。首先，在一個畫面大小的傳感器取入圖像中，判定黑的比例是否多于白的比例(步驟S1)。在黑的比例較多時，判斷為周圍暗，將攝像數(shù)據(jù)從黑突然變?yōu)榘椎膮^(qū)域的前端部分坐標(biāo)作為的手指觸模的指示坐標(biāo)(步驟S2)。
另一方面，在白的比例多于黑的比例時，判斷為周圍亮，將從白變?yōu)楹诘膮^(qū)域內(nèi)的白的部分的中心坐標(biāo)作為手指觸摸的指示坐標(biāo)(步驟S3)。
下面詳細(xì)敘述手指觸摸的指示坐標(biāo)的計算方法。該計算最好在陣列基板上進(jìn)行。其理由是由于，若用外部IC進(jìn)行該計算，則必須從陣列基板輸出全部含金量紗的黑白數(shù)據(jù)，不僅增大功耗，而且坐標(biāo)檢測也花費時間。
作為一個例子，說明320×240點的所謂QVGA面板。設(shè)各像素的坐標(biāo)為(x，y)。這里，x為1，1，…，319，y為0，1，…，239。
圖10所示的手指指示坐標(biāo)(Ex，Ey)可用式(1)求出。
Ex=Σy=0239Σx=0319xL(x,y)Σy=0239Σx=0319L(x,y)]]>Ey=Σy=0239Σx=0319yL(x,y)Σy=0239Σx=0319L(x,y)···(1)]]>式(1)的分母的∑L(x，y)為白像素的總數(shù)。
另外，手指的面積(Vx，Vy)可用式(2)求出。
Vx=Σy=0239Σx=0319(x-Ex)2L(x,y)Σy=0239Σx=0319L(x,y)]]>Vy=Σy=0239Σx=0319(y-Ey)2L(x,y)Σy=0239Σx=0319L(x,y)···(2)]]>在本實施形態(tài)中，沿信號線方向?qū)⑾袼仃嚵胁糠?一分為8，計算手指指示坐標(biāo)。在這種情況下，攝像數(shù)據(jù)的一個畫面部分的相加值W可用式(3)表示，指示坐標(biāo)的x坐標(biāo)Ex可用式(4)表示。
W=Σy=0239Σx=0319L(x,y)···(3)]]>
Ex=1WΣy=0239Σx=0319xL(x,y)]]>=1WΣy=0239Σx=039(xL(x,y)+(40+x)L(40+x,y)+···+(280+x)L(280+x,y)]]>=1WΣy=0239(Σx=039(xL(x,y)+xL(40+x,y)+···+xL(280+x,y)+40·Σx=039L(40+x,y)]]>+···+280·Σx=039L(280+x,y))]]>…(4)這里，如式(5)那樣來設(shè)定。
X0(y)=Σx=039xL(x,y),]]>X1(y)=Σx=039xL(40+x,y),···,]]>X7(y)=Σx=039xL(280+x,y)]]>W0(y)=Σx=039L(x,y),]]>W1(y)=Σx=039L(40+x,y),]]>···,W7(y)=Σx=039L(280+x,y)]]>…(5)這時，式(4)就變成式(6)。
Ex=1WΣy=0239(X0(y)+X1(y)+···+X7(y)+40W1(y)+···+280W7(y))···(6)]]>式(6)中的W可用式(7)表示。
W=Σy=0239(W0(y)+W1(y)+···+Wy(y)···(7)]]>同樣，Ey如式(8)所示。
Ey=1WΣy=0239Σx=0319yL(x,y)=1WΣy=0239y(W0(y)+W1(y)+···+W7(y))···(8)]]>上述的坐標(biāo)計算是利用信號處理輸出電路4或控制器6來進(jìn)行。圖11所示為用信號處理輸出電路4進(jìn)行坐標(biāo)計算時的信號處理輸出電路4的內(nèi)部結(jié)構(gòu)一個例子的方框圖。圖11的內(nèi)部結(jié)構(gòu)代替圖1的預(yù)充電電路16、四選一譯碼器17、移位寄存器18及輸出緩沖器19。
圖11的信號處理輸出電路4具有進(jìn)行式(5)運算的串級連接的n個DSP41、存儲用DSP41計算的Xi(y)(0≤i≤7)的寄存器42、存儲用DSP41計算的Wi(y)(0≤i≤7)的寄存器43、進(jìn)行式(9)運算的DSP44、進(jìn)行式(10)運算的DSP45、寄存器X(y)、寄存器W(y)、進(jìn)行式(11)運算的DSP46、進(jìn)行式(12)運算的DSP47、以及進(jìn)行式(13)運算的DSP48。
X(y)＝X0(y)+X1(y)+…+X7(y)+40·W1(y)+…+280·W7(y)…(9)W(y)＝W0(y)+W1(y)+…+W7(y) …(10)Ex·W=Σy=0239X(y)···(11)]]>Ey·W=Σy=0239W(y)···(12)]]>W=Σy=0239W(y)···(13)]]>這些電路最好采用低溫多晶硅TFT技術(shù)等，內(nèi)裝在LCD基板1上。與將整個畫面的位圖全部交給外部IC的結(jié)構(gòu)相比，僅將式(11)、式(12)、式(13)的積和運算的結(jié)果交給外部IC的結(jié)構(gòu)校為有利。這是由于，最終的坐標(biāo)計算雖讓外部IC來做，但為此交給外部IC的數(shù)據(jù)量越少，則在坐標(biāo)檢測所要的時間及功耗方面越有利。另外，連式(1)及式(2)的計算也在LCD基板1上來進(jìn)行是不利的。這是由于，式(1)及式(2)的“作法”用的電路一般較復(fù)雜，使得LCD基本中不是顯示區(qū)的邊框區(qū)域(這里形成運算電路)增大。LCD基板1上的處理最好限于式(11)、式(12)、式(13)那樣的“每行進(jìn)行并能夠依次相加的積和運算”?！案鶕?jù)全部像素的數(shù)據(jù)進(jìn)行的除去”那樣的復(fù)雜計算最好用控制器6等的外部半導(dǎo)體來進(jìn)行。另外，式(11)、(12)、(13)的右邊不是全部數(shù)據(jù)輸出才開始能夠計算的量，而是每次各行數(shù)據(jù)輸出，就能夠計算右邊。這樣，若不等到全部數(shù)據(jù)輸出，就平行進(jìn)行計算，則具有的優(yōu)點是能夠縮短數(shù)據(jù)輸出后到確定坐標(biāo)為止的時間，另外具有的優(yōu)點是，作為進(jìn)行計算用的硬件，可以采用動作速度較慢的由低溫多晶硅TFT構(gòu)成的電路。這樣，在本實施形態(tài)的具有圖像取入功能的液晶顯示裝置中，由于檢測使手指接近或接觸像素陣列部分1時的攝像數(shù)據(jù)的黑白變化，而且還考慮到周圍的亮度，來確定手指坐標(biāo)位置，因此周圍不管是亮還是暗，都能夠高精度檢測坐標(biāo)裝置。
另外，在進(jìn)行坐標(biāo)檢測時，由于不是檢測全部像素的攝像數(shù)據(jù)，而是沿信號線方向及掃描線方向都是每隔多個像素來檢測攝像數(shù)據(jù)，因此能夠縮短坐標(biāo)檢測所需要的時間。
另外，計算坐標(biāo)位置的攝像數(shù)據(jù)也可以是對拍攝圖像進(jìn)行噪聲去除或特定形狀(識別手指或指示構(gòu)件用的形狀)檢測等的圖像處理后的攝像數(shù)據(jù)(處理圖像)。通過這樣，能夠提高檢測精度。
傳感器的密度也可以不是像素∶傳感器＝1∶1，而是每十個像素有一個傳感器。另外，傳感器也可以僅配置在顯示區(qū)的最外周。
在上述的實施形態(tài)中，主要說明的是將本發(fā)明用于液晶顯示裝置的例子，但本發(fā)明也可以適用于具有圖像取入功能的所有種類的平面顯示裝置。
(第2實施形態(tài))第2實施形態(tài)是根據(jù)連續(xù)拍攝的兩幅拍攝圖像的差分圖像來進(jìn)行手指坐標(biāo)檢測。
圖12所示為信號處理輸出電路4或控制器6進(jìn)行的手指坐標(biāo)檢測處理的流程圖，圖13所示為拍攝圖像的一個例子。首先，在背光源點亮的狀態(tài)下進(jìn)行一幀圖像的拍攝，將其拍攝結(jié)果(以下為第1圖像)存入未圖示的存儲裝置(步驟S11)。
拍攝圖像中如圖13(a)所示，與背光源的點亮及熄滅無關(guān)，包含因干擾而產(chǎn)生的白色部分，在背光源點亮的狀態(tài)下，如圖13(b)所示，能夠得到包含手指產(chǎn)生的白色部分及干擾光產(chǎn)生的白色部分的圖像。
然后，在背光源熄滅的狀態(tài)下，進(jìn)行一幀圖像的拍攝，將其拍攝結(jié)果(以下為第2圖像)存入未圖示的存儲裝置(步驟S12)。在背光源熄滅的狀態(tài)下，如圖13(c)所示，手指產(chǎn)生的白色部分不存在，但能夠得到包含干擾光產(chǎn)生的白色部分的圖像。
然后，檢測第1與第2圖像之差分(以下為差分圖像)(步驟S13)。例如，若設(shè)拍攝結(jié)果是白的時候為1，是黑的時候為0，則兩個圖像都為相同顏色時，差分為零，若第1圖像為1，而第2圖像為0，則差分為1。通過取第1與第2圖像之差分，如圖13(d)所示，能夠得到?jīng)]有干擾光產(chǎn)生的白色部分的差分圖像。
然后，用上述的式(1)與式(2)，計算差分圖像的中心坐標(biāo)及直徑(步驟S14)。
然后，判定差分圖像的直徑是否急劇增大(步驟S15)。圖14所示為拍攝圖像取決于手指與像素陣列部分1的距離而變化的情況。圖14(a)所示為手指為像素陣列部分1的距離的概念圖，圖14(b)、圖14(c)、圖14(d)、圖14(e)分別表示以距離＝5mm、距離＝2mm、距離＝0mm、距離＝0mm使手指按壓像素陣列部分1的情況。在距離＝5mm及2mm時，來自手指肚的反射光幾乎沒有到達(dá)像素陣列部分1的傳感器。一到達(dá)距離＝0mm，則僅來自手指肚的反射光輸入傳感器的部分變白。在將手指壓緊時，該白部分的面積增大。
因此，在圖12的步驟S14中，在判定為差分圖像的直徑急劇增大時，可以判別為手指確實與像素陣列部分1接觸。在這種情況下，將差分圖像的中心坐標(biāo)作為手指接觸位置(步驟S16)，返回步驟S11的處理。另一方面，在步驟S15中判定為差分圖像的直徑?jīng)]有急劇增大時，判斷為手指沒有接觸，返回步驟S11的處理。
圖15為第2實施形態(tài)的動作時序圖。如圖15所示，設(shè)置通常顯示期間t1及手指坐標(biāo)檢測期間t2。通常顯示期間不進(jìn)行手指坐標(biāo)檢測。該期間從信號線驅(qū)動電路2對各信號線供給顯示用模擬電壓，利用掃描線驅(qū)動電路3按規(guī)定順序驅(qū)動各行的掃描線。以一秒鐘50次(50Hz即20msec)的周期反復(fù)顯示畫面。
手指坐標(biāo)檢測期間一面進(jìn)行顯示，一面進(jìn)行手指坐標(biāo)檢測。具體來說，每一幀重復(fù)背光源的點亮與熄滅。因此，用戶看起來好像畫面在閃爍，可以告知用戶是手指坐標(biāo)檢測期間。閃爍的頻率在50Hz以上，有時變得“畫面一閃一閃”，使用戶感到不舒服。在那樣的情況下，最好使閃爍頻率在15Hz左右以下。
在一幀期間(20ms)內(nèi)，實際上有驅(qū)動掃描線并將圖像信號寫入像素的顯示期間(16msec)、以及寫完最后一行以后到開始寫下一幀為止的消陷期間(4msec)。在消隱期間，從像素內(nèi)的傳感器進(jìn)行數(shù)據(jù)輸出，同時為了下一幀的攝像，對各像素的傳感器電容進(jìn)行預(yù)充電。該數(shù)據(jù)輸出有對傳感器電容的預(yù)充電在每一幀都進(jìn)行。
在手指坐標(biāo)檢測期間內(nèi)，如圖15所示，使背光源周期性地點亮及熄滅，按圖12的順序反復(fù)檢測差分圖像。
這樣，在第2實施形態(tài)中，由于根據(jù)使背光源點亮狀態(tài)下的拍攝圖像與熄滅狀態(tài)下的拍攝圖像之差分圖像，檢測手指接觸位置，因此不會受到干擾光的影響，能夠以高精度檢測手指接觸位置。
(第3實施形態(tài))在上述的第2實施形態(tài)中，說明的是在于指坐標(biāo)檢測期間內(nèi)使背光源點亮及熄滅的例子，但也可以保持點亮背光源的狀態(tài)不變，而改變像素陣列部分1的整個顏色來檢測差分圖像。
更具體來說，是在手指坐標(biāo)檢測期間內(nèi)每進(jìn)行一次一幀圖像的拍攝，使整個像素部分1進(jìn)行黑顯示。然后，利用進(jìn)行黑顯示與不進(jìn)行黑顯示時的拍攝圖像之差分，來檢測差分圖像。若使整個像素陣列部分1進(jìn)行黑顯示，則由于沒有來自像素陣列部分1的光照射手指肚，因此沒有來自手指肚的反射光輸入傳感器，能夠與第2實施例同樣進(jìn)行手指坐標(biāo)檢測。
這樣，在第3實施形態(tài)中，由于不使背光源點亮及熄滅就可完成，因此能夠簡化背光源的控制，力圖提高背光源的壽命。
再有，為了取得差分圖像，也可以考慮采用各種各樣的兩種顯示。總而言之，在第1顯示中，由于指等指示構(gòu)件產(chǎn)生的指示部分在拍攝圖像中“白”較多，而在第2顯示中“黑”較多(即拍攝對比度高)，只要是這樣的兩種顯示即可。這最好考慮到傳感器的光譜特性及指示構(gòu)件的反射特性等進(jìn)行優(yōu)化。
(第4實施形態(tài))在第2及第3實施形態(tài)中，所示的是在手指坐標(biāo)檢測時使像素陣列部分1的整個輝度周期性地變化的例子，但也可以只改變一部分畫面區(qū)域的輝度。
已知有一種采用觸摸屏方式的顯示裝置，它在畫面上顯示按鈕，用于指觸模該按鈕。在本實施形態(tài)中采用這樣的觸摸屏?xí)r，在手指坐標(biāo)檢測時就不需要改變整個畫面的輝度，而只要僅改變按鈕顯示區(qū)的輝度即可。
因此，在本實施形態(tài)中，如圖16所示，在手指坐標(biāo)檢測時僅周期性地改變畫面的按鈕顯示區(qū)r1及r2的輝度。更具體來說，背光源保持點亮的狀態(tài)不變，每一幀使與按鈕顯示區(qū)相對應(yīng)的像素的顏色顯示黑色。進(jìn)行手指坐標(biāo)檢測的順序仍可以照原樣利用圖12的流程圖。
這樣，第4實施形態(tài)在于坐標(biāo)檢測時，由于僅改變按鈕顯示區(qū)的輝度，因此能夠減輕手指坐標(biāo)檢測時的畫面重寫處理的負(fù)擔(dān)。
另外，按鈕部分的顯示可能有各種變形，總而方之，只要拍攝對比度高的兩種顯示即可，這與第3實施形態(tài)的末尾所述的相同。
(第5實施形態(tài))
第5實施形態(tài)是采用人的手段以外的指示構(gòu)件來指定特定位置的情況。
人的手指表面的顏色及手指的粗細(xì)因人而異，另外還有時戴了手套，檢測靈敏度有可能因人或因時而變動。
因此，考慮用球狀的柔性指示構(gòu)件來按壓像素陣列部分1，以指示特定位置。在手機等采用本實施形態(tài)的顯示裝置的情況下，如圖17所示，只要在手機等附屬的吊帶上安裝上述的指示構(gòu)件50即可。
這種指示構(gòu)件最好進(jìn)行涂裝，使其反射率例如大于等于50％，最好接近100％。這里的所謂反射率，是以涂布硫酸鋇等所制成的標(biāo)準(zhǔn)白板的反射率為基準(zhǔn)。作為指示構(gòu)件的例子，可以采用印相紙或高質(zhì)量紙等作為指示構(gòu)件。另外，也可以是如圖35A或圖35B那樣蒸鍍了鋁等的鏡子那樣的表面(鏡面反射面)。在這種情況下，同于與紙不同，其表面不是漫反射面，因此拍攝圖像不容易模糊，能夠進(jìn)行高精度的位置檢測。為了防止顯示面上劃傷顯示裝置，最好配置丙烯保護(hù)板?；蛘撸詈眠M(jìn)行傳感器容易檢測圖像用的涂裝。另外，通過選擇柔性材質(zhì)，在稍微按壓像素陣列部分1時，由于接觸面積就擴大，因此作為傳感器的圖像能夠確實檢測出。
這樣，在第5實施形態(tài)中，由于使用指示構(gòu)件來指定像素陣列部分1上的特定位置，因此與手指表面的顏色及手指的粗細(xì)等無關(guān)，能夠進(jìn)行手指坐標(biāo)檢測，提高手指坐標(biāo)檢測的精度。
另外，最好將指示構(gòu)件的表面如圖31所示形成方格花紋等特殊圖形。這是由于，拍攝結(jié)果中能夠檢測出方格花紋的部分可判斷為指示位置。在將它用力按壓顯示面時的接觸面就從圖32的狀態(tài)變?yōu)閳D33那樣增大接觸面積。通過這樣，方格花紋的面積占有拍攝圖像的比例增大。只要將它判斷觸擊即可。另外，特殊圖形可以是花紋，也可以是形狀。再有，在指示構(gòu)件中也可以內(nèi)裝LED等未圖示的光源，在指示構(gòu)件接觸顯示面時，使其投影達(dá)到傳感器能夠讀取的程度的花紋。另外，指示構(gòu)件的接觸面積在用戶按壓顯示面時應(yīng)該有某種程度地增大，但若過于軟，則直徑增加100％以上，反而使用的感覺會不好。
(第6實施形態(tài))通常，背光源是使用熒光管，但在手指坐標(biāo)檢測期間內(nèi)反復(fù)使背光源點亮及熄滅時，最好采用響應(yīng)速度快的LED作為背光源的光源。在這種情況下，可以在整個像素陣列部分1均勻設(shè)置多個LED，也可以在像素陣列部分1的端部配置一人或少量的LED。
或者，背光源也可以在手指坐標(biāo)檢測時始終保持點亮狀態(tài)，而利用與背光源分開的其它光源進(jìn)行手指坐標(biāo)檢測。這種其它光源最好是LED、EL(Electroluminescence，電致發(fā)光)或紅外光源。
另外，也可以如圖18的動作時序圖所示，在顯示幀期間的間隔設(shè)置手指坐標(biāo)檢測期間時，任意改變手指坐標(biāo)檢測期間內(nèi)的背光源點亮期間與熄滅期間的寬度。通過這樣，能夠進(jìn)行相位檢波，改善拍攝圖像的S/N比。即，背光源的點亮及熄滅對于拍攝圖像中的手指等反射光部分的影響最大。在該部分中，背光源點亮?xí)r，與白色對應(yīng)的數(shù)據(jù)增多，而在背光源不點亮?xí)r，與黑色對應(yīng)的數(shù)據(jù)增多。其它的部分由于取決于外來光等周圍光，因此最能夠跟蹤背光源點亮及熄滅的部分可以判斷為是利用手指等指示的指示位置。
(第7實施形態(tài))第7實施形態(tài)是在通常的顯示幀的間隔插入攝像用的幀(攝像幀)，根據(jù)連續(xù)拍攝的兩幀拍攝圖像之差分圖像，進(jìn)行手指坐標(biāo)檢測。
圖19是具有在玻璃基板(Glass substrate)51上采用低溫多晶硅TFT技術(shù)形成的電路、外部控制器6、主裝置52的顯示裝置的簡要構(gòu)成圖。在玻璃基板51上，形成像素陣列部分1、信號線驅(qū)動電路2、掃描線驅(qū)動電路3、信號處理輸出電路4、傳感器控制器53及A/D變換器54等?？刂破?除了將顯示數(shù)據(jù)供給玻璃基板51以外，還根據(jù)玻璃基板51的信號處理輸出電路4輸出的圖像數(shù)據(jù)，判定手指指示的坐標(biāo)及有關(guān)觸擊(利用的指的點擊動作)指示。
在不接受手指輸入的通常顯示中，以幀頻50Hz從控制器6將顯示數(shù)據(jù)供給玻璃基板51。在接受手指輸入的狀態(tài)下，如圖20所示，在顯示幀的間隔插入攝像用的三幀F(xiàn)1、F2、F3。這些幀中的一幀是空白幀F(xiàn)1，剩下的兩幀是攝像幀F(xiàn)3。
在空白幀F(xiàn)1中，使顯示變?yōu)榘坠怙@示。經(jīng)常使用的扭曲向列液晶的響應(yīng)速度由于較慢，為20ms左右，因此若立刻拍攝，則由于顯示幀的圖像作為余像保留，因此除了手指反射光以外，還保留白的部分，這成為坐標(biāo)運算出錯的原因。為避免這種情況，設(shè)置空白幀F(xiàn)1。
攝像幀F(xiàn)2及F3中的一幀是白光，另一幀是黑光。這里的黑光不是寫入黑作為顯示數(shù)據(jù)，而是通過背光源熄滅來實現(xiàn)。若這樣，則即使液晶的響應(yīng)慢，也能夠迅速進(jìn)行黑顯示。使用背光源點亮?xí)r的拍攝圖像及背光源熄滅時的拍攝圖像，由控制器6進(jìn)行除去干擾光的坐標(biāo)運算。這是采用與第2實施形態(tài)相同的方法進(jìn)行。
這樣，在第7實施形態(tài)中，由于在顯示幀與攝像幀之間設(shè)置空白幀因此攝像幀不受顯示幀的余像的影響，拍攝圖像的質(zhì)量提高。另外，由于設(shè)置兩幅攝像幀，因此能夠確實除去干擾光。
(第8實施形態(tài))第8實施形態(tài)是將在通常的顯示幀的間隔設(shè)置的攝像幀采用特殊圖形，不需要兩幅攝像結(jié)果的差分運算。
在不接受手指輸入的通常顯示中，以幀頻50Hz從控制器6將顯示數(shù)據(jù)供給玻璃基板。在接受手指輸入的狀態(tài)下，如圖21所示，在顯示幀的間隔插入攝像用的兩幀F(xiàn)4、F5。這些幀中的一幀是空白幀F(xiàn)4，另一幀是攝像幀F(xiàn)5。
在空白幀F(xiàn)4中，使顯示空為特殊顯示。在本例中，采用方框花紋圖形。經(jīng)常使用的扭曲向列液晶的響應(yīng)速度由于較慢，為10ms左右，因此若立即拍攝，則由于顯示幀的圖像作為余像保留，因此除了手指反射光以外，還保留白的部分，這成為坐標(biāo)運算出錯的原因。為避免這種情況，設(shè)置空白幀F(xiàn)4。
攝像幀F(xiàn)5是保持背光源點亮狀態(tài)不變的方格花紋顯示。如圖22所示，在不僅手指觸摸液晶顯示面、而且干擾光(太陽光或熒光燈)入射顯示面的狀況下，成問題的是能否正確計算手指坐標(biāo)。在這種情況下，由于顯示面上顯示方框花紋，因此從液晶顯示面發(fā)出的光具有方格花紋。這利用手指反射后，則方格花紋被液晶顯示裝置內(nèi)裝的傳感器33讀取。
另一方面，干擾光與液晶顯示面的亮度無關(guān)。圖22的狀況下的拍攝結(jié)果如圖23所示，僅僅是用手指觸摸的區(qū)域成為方格花紋，干擾光入射的部分成為白色。因而，控制器6只要從液晶顯示裝置輸出的攝像數(shù)據(jù)中，檢索成為黑白方格花紋的部分，計算其中心坐標(biāo)即可。另外，在進(jìn)行觸擊檢測的情況也相同，只要計算具有方格花紋部分的直徑，在直徑突變時看作為觸擊即可。
另外，若特殊圖形的重復(fù)周期(在本例中是黑白方格花紋的粗細(xì))過小，則拍攝圖像中特殊圖形被破壞(模糊)，住往不能識別干擾光及由指示構(gòu)件產(chǎn)生的反射光。特別是在用沒有微透鏡等光學(xué)系統(tǒng)的顯示裝置進(jìn)行讀取時，在手指觸擊顯示面的狀態(tài)下，很難識別比手指與光傳感器之間的距離60更細(xì)的方格花紋。反之，若方格花紋過粗，則在計算手指中心位置時的精度變差。因此，方框花紋的黑或白的圖形的寬度最小值要大于d0，最好是d0的2倍至5倍左右。在實施形態(tài)中，由于玻璃基板的厚度為0.4mm，偏光板等光學(xué)薄膜的厚度為0.2mm，因此d0＝0.4+0.2＝0.6mm。黑白方格花紋采用將1.2mm見方的白正方形與1.2mm見方的黑正方形組合的圖形。
攝像幀用的特殊圖形可以有各種變形。也可以是圖34所示那樣的格子。在方格花紋中每單位面積的白像素數(shù)與黑像素數(shù)相等，與此不同的時，格子中的白像素數(shù)增多。由于特殊圖形中每單位面積的白像素數(shù)比黑像素越多時，照射手指或指示構(gòu)件的光量越多，被手指或指示構(gòu)件反射而入射傳感器的光量越增加，因此能夠以更短時間進(jìn)行檢測。另一方面，若使白像素的比例極端增大，則干擾光與指示構(gòu)件的反射光的識別能力降低。每單位面積的白像素/黑像素之比最好為2～9的范圍。
在圖34中，若設(shè)黑像素的寬度為a，白像素的寬度為b，傳感器與拍攝對象物體最接近時的間隔為d0，則必須滿足以下的式(14)～(16)。
2≤ad0≤5···(14)]]>2≤bd0≤5···(15)]]>2≤(a+b)2-a2a2≤9···(16)]]>式(14)及式(15)表示將黑像素或白像素的寬度用d0除的值設(shè)定為2～5。2～5是通過實驗得到的經(jīng)驗值。式(6)表示將每單位面積的白像素的面積比例設(shè)定為2～9。2～9是通過實驗得到的經(jīng)驗值。
另外，特殊圖形所用的顏色不限定于白和黑。只要是拍攝對比度高的兩種顏色即可，最好考慮到傳感器的光譜特性及指示構(gòu)件的反射特性等進(jìn)行優(yōu)化?？紤]到有時外來光呈現(xiàn)特殊圖形入射顯示面，最好采用難以用外來光構(gòu)成的圖形。另外，不限于單一圖形。也可以預(yù)先準(zhǔn)備若干個攝像幀用的特殊圖形并組合使用。
圖24所示為使用多個特殊圖形進(jìn)行拍攝的例子。在圖24中，顯示方框花紋將拍攝，從攝像結(jié)果中檢索方框花紋圖形部分。在下一個攝像幀中顯示縱條紋圖形并拍攝，從攝像結(jié)果中檢索縱條紋圖形部分。
圖25所示為使用圖24的特殊圖形進(jìn)行拍攝而得到的拍攝圖像，圖25(a)所示為使用方格花紋圖形時的拍攝圖像，圖25(b)所示為使用紋條紋圖形時的拍攝圖像。如圖25所示，在近似相同位置檢測出方格花紋圖形部分與縱條紋圖形部分時，判斷為手指坐標(biāo)。如果，僅僅是某一方，則判斷為例如運氣不好是縱條紋的干擾光入射的。這樣，能夠提高手指的識別力。通過這樣，能夠進(jìn)一步降低因干擾光而引起的誤動作的概率。
特殊圖形的顏色也可以是黑與白的組合以外的顏色。也可以如圖26所示，例如用黑與白的方格花紋圖形進(jìn)行拍攝，在下一個攝像幀中，用紅與黑的方框花紋圖形進(jìn)行拍攝。由于用低溫多晶硅工藝形成的光電二極管對紅色的靈敏度比較低，因此用黑與白的方格花紋圖形的拍攝結(jié)果如圖27(a)那樣方格花紋清楚，而用紅與黑的方格花紋圖形的拍攝結(jié)果如圖27(b)那樣方框花紋模糊。另外，即使特殊圖形的顏色改變，外來干擾光的影響也不變，其理由是如圖4所示，由于在正面一側(cè)配置內(nèi)裝傳感器33的陣列基板，因此即使液晶顯示變化，但到達(dá)傳感器33的信號也不變化。順便提一下，在背面一側(cè)(背光源一側(cè))配置內(nèi)裝傳感器33的陣列基板時，由于外來光在到達(dá)傳感器之前通過液晶層，因此受到顯示產(chǎn)生的影響，有難以與手指的反射光加以區(qū)別的問題。這樣，可以有各種變形，宗旨在于在拍攝結(jié)果中，將與拍攝時的顯示條件相對應(yīng)的部分作為手指，將不相對應(yīng)的部分作為干擾。
(第9實施形態(tài))第9實施形態(tài)是如圖28所示，是在顯示幀的一部分顯示指示手指輸入位置的圖形(選擇掃鈕等)。選擇按鈕等部分成為特殊圖形。在本例中，設(shè)為方格花紋圖形。若這樣，則由于控制器6只要對選擇按鈕的顯示區(qū)進(jìn)行圖像數(shù)據(jù)的分析即可，因此處理能夠高速化。另外，能夠進(jìn)一步減少因干擾而產(chǎn)生的誤動作的概率。
本裝置產(chǎn)生誤動作的主要原因有兩種情況，(1)是有方格花紋的干擾光，(2)是該干擾光入射選擇按鈕。由于加上(2)的要求，比第7實施例不同，不需要在顯示間的間隔插入攝像用的特殊圖形。由于控制器的動作比較簡單，因此控制器的門數(shù)可以減少，能夠降低控制器的價格。
在不接受手指輸入的通常顯示中，以幀頻50Hz從控制器6將顯示數(shù)據(jù)供給玻璃基板。這時，不需要特意顯示開關(guān)等。在接受手指輸入的狀態(tài)下，如圖28所示，在顯示幀的任意位置上顯示選擇按鈕。選擇按鈕的顯示區(qū)采用特殊圖形。在本例中，設(shè)為方格花紋圖形。
如圖29所示，在顯示面上顯示任意圖形及縱向排列的三個開關(guān)，考慮用手指選擇從上向下的第2個選擇按鈕、而干擾光入射從上向下的第3個選擇按鈕的情況。圖30為從拍攝圖像中僅排出選擇按鈕的圖像。最上面的開關(guān)由于是黑的，因此能夠判斷為未被選擇。從上向下僅第3個開關(guān)由于是白的，因此能夠判斷為外來光干擾所致。從上向下第2個開關(guān)由于有方格花紋圖形，因此能夠判斷為由于指選擇的開關(guān)。這樣，能夠區(qū)別手指產(chǎn)生的指示及干擾光。
另外，特殊圖形不限于方格花紋圖形，可以有種種變形。特別圖形的顏色有考慮有各種各樣?？偠灾?，最好考慮到傳感器的光譜特性及指示構(gòu)件的反射特性等，將攝像對比度高的顏色加以組合。構(gòu)成圖形的線段的粗細(xì)與第8實施形態(tài)相同。
第1～第9實施形態(tài)都能與眾所周知的“從拍攝圖像去除噪聲的手段”、“從拍攝圖像中檢索及抽取特殊圖形的手段”等組合使用。
工業(yè)上的實用性根據(jù)本發(fā)明，由于根據(jù)用攝像單元拍攝的二值數(shù)據(jù)及周圍的亮度，檢測手或指示構(gòu)件的指示位置，因此周圍無論亮暗，都能夠進(jìn)行高精度的檢測。
權(quán)利要求
1.一種顯示裝置，能夠檢測出用人手或指示構(gòu)件指示顯示畫面規(guī)定地方，其特征在于，包括在縱橫排列設(shè)置的信號線及掃描線的各交點附近形成的顯示元件；與所述顯示元件的各顯示元件相對應(yīng)設(shè)置的、在顯示畫面上利用所述顯示元件顯示規(guī)定的顯示圖像的狀態(tài)下拍攝各自規(guī)定范圍的入射光的攝像單元；以及根據(jù)拍攝圖像，檢測與拍攝時的顯示圖像相關(guān)性強的部分作為利用手或指示構(gòu)件在顯示畫面上的指示位置的定位檢測手段。
2.如權(quán)利要求1所述的顯示裝置，其特征在于，所述顯示元件在所述拍攝時，錯開時間顯示拍攝對比度高的兩種顯示圖像，所述攝像單元在所述兩種顯示圖像分別顯示時，分別一個個地進(jìn)行拍攝。
3.如權(quán)利要求2所述的顯示裝置，其特征在于，所述兩種顯示圖像是互相顯示輝度差大的顯示圖像。
4.如權(quán)利要求3所述的顯示裝置，其特征在于，所述兩種顯示圖像的一種顯示圖像是背光源熄滅狀態(tài)下的顯示圖像。
5.如權(quán)利要求3所述的顯示裝置，其特征在于，具有通過以規(guī)定周期交替進(jìn)行顯示輝度高的狀態(tài)下的拍攝及低的狀態(tài)下的拍攝，進(jìn)行相位檢波的顯示控制電路。
6.如權(quán)利要求2所述的顯示裝置，其特征在于，所述兩種顯示圖像是包含所述攝像單元的靈敏度高的顏色的顯示圖像、以及包含所述攝像單元的靈敏度低的顏色的顯示圖像。
7.如權(quán)利要求2所述的顯示裝置，其特征在于，所述顯示元件從畫面閃爍達(dá)到人能夠識別的程度的周期，切換所述兩種顯示圖像。
8.如權(quán)利要求1所述的顯示裝置，其特征在于，所述兩種顯示圖像分別是至少兩種顏色以規(guī)定間隔及規(guī)定比例組合的圖形的圖像。
9.如權(quán)利要求8所述的顯示裝置，其特征在于，所述圖形包含拍攝對比度高的兩種顏色。
10.如權(quán)利要求9所述的顯示裝置，其特征在于，所述兩種顏色的顯示面積的比例是所述攝像單元靈敏度高的顏色一方較多。
11.如權(quán)利要求8所述的顯示裝置，其特征在于，所述圖形的最小線段是大于等于所述攝像單元與所述指示位置的最小間隔。
12.如權(quán)利要求11所述的顯示裝置，其特征在于，所述顯示元件在拍攝時顯示多種顯示形態(tài)的顯示圖像，所述攝像單元對所述多種顯示形態(tài)的顯示圖像分別進(jìn)行拍攝，所述定位檢測手段檢測所有顯示形態(tài)的拍攝圖像的相關(guān)性高的部分，作為所述指示位置。
13.如權(quán)利要求1所述的顯示裝置，其特征在于，在連續(xù)的顯示幀期間的間隔，設(shè)置攝像幀期間，所述顯示元件進(jìn)行與所述顯示幀期間相對應(yīng)的顯示、以及與所述攝像幀期間相對應(yīng)的顯示，所述攝像單元僅在所述攝像幀期間進(jìn)行攝像處理。
14.如權(quán)利要求13所述的顯示裝置，其特征在于，所述顯示元件在從所述顯示幀期間的顯示切換為所述攝像幀期間的顯示時，進(jìn)行補償所述顯示元件的響應(yīng)性用的、與空白幀相對應(yīng)的顯示。
15.如權(quán)利要求1所述的顯示裝置，其特征在于，具有生成表示用手或指示構(gòu)件應(yīng)指示的地方的指示圖像的指示圖像生成手段，所述顯示元件在畫面上顯示所述指示圖像。
16.如權(quán)利要求1所述的顯示裝置，其特征在于，包括具有所述攝像單元及所述顯示元件的第1基板、以及與所述第1基板對置的第2基板，所述第1基板配置在比所述第2基板更靠近觀察者一側(cè)。
17.一種信息終端裝置，具有內(nèi)裝圖像取入傳感器的顯示裝置，其特征在于，包括具有在所述圖像取入傳感器的拍攝圖像中能夠識別的表面形態(tài)、并用按壓顯示畫面則接觸面積增大的柔性材料形成的便攜式吊帶；以及在將所述吊帶按壓在顯示畫面的任意位置的狀態(tài)下、根據(jù)所述圖像取入傳感器得到的拍攝圖像，檢測按壓所述吊帶的位置的位置檢測手段。
18.如權(quán)利要求17所述的信息終端裝置，其特征在于，所述柔性材料是反射率大于等于50％、而且一按壓顯示面就使接觸面積增大的材料。
19.如權(quán)利要求18所述的信息終端裝置，其特征在于，所述柔性材料的表面帶有所述圖像取入傳感器容易讀取的花樣。
20.如權(quán)利要求18所述的信息終端裝置，其特征在于，所述柔性材料具有將所述圖像取入傳感器容易讀取的花樣向顯示面投影的光源。
21.如權(quán)利要求17所述的信息終端裝置，其特征在于，所述柔性材料是按壓顯示面就使接觸面積增大、而且內(nèi)部具有使來自所述顯示裝置的光反射的鏡面的透明柔性材料。
22.一種顯示裝置，能夠檢測出用人手或指示構(gòu)件指示顯示畫面任意地方，其特征在于，包括在縱橫排列設(shè)置的信號線與掃描線的各交點附近形成的顯示元件；拍攝各自在規(guī)定范圍的入射光的攝像單元；每隔多條信號線設(shè)置的、向?qū)?yīng)的多條信號線供給顯示用像素數(shù)據(jù)的D/A變換電路；在所述D/A變換電路依次對多條信號線供給像素數(shù)據(jù)的期間、利用沒有供給像素數(shù)據(jù)的信號線，從像素輸出所述攝像單元的攝像數(shù)據(jù)的放大電路；以及根據(jù)所述攝像數(shù)據(jù)檢測，利用手或指示構(gòu)件在顯示畫面上的指示位置的定位檢測手段。
23.如權(quán)利要求22所述的顯示裝置，其特征在于，所述定位檢測手段根據(jù)所述D/A變換電路供給像素數(shù)據(jù)的多條信號線中、與某一條信號線連接的像素內(nèi)的攝像數(shù)據(jù)，檢測指出位置。
24.如權(quán)利要求22所述的顯示裝置，其特征在于，所述定位檢測手段根據(jù)相鄰的多條掃描線中、與一條掃描線連接的像素內(nèi)的攝像數(shù)據(jù)，檢測指示位置。
25.如權(quán)利要求22所述的顯示裝置，其特征在于，所述定位檢測手段在所述攝像單元每次進(jìn)行拍攝時，就檢測表示指示位置的圖像，在該圖像的直徑成為最大時，判斷為用手或指示構(gòu)件用力按壓顯示面。
26.如權(quán)利要求22所述的顯示裝置，其特征在于，所述定位檢測手段包含將每條掃描線的像素數(shù)據(jù)逐次相加的多個積和運算、以及將這些積和運算的和為分子中分母進(jìn)行的除法運算。
27.如權(quán)利要求26所述的顯示裝置，其特征在于，具有在與所述顯示元件同一基板上形成的、進(jìn)行所述積和運算的第1運算電路；以及在與所述顯示元件不同的半導(dǎo)體基板上形成的、進(jìn)行所述除法運算的第2運算電路。
28.如權(quán)利要求22所述的顯示裝置，其特征在于，所述定位檢測手段在設(shè)顯示畫面沿信號線方向的像素數(shù)為X、沿掃描線方向的像素數(shù)為Y、任意像素(x，y)(這里0≤x≤X而且0≤y≤Y)的攝像數(shù)據(jù)為L(x，y)時，用式(17)求出所述手或指示構(gòu)件的中心坐標(biāo)(Ex，Ey)，而且用式(18)求出所述手或指示構(gòu)件的x方向及y方向的寬度(Vx，Vy)，Ex=Σy=0239Σx=0319xL(x,y)Σy=0239Σx=0319L(x,y)]]>Ey=Σy=0239Σx=0319yL(x,y)Σy=0239Σx=0319L(x,y)···(17)]]>Vx=Σy=0239Σx=0319(x-Ex)2L(x,y)Σy=0239Σx=0319L(x,y)]]>Vy=Σy=0239Σx=0319(y-Ey)2L(x,y)Σy=0239Σx=0319L(x,y)···(18)]]>
29.如權(quán)利要求28所述的顯示裝置，其特征在于，所述攝像數(shù)據(jù)是圖像處理過的拍攝圖像。
30.一種顯示裝置，能夠檢測出用人手或指示構(gòu)件指示顯示畫面任意地方其特征在于，包括在縱橫排列設(shè)置的信號線與掃描線的各交點附近形成的顯示元件；拍攝各自在規(guī)定范圍的入射光的攝像單元；存儲與所述攝像單元拍攝的圖像相對應(yīng)的二值數(shù)值的二值數(shù)據(jù)存儲單元；以及根據(jù)所述二值數(shù)據(jù)的邏輯變化的地方及周圍的亮度、檢測利用手或指示構(gòu)件在顯示畫面上的指示位置的定位檢測手段。
全文摘要
本發(fā)明有關(guān)的液晶顯示裝置，具有排列設(shè)置信號線及掃描線的像素陣列部分(1)、驅(qū)動信號線的信號線驅(qū)動電路(2)、驅(qū)動掃描線的掃描線驅(qū)動電路(3)、將來自傳感器的攝像數(shù)據(jù)串行輸出的信號處理輸出電路(4)、同步信號發(fā)生電路(5)。由于在使手指接的或接觸像素陣列部分(1)時，檢測攝像數(shù)據(jù)的黑白變化，而且考慮到周圍的亮度，來確定手指坐標(biāo)位置，因此周圍無論亮暗，都能夠高精度地檢測坐標(biāo)位置。另外，在進(jìn)行坐標(biāo)檢測時，由于不是檢測全部像素的攝像數(shù)據(jù)，而且沿信號線方向及掃描線方向都每隔多個像素檢測攝像數(shù)據(jù)，因此能夠縮短坐標(biāo)檢測所需要的時間。
文檔編號G02F1/133GK1768322SQ200480008909
公開日2006年5月3日 申請日期2004年3月29日 優(yōu)先權(quán)日2003年3月31日
發(fā)明者中村卓, 吉田征弘, 林宏宜, 石川美由紀(jì), 田中康晴 申請人:東芝松下顯示技術(shù)有限公司