文檔文件顯示裝置、方法和程序的制作方法
【專利摘要】根據(jù)本發(fā)明，生成大小適配于顯示單元內的行信息，其中要素圖像被布置成沿著原始圖像文件中的要素排列并且生成段落信息，其具有在滾動方向上排列的行信息。用戶可通過沿著滾動方向滾動段落信息來通讀文檔同時檢查行信息的上下文關系，并且不需要在多個方向到處滾動的同時通讀文檔。
【專利說明】文檔文件顯示裝置、方法和程序
【技術領域】
[0001]本發(fā)明涉及顯示通過使例如報紙、雜志、紙質文檔、課本和參考書等文檔成像而得到的各種內容的裝置、方法和程序。
【背景技術】
[0002]近年來隨著信息科技創(chuàng)新，建立了信息分配模式，其中，本應印刷在紙上的書例如雜質或漫畫書被數(shù)字化并且經(jīng)由智能手機等上的圖像閱覽器閱覽。
[0003]非專利文獻I和2公開了將通過成像得到的報紙滾動、放大和縮小以供用戶讀取報紙文章。
[0004]專利文獻I公開了在便攜式電話上閱覽電子郵件所附的文件的技術。
[0005]專利文獻2公開了根據(jù)便攜式終端改變文檔布局的技術。
[0006]專利文獻3公開了其中將文檔數(shù)據(jù)的布局轉換為元數(shù)據(jù)并且相應地改變布局以用于印刷的技術。
[0007]引用列表
[0008]專利文獻
[0009]專利文獻1:日本專利申請?zhí)亻_N0.2007-199983
[0010]專利文獻2:日本專利申請?zhí)亻_N0.11-122398
[0011]專利文獻3:日本專利申請?zhí)亻_N0.2008-176541
[0012]非專利文獻
[0013]非專利文獻1:“How to use Sankei NetView”，在 2011 年 4 月 13 日搜索，URL<http://www.sanke1.c0.jp/netview/howto_l.html>
[0014]非專利文獻2:“Sankei Shimbun(iPhone version):Operation Method，，,在 2011年 4 月 13 曰搜索，URL<http://www.sanke1.c0.jp/iphone/>

【發(fā)明內容】

[0015]技術問題
[0016]近年來，隨著便攜式終端的功能進步，可經(jīng)由網(wǎng)絡獲得各種數(shù)據(jù)。例如，可執(zhí)行獲得在電子郵件服務器上的電子郵件的操作和獲得在共享的服務器上的文件的操作。可在幾乎每種便攜式終端上閱覽數(shù)據(jù)格式，例如文本數(shù)據(jù)、壓縮圖像數(shù)據(jù)例如jpeg(聯(lián)合圖像專家組)和HTML數(shù)據(jù)。但是，如果待獲得的數(shù)據(jù)為結構化文檔文件格式(純文本文件以外的文檔文件，例如 Microsoft Word (注冊商標)、Microsoft Excel (注冊商標)、MicrosoftPowerPoint (注冊商標)和Adobe TOF (注冊商標))，在本情形下存在具有允許閱覽數(shù)據(jù)的應用程序的少許便攜式終端。在這些情形下，開發(fā)了即使閱覽器應用程序并未結合到便攜式終端中也允許閱覽文檔文件的技術。
[0017]例如，將請求從服務器側獲得的文檔文件呈現(xiàn)(成像)并且將成像的數(shù)據(jù)傳輸?shù)奖銛y式終端。便攜式終端使圖像再現(xiàn)，從而允許以與原始文檔文件的布局相同的布局來閱覽文檔。但是，所生成的圖像常常具有基于圖像待印刷于紙上的前提的布局。在如便攜式終端中的小顯示區(qū)域的情況下，很難說能舒服地閱覽文檔。
[0018]在PTL I中，不僅將文檔文件呈現(xiàn)和成像，而且也提取布局信息和文本信息以與圖像一起傳輸?shù)奖銛y式電話。由此，對于圖像中字符不能讀取的區(qū)域顯示文本，由此改進了閱覽可用性。為此目的，除了文本區(qū)域之外，需要判別字符類型。
[0019]在PTL 2中，根據(jù)屏幕大小改變文檔圖像的布局。但是，這不能支持通過使其中文本文檔和圖像混合在一起的辦公文檔等以與它相同的布局成像而獲得的文檔。
[0020]考慮到這些問題，做出本發(fā)明，并且本發(fā)明具有改進可視性的目的，并且當在具有較小顯示區(qū)的屏幕上由圖像閱覽器顯示具有混合在一起的圖像和文本文檔的文檔時無需判別文本字符類型。
[0021]問題的解決方案
[0022]本發(fā)明提供一種文檔文件顯示裝置，包括:顯示單元，其顯示圖像；圖像轉換單元，其將結構化的文檔文件轉換為圖像文件；布局信息檢測單元，其從由圖像轉換單元轉換的圖像文件檢測布局信息，布局信息包括構成文檔的各個要素存在的區(qū)域和要素的排列方向；要素圖像提取單元，其基于由布局信息檢測單元所檢測的布局信息從圖像文件提取要素圖像，所述要素圖像為對應于各個要素存在的區(qū)域的部分圖像；行信息生成單元，其基于由要素圖像提取單元所提取的各個要素圖像沿著要素的排列方向的大小，以適配于顯示單元內的要素圖像的集合，來生成行信息；滾動方向確定單元，其根據(jù)要素的排列方向確定由行信息生成單元所生成的行信息的滾動方向；段落信息生成單元，其通過將多條所述行信息沿著由滾動方向確定單元所確定的滾動方向布置來生成段落信息；顯示控制單元，其使得在顯示單元的顯示范圍中顯示由段落信息生成單元所生成的段落信息；以及，滾動指示單元,其指示沿著滾動方向滾動顯示段落信息，所述顯示控制單元使得沿著由滾動指示單元所指示的滾動方向在顯示單元的顯示范圍中滾動顯示段落信息。
[0023]優(yōu)選地,顯示控制單元使得縮小顯示圖像文件的全體并且也使得指示在縮小顯示的圖像中的各個文檔存在的區(qū)域的信息顯示，并且文檔文件顯示裝置還包括區(qū)域選擇單元，區(qū)域選擇單元從各個文檔存在的區(qū)域選擇所希望的文檔的存在的區(qū)域，所述布局信息檢測單元從由區(qū)域選擇單元選擇的文檔存在的區(qū)域檢測布局信息，所述布局信息包括各個要素存在的區(qū)域和要素的排列方向，并且所述顯示控制單元使得在顯示單元的第一區(qū)域中沿著由滾動指示單元指示的滾動方向在顯示單元的顯示范圍中滾動顯示對應于由區(qū)域選擇單元所選擇的文檔存在的區(qū)域的段落信息，并且在不同于顯示單元的第一區(qū)域的第二區(qū)域中縮小顯示圖像文件的全體。
[0024]優(yōu)選地，滾動方向確定單元確定正交于要素的排列方向的方向為行信息的滾動方向。
[0025]優(yōu)選地，文檔文件顯示裝置還包括:放大/縮小比率指定單元，其指定用于顯示段落信息的放大/縮小比率，其中，行信息生成單元通過遵循以放大/縮小比率指定單元所指定的放大/縮小比率放大或縮小由要素圖像提取單元所提取的各個要素圖像得到的大小，以沿著要素的排列方向適配于顯示單元內中的要素圖像的集合來生成行信息。
[0026]優(yōu)選地，行信息生成單元從行信息刪除不滿足預定標準的要素圖像。
[0027]優(yōu)選地，段落信息生成單元從段落信息刪除不滿足預定標準的行信息。[0028]優(yōu)選地，行信息生成單元在同一行信息中包括在圖像文件上的要素的排列方向上彼此相鄰的要素圖像。
[0029]優(yōu)選地，所述行信息生成單元將與不滿足預定比率的大小的前一要素圖像沿著要素方向相鄰的后一要素圖像包括在不同于前一要素圖像的行信息的行信息中。
[0030]優(yōu)選地，當通過結合不同條(piece)的行信息所得到的大小沿著要素的排列方向適配于顯示單元內時，行信息生成單元將不同的行信息統(tǒng)合為同一行信息。
[0031]優(yōu)選地，行信息生成單元生成行信息使得在換行之前緊鄰的要素圖像和在換行之后緊鄰的要素圖像并非連續(xù)的。
[0032]優(yōu)選地，段落信息生成單元在同一段落信息中包括含有在圖像文件上的滾動方向上彼此相鄰的要素圖像的信息。
[0033]優(yōu)選地，要素圖像提取單元提取通過以預定大小擴展由布局信息檢測單元所檢測的各個要素存在的區(qū)域而得到的區(qū)域作為要素圖像。
[0034]本發(fā)明提供一種文檔文件顯示方法，其包括將由信息處理設備執(zhí)行的步驟，這些步驟包括:將結構化的文檔文件轉換為圖像文件的步驟；從轉換的圖像文件檢測布局信息的步驟，布局信息包括構成文檔的各個要素存在的區(qū)域和要素的排列方向；基于檢測的布局信息從圖像文件提取要素圖像的步驟，要素圖像為對應于各個要素存在的區(qū)域的部分圖像；基于提取的各個要素圖像沿著要素的排列方向的大小，以適配于顯示圖像的顯示單元中的要素圖像的集合來生成行信息的步驟；根據(jù)要素的排列方向來確定生成的行信息的滾動方向的步驟；通過沿著確定的滾動方向來布置多條所述行信息來生成段落信息的步驟；在顯示單元的顯示范圍中顯示生成的段落信息的步驟；指示沿著滾動方向滾動顯示段落信息的步驟；以及沿著指示的滾動方向在顯示單元的顯示范圍內滾動顯示段落信息的步驟。
[0035]本發(fā)明提供一種計算機可讀的記錄介質，其上記錄有文檔文件顯示程序，程序用于使得信息處理裝置執(zhí)行所述文檔文件顯示方法。
[0036]本發(fā)明的有利效果
[0037]根據(jù)本發(fā)明，大小適配于顯示單元內的行信息由原始圖像文件中沿著要素的排列布置的要素圖像構成并且生成行信息沿著滾動方向排列的段落信息。用戶可通過僅沿著滾動方向滾動段落信息來在檢查行信息的上下文關系的同時通讀文檔，并且不需要在多個方向到處滾動的同時通讀文檔。
【專利附圖】

【附圖說明】
[0038]圖1為內容分配系統(tǒng)的示意結構的圖示。
[0039]圖2為描繪了從圖像輸出單元輸出的圖像文件的示例的圖示。
[0040]圖3為描繪了行布局信息表的圖示。
[0041]圖4為描繪了字符布局信息的圖示。
[0042]圖5為示意性地描繪了其中通過OCR得到的布局信息的狀態(tài)的圖示。
[0043]圖6為文檔分配過程的流程圖。
[0044]圖7為描繪了原始圖像的預覽顯示的示例的圖示。
[0045]圖8為描繪了選擇的文檔區(qū)域的示例的圖示。
[0046]圖9為文檔布局重配置(A7)的詳細流程圖。[0047]圖10為描繪了其中在字符的周圍部分出現(xiàn)漏失部分的字符識別區(qū)域的示例的圖
/Jn ο
[0048]圖11為描繪了其中在字符的下部出現(xiàn)漏失部分的字符識別區(qū)域的示例的圖示。
[0049]圖12為描繪了其中自OCR識別的字符的高度和寬度大小值以若干像素擴展的范圍再次被提取作為識別的字符圖像的狀態(tài)的圖示。
[0050]圖13為描繪了行信息生成的圖示。
[0051]圖14為描繪了行信息生成(分開)的圖示。
[0052]圖15為描繪了行信息生成(統(tǒng)合)的圖示。
[0053]圖16為描繪了原始圖像的示例的圖示。
[0054]圖17為描繪了用于文檔閱覽的顯示圖像的重配置的示例的圖示。
[0055]圖18為描繪了相鄰行信息的示例的圖示。
[0056]圖19為描繪了其中在保持頭行處的偏移的同時兩條或更多條行信息結合在一起的狀態(tài)的圖示。
[0057]圖20為描繪了被生成以保持在原始圖像中的換行(return)的段落信息的示例的圖示。
[0058]圖21為描繪了 OCR的常規(guī)字符布置的圖示。
具體實施例
[0059]<第一實施例>
[0060]圖1描繪了根據(jù)本實施例的優(yōu)選實施例的內容分配系統(tǒng)的結構。此系統(tǒng)包括服務器I和客戶端2。服務器I由計算機(信息處理裝置)構成，計算機包括計算裝置(CPU)、存儲裝置、輸入/輸出電路等。客戶端為信息終端，包括能夠再現(xiàn)圖像的顯示構件、通信構件、計算裝置(CPU)、存儲裝置、輸入/輸出電路、操作構件等，并且由例如智能電話或平板式計算機構成。應當指出的是不確定數(shù)量的客戶端2可訪問服務器I。
[0061]具體而言，服務器I包括文檔文件獲得單元10、圖像輸出單元11、通信單元12、通信數(shù)據(jù)控制單元13、文檔文件分析單元14和數(shù)據(jù)庫(DB) 15。
[0062]通信數(shù)據(jù)控制單元13和文檔文件分析單元14各由例如CPU的信息處理裝置構成。DB 15由例如硬盤或存儲器等的存儲介質構成。文檔文件獲得單元10、圖像輸出單元11和通信單元12各由輸入/輸出裝置、網(wǎng)絡通信裝置等構成?？捎赏ㄐ艛?shù)據(jù)控制單元13來管理通信相關的控制，例如開始和結束信息傳輸和接收。
[0063]通信數(shù)據(jù)控制單元13執(zhí)行接收數(shù)據(jù)控制和傳輸數(shù)據(jù)控制。接收數(shù)據(jù)控制包括分析由通信單元12得到的數(shù)據(jù)的過程。傳輸數(shù)據(jù)控制包括將由文檔文件分析單元14和圖像輸出單元11生成的圖像、布局信息和文本信息改變?yōu)樘囟〝?shù)據(jù)格式并且將改變后的圖像和信息傳輸?shù)酵ㄐ艈卧?2的過程。
[0064]文檔文件獲得單元10從經(jīng)由網(wǎng)絡連接的文檔存儲裝置3得到以各種格式中任何格式(例如doc、txt、pdf、ppt和xls)結構化的文檔文件。將獲得哪種文檔由客戶端2或者由用戶使用服務器I的操作構件來指定。
[0065]應來自客戶端2和服務器I的各個框的請求，圖像輸出單元11將由文檔文件獲得單元10得到的文檔文件轉換為可在客戶端2處再現(xiàn)的圖像文件格式(例如，jpg、tif或bmp)并且將轉換的文檔文件輸出到文檔文件分析單元14。圖2描繪了從圖像輸出單元11輸出的圖像文件的示例。從圖像輸出單元11輸出的圖像文件在下文中可被稱作原始圖像。
[0066]文檔文件分析單元14從由圖像輸出單元11輸出的圖像文件判別圖像區(qū)域和文本區(qū)域，并且對于每一行分析在文本區(qū)域中包括的各行上的字符(包括各種符號，例如標點符號、問號和括號)的布局。各行的字符的布局被稱作布局信息。布局信息與圖像文件一起累積在DB15中。
[0067]圖3和圖4各描繪了從文檔文件分析單元14輸出的布局信息的示例。在這些圖中，圖3描繪了行布局信息表。行布局信息表中存儲行布局信息，行布局信息指不各行的標識信息、位置(垂直位置和水平位置)和大小(寬度和高度)和行排列方向(水平或垂直)。行指具有沿著圖像文件的各個字符的讀取方向排列的字符的字符組。
[0068]區(qū)域編號表示給原始圖像中各個文檔存在的區(qū)域設置的ID。水平位置表示由區(qū)域編號指定的區(qū)域的左上坐標。垂直位置表示由區(qū)域編號指定的區(qū)域的右下坐標。寬度表示由區(qū)域編號指定的區(qū)域的寬度(沿著讀取方向的長度)。高度表示由區(qū)域編號指定的區(qū)域的高度(在正交于讀取方向的方向上的區(qū)域的長度)。字符方向表示包括于該區(qū)域中的字符的讀取方向。
[0069]圖4描繪了字符布局信息表。字符布局信息表中存儲在各行內包括的各個字符的標識信息(字符編號)、該字符所屬的行的標識信息(區(qū)域編號)、位置(垂直位置和水平位置)和大小(寬度和高度)。
[0070]字符編號表示向各個字符提供的ID。區(qū)域編號、水平位置、垂直位置、寬度和高度是行布局信息表共同的。
[0071]對于利用對應于文檔文件并且并入于圖像輸出單元11中的應用程序生成的圖像，可通過使用字符識別邏輯例如OCR (光學字符識別)準確地得到通過一應用程序的再現(xiàn)類型的文檔文件的布局信息。替代地，在文檔中的圖像區(qū)域和文本區(qū)域可由對應于文檔文件類型并且并入于圖像輸出單元11中的打印機驅動器來判別。布局信息可包括斷句位置(break position),表示文檔的諸如詞或短語的意義單位和在該意義單位中的字符數(shù)量。但是，構成文檔的字符本身并不包括在布局信息中。雖然字符本身可能有錯，可通過OCR準確地充分得到位置信息。圖5示意性地描繪了其中通過OCR得到布局信息的狀態(tài)。由結構化的文本信息來描述布局信息。
[0072]由文檔文件分析單元14分析的布局信息被與從圖像輸出單元11輸出的原始圖像相關聯(lián)地存儲在DB 15中。
[0073]在通信數(shù)據(jù)控制單元13的控制下，通信單元12將在DB 15中的原始圖像和布局信息傳輸?shù)娇蛻舳?。
[0074]客戶端2包括通信單元21、通信數(shù)據(jù)控制單元22、顯示單元23、輸入單元24、圖像處理單元25、布局處理單元26和輸入信息控制單元27。
[0075]通信數(shù)據(jù)控制單元22、圖像處理單元25、布局處理單元26和輸入信息控制單元27各由例如CPU的信息處理裝置構成。
[0076]通信數(shù)據(jù)控制單元22執(zhí)行接收數(shù)據(jù)控制和傳輸數(shù)據(jù)控制。接收數(shù)據(jù)控制包括分析歸類由通信單元21得到的數(shù)據(jù)的過程。作為分類和分析的結果，布局信息被發(fā)送到布局處理單元2，并且原始圖像被發(fā)送到圖像處理單元25。傳輸數(shù)據(jù)控制包括將例如從用戶輸入的指令等各種請求改變?yōu)樘囟〝?shù)據(jù)格式并且將改變后的請求發(fā)送到通信單元21的過程。
[0077]通信單元21由網(wǎng)絡通信裝置等構成，經(jīng)由網(wǎng)絡例如因特網(wǎng)連接到服務器I的通信單元12，并且傳輸和接收各種信息?？捎赏ㄐ艛?shù)據(jù)控制單元22來管理通信相關的控制，例如開始和結束信息傳輸和接收。
[0078]輸入單元24由用戶界面例如在顯示單元23上層壓的觸摸面板構成，并且接受各種操作，諸如滾動、放大和減小顯示的圖像，獲得后一或前一頁，獲得具有高分辨率的原始圖像，和選擇一區(qū)域。
[0079]輸入信息控制單元27解釋對應于輸入到輸入單元24的操作的指令，并且將指令發(fā)送到執(zhí)行指令所涉及的框，例如，圖像處理單元25、布局處理單元26和通信數(shù)據(jù)控制單元22。該指令包括用于如下的指令:滾動、放大和縮小顯示的圖像，獲得后一或前一頁，獲得具有高分辨率的原始圖像，和選擇一區(qū)域。響應于這些指令中的任何指令，例如圖像處理單元25使得顯示的圖像滾動、放大和縮小，對選擇區(qū)域執(zhí)行彩色高亮顯示，得到后一或前一頁，和獲得具有高分辨率的原始圖像。
[0080]圖像處理單元25處理從通信數(shù)據(jù)控制22得到的圖像數(shù)據(jù)(放大、縮小、平移和滾動)并且執(zhí)行布局重建過程。
[0081]布局處理單元26基于從圖像處理單元25得到的處理后的圖像數(shù)據(jù)和從通信數(shù)據(jù)控制單元22得到的布局信息來生成待發(fā)送給顯示單元23的顯示圖像。
[0082]布局處理單元26基于從服務器I傳輸?shù)牟季中畔⒑惋@示單元23的屬性(例如屏幕高度、屏幕寬度和分辨率)，確定包括于圖像文件中的文檔的布置。
[0083]顯示單元23由IXD監(jiān)視器等構成，并且由圖像處理單元27以集中方式進行顯示控制。
[0084]圖6為由內容分配系統(tǒng)執(zhí)行的文檔分配過程的流程圖。執(zhí)行這個過程的程序存儲于服務器I和客戶端2的存儲器中，并且由服務器I和客戶端2的各個框來執(zhí)行。在下文中，客戶端2執(zhí)行過程Al至AS并且服務器I執(zhí)行過程BI至B6。
[0085]在Al，客戶端2的輸入信息控制單元27基于到輸入單元24的輸入從累積于文檔存儲裝置3中的文檔選擇所希望的文檔文件。通信數(shù)據(jù)控制單元22經(jīng)由通信單元21請求服務器I以獲得選擇的文檔文件。例如，利用客戶端2的輸入單元24和輸入信息控制單元24從由文檔存儲裝置3提供的文件名稱列表中的URL選擇所希望的文檔文件，生成文檔獲得請求。或者，客戶端2可從累積于DB 15中的文檔選擇所希望的圖像文件并且請求服務器I獲得選擇的圖像文件。
[0086]在BI，在經(jīng)由通信單元12從客戶端2接收到文檔獲得請求后，服務器I的通信數(shù)據(jù)控制單元13進行到B2。
[0087]在B2，服務器I的通信數(shù)據(jù)控制單元13對所接收的文檔獲得請求進行分析并且分類,并且獲得客戶端I的標識信息作為請求源(例如網(wǎng)絡地址)和所請求的文檔文件的標識信息(例如文件名稱)。
[0088]在B3，服務器I的文檔文件獲得單元10從DB 15獲得對應于所請求的文檔文件的圖像文件。如果文檔文件并不存在于DB 15中，服務器I的文檔文件獲得單元10從文檔存儲裝置3獲得所請求的文檔文件，并且文檔文件在圖像輸出單元11被轉換為圖像文件。[0089]在B4，服務器I的文檔文件分析單元14分析從文檔存儲裝置3獲得的文檔文件以獲得布局信息。服務器I的文檔文件分析單元14在DB 15中與所請求的圖像文件相關聯(lián)地存儲所獲得的布局信息。
[0090]在B5，服務器I的通信數(shù)據(jù)控制單元13經(jīng)由通信單元12將所請求的文檔文件的圖像文件和與其相對應的布局信息傳輸?shù)娇蛻舳?。
[0091]在A2，客戶端2的通信數(shù)據(jù)控制單元22經(jīng)由通信單元21接收從服務器I傳輸?shù)膱D像文件和布局信息。
[0092]在A3，客戶端2的布局處理單元26分析顯示單元23的屬性(大小)、文檔放大/縮小比率、和文檔行方向。在這些信息之中，顯示單元23的屬性(大小)可預先存儲于客戶端2的ROM等中。
[0093]在A4，客戶端2對圖像文件的整個圖像執(zhí)行預覽顯示。
[0094]在A5，客戶端2經(jīng)由輸入單元24接受從預覽顯示的整個原始圖像中待顯示的文檔區(qū)域的選擇。例如，包括文檔區(qū)域Rl至R6的原始圖像在圖7中的預覽顯示上，并且將區(qū)域R2選擇為待顯示的文檔區(qū)域。通過顏色等在視覺上區(qū)分選擇的文檔區(qū)域。
[0095]在A6，客戶端2的輸入信息控制單元27判斷是否選擇了待顯示的文檔區(qū)域。若為是，則進程進行到A7。若為否，繼續(xù)等待該選擇。
[0096]在A7，客戶端2的圖像處理單元25基于顯示單元23的屬性(大小)、文檔放大/縮小比率、和文檔行方向來確定選擇的文檔區(qū)域的最佳布局，重配置包括于選擇的文檔區(qū)域中的文檔的布局。將在下文中進一步描述此過程的細節(jié)。
[0097]在AS，客戶端2的圖像處理單元25使得包括于選擇的文檔區(qū)域中的文檔以重配置的最佳布局在顯示單元23上顯示。圖像的預覽顯示區(qū)域與選擇的文檔區(qū)域中的文檔的顯示區(qū)域不同。
[0098]圖9描繪了文檔布局重配置(A7)的細節(jié)。由圖像處理單元25和布局處理單元26來執(zhí)行這個過程。
[0099]在A7-1，布局處理單元26獲得原始圖像的各個字符的布局信息。這可為作為通過服務器I的文檔文件分析單元14分析的結果而得到的布局信息，或者可為作為由客戶端2的布局處理單元26執(zhí)行類似分析的結果而得到的布局信息。
[0100]布局處理單元26基于布局信息提取在字符識別范圍中呈現(xiàn)的字符圖像(對應于字符存在的范圍的部分圖像)。
[0101]如在圖10中示例性地描繪，在OCR的字符識別中，在字符識別范圍中呈現(xiàn)的字符圖像(對應于字符存在的范圍的部分圖像)可具有偏移，并且漏失部分可能出現(xiàn)在字符的周圍部分中。特別地，如在圖11中示例性地示出，已知字符漏失部分常常出現(xiàn)在字符下部。因此，如在圖12中示例性地描繪，從OCR識別的字符的高度和寬度值以若干像素擴展的范圍被再次作為識別的字符圖像提取。此處，應當指出的是，并非識別字符本身，而是識別原始圖像上字符所存在的范圍。應當指出的是，字符圖像并非從未滿足預定大小的字符識別范圍提取，或者若提取，則刪除這樣的字符圖像。
[0102]在A7-2，布局處理單元26從識別的字符圖像的集合生成一條或多條行信息。行布置的方向遵循布局信息的字符方向。
[0103]在本文中字符方向不同于顯示圖像的滾動方向?？紤]到可操作性，滾動方向優(yōu)選地為正交于行方向的方向。進一步考慮到可操作性，滾動方向的數(shù)量優(yōu)選地為一。如果如在常規(guī)技術中存在多個滾動方向例如水平和垂直方向，通過到處滾動來閱覽文檔。這并非方便使用的。
[0104]用于為顯示單元23上的一行生成行信息的字符圖像的數(shù)量η取決于各個字符圖像的大小a”在行方向上的顯示單元23的大小b和字符放大/縮小比率C。即，當各個字符以所希望的放大/縮小比率放大或縮小，并且在不超過顯示單元23在字符方向的大小的最大范圍中保持與原始圖像的選擇的文檔相同的排列地、在行方向上排列放大/縮小后各個字符時，則這些字符的集合為一個行的行集合。一個行的字符集合的大小由滿足下式的L的最大值Lmax來表示:
[0105]L= Σ a^c^n ^b...(I)。 [0106]此處，為相鄰字符圖像的總和(行信息)。因此，
[0107]n=Lmax/ (Σ a^c)...(2)。
[0108]由于b為固定值，隨著字符放大/縮小比率c增加，在顯示單元23上每行的字符數(shù)量η相應地減少。任何放大/縮小比率c例如由用戶經(jīng)由圖7的放大/縮小按鈕B來指定。
[0109]如下來確定行信息Σ&?。例如，如在圖13中假定具有預定大小α且與漢字“商”的字符圖像(其為前一字符圖像)相鄰的區(qū)域，例如，具有“商”的字符圖像的寬度的30%的寬度的區(qū)域，部分地與漢字“品”的字符圖像存在的區(qū)域重疊。在此情況下，布局處理單元26確定與“商”的字符圖像相鄰的字符圖像為“品”的字符圖像并且這些被包括于同一行信息中。
[0110]相反，確定并不滿足預定大小的前一字符圖像和與它相鄰的字符圖像被認為是并不彼此相鄰。例如，如圖14中所描繪日語中的句號的字符圖像被認為低于預定大小α并且并不與下一個的漢字“會”的字符圖像相鄰。即，句號的字符圖像和“會”作為另一行信息分開。
[0111]但是，即使在確定了字符圖像并不彼此相鄰時，如果字符圖像在原始圖像上具有彼此共同的坐標并且通過將字符圖像結合在一起而得到的大小適配于顯示單元內23的顯示范圍，則它們被統(tǒng)合為同一行信息。例如，兩個行集合Rl和R2以日語中的逗號的字符圖像(并不滿足預定大小α )分開，但通過統(tǒng)合這些字符圖像得到的大小適配于顯示單元內23的顯示范圍，并且因此它們被認為是新的行信息R。
[0112]布局處理單元26將包括η個字符圖像的切出框設置作為原始圖像，并且切出一行的字符圖像的塊。然后，將切出的一行的字符圖像的塊沿著滾動方向布置一行。
[0113]例如，假定存在如圖16的原始圖像I并且顯示單元23每行的字符數(shù)量被計算為η=12。在此情況下，作為第一行的切出框，在原始圖像I的第一行上包括十二個字符圖像的框Tl作為該第一行的切出框設置到圖像I。之后，由在原始圖像I的第一行上包括五個字符圖像的框Τ2-1和在原始圖像I的第二行上包括七個字符圖像的框Τ2-2形成的框Τ2作為第二行的切出框設置到圖像I。之后，由原始圖像I的第二行上包括十個字符圖像的框Τ3-1和在原始圖像I的第三行上包括兩個字符圖像的框Τ3-2形成的框Τ3作為第三行的切出框設置到圖像I。之后，類似地，在第k+Ι行上的框Tk被設置為包括在前一第k行的框中并不包括的字符圖像至η個字符圖像之后的字符圖像。[0114]如在圖17中示例性地描繪，布局處理單元26沿著滾動方向布置包括于第k行上的框Tk中的部分圖像。通過以此方式重復行布置，用于在客戶端2處閱覽文檔的顯示圖像1’從原始圖像I重配置。其中顯示圖像1’并不滾動的字符方向X上的大小等于或小于顯示單元23的大小。即，關于字符方向X，即使圖像1‘的大小和顯示單元23的大小彼此不同，假定僅存在不需要在字符方向上滾動的程度的細微差異。
[0115]在A7-3，布局處理單元26從行集合之中刪除不需要的字符行。不需要的字符行指僅一個字符的行信息。這個原因是，很高概率會由于將字符的部分錯誤識別為一字符導致得到僅一個字符的行信息。但是，不需要的字符行并不限于僅一個字符的行信息。
[0116]在A7-4，布局處理單元26基于字符方向來確定滾動方向。通常，為了允許閱覽人員易于選擇待讀取的行，字符方向和滾動方向假定具有正交關系。例如，布局處理單元26從字符方向確定滾動方向使得如果字符方向為水平的則滾動方向為垂直的并且如果字符方向為垂直的則滾動方向為水平的。
[0117]布局處理單元26沿著確定的滾動方向結合彼此相鄰的行信息的條以生成段落信息。例如，如在圖18中，參考原始圖像和其字符方向，例如，包括從具有上游側的字符圖像的行信息(前一行信息Rl)的下端的預定范圍β (例如，在前一行信息Rl的字符圖像的高度的50%的范圍)中存在的字符圖像的行信息R2 (下一行信息R2)被確定為與Rl相鄰的行信息。布局處理單兀26結合相鄰的行信息Rl和R2并且將結合的行信息設置作為同一段落信息。布局處理單元26關于相鄰的行信息的條重復這種確定并且為各行信息進行結合，從而生成段落信息。
[0118]應當指出的是，如在圖19中示例性地示出，布局處理單元26可結合兩條或更多條的行信息同時保持在 行頭處的偏移。
[0119]替代地，布局處理單元26可生成行信息以便保持在原始圖像的文檔區(qū)域中的換行。即，如在圖20中示例性地描繪，當在原始圖像的選擇的文檔區(qū)域D中的行中識別出在中部具有換行的行F時，布局處理單元26并不向此行F的尾部上O的字符圖像結合在緊接著下一行L2上的第一字符圖像，并且生成行信息和段落信息Ζ，使得這些字符圖像并不在同一行信息上連續(xù)。
[0120]在Α7-5，布局處理單元26確定并且從段落信息刪除不需要的段落。根據(jù)段落區(qū)域和在段落中的字符數(shù)量來確定不需要的段落。例如，如果包括于段落中的字符區(qū)域的總和等于或小于相對于原始圖像的面積的比率(例如0.1%)，那么這個段落被確定為不需要的段落。或者，如果包括于段落中的字符數(shù)量等于或小于預定數(shù)量(例如兩個)，那么這個段落被確定為不需要的段落。即，具有極其少量字符的段落被刪除，因為不適于閱覽。
[0121]在Α7-6，布局處理單元26沿著滾動方向排列并且結合刪除不需要的段落之后的段落以重配置段落信息，并且將此作為新顯示圖像1’。然后，進程進行到AS，從而顯示該顯示圖像i'。
[0122]在字符方向上的顯示圖像1’的大小與顯示單元23的大小相同，因而無需滾動。但是，在滾動方向上的顯示圖像I,的大小可能超過顯示單元23的大小。因此，在滾動方向上的顯示圖像1’的顯示范圍被限制為顯示單元23的大小，導致部分顯示。
[0123]因此，輸入信息控制單元27接受關于由字符方向所限定的滾動方向的指令并且將指令發(fā)送給圖像處理單元25。圖像處理單元25造成顯示圖像I'根據(jù)滾動指令而滾動并且造成由滾動前移的范圍顯示。但是，輸入信息控制單元27可不接受并且可忽略關于滾動方向的任何其它指令。 [0124]當輸入信息控制單元27接受顯示圖像r的放大/縮小比率的變化時，進程返回至A7-1，從而對于改變后的放大/縮小比率最佳地重配置顯示圖像I'。
[0125]根據(jù)上文所描述的過程，生成與水平屏幕大小相同大小的行信息，使得字符圖像沿著原始圖像的字符的排列。而且，從行信息在滾動方向上排列的段落信息，生成顯示圖像 。用戶可僅通過沿著正交于字符方向的滾動方向滾動顯示圖像r來通讀文檔同時檢查上下文行關系，并且無需在多個方向到處滾動的同時來通讀文檔。
[0126]常規(guī)地，當字符本身由OCR識別并且識別的字符被排列以生成行時，出現(xiàn)下面的問題。(I)難以再現(xiàn)字符之間的細微平衡；以及(2)難以正確地布置標點符號(參考圖21)。但是，在本過程中并不出現(xiàn)這些問題，因為圖像本身被排列以重配置圖像供閱覽。
[0127]而且，根據(jù)任何指定的放大/縮小比率來重配置用于閱覽的圖像。因此，能通讀文檔同時檢查上下文行關系，甚至利用任何放大/縮小比率。
[0128]而且，在上文的描述中，文檔的語言為日語并且構成文檔的字符為平假名、片假名和漢字。但是，本發(fā)明的應用范圍并不限于此。例如，本發(fā)明的應用范圍可包括各種字符，例如中文、漢加字符、字母、西里爾字符和阿拉伯字符以用于各種語言中，例如漢語、韓語、英語、德語、法語、西班牙語、俄語和阿拉伯語。
[0129]附圖標記列表
[0130]1...服務器，2...客戶端，10...文檔文件獲得單元，11...圖像輸出單元，
12...通信單元，13...通信數(shù)據(jù)控制單元，14...文檔文件分析單元，15...DB，21...通信單元,22...通信數(shù)據(jù)控制單元,23...顯示單元,24...輸入單元,25...圖像處理單元，
26...布局處理單元，27...輸入信息控制單元
【權利要求】
1.一種文檔文件顯示裝置，包括: 顯示單元，其顯示圖像； 圖像轉換單元，其將結構化的文檔文件轉換為圖像文件； 布局信息檢測單元，其從由所述圖像轉換單元轉換的圖像文件檢測布局信息，所述布局信息包括構成文檔的各個要素存在的區(qū)域和所述要素的排列方向； 要素圖像提取單元，其基于由所述布局信息檢測單元所檢測的布局信息來從所述圖像文件提取要素圖像，所述要素圖像為對應于各個要素存在的區(qū)域的部分圖像； 行信息生成單元，其基于由所述要素圖像提取單元所提取的各個要素圖像沿著所述要素的排列方向的大小，以適配于所述顯示單元中的所述要素圖像的集合，生成行信息； 滾動方向確定單元，其根據(jù)所述要素的排列方向確定由所述行信息生成單元所生成的行信息的滾動方向； 段落信息生成單元，其通過將多條所述行信息沿著由所述滾動方向確定單元所確定的滾動方向布置來生成段落信息； 顯示控制單元，其使得在所述顯示單元的顯示范圍中顯示由所述段落信息生成單元所生成的所述段落信息；以及 滾動指示單元，其指示沿著所述滾動方向滾動顯示所述段落信息； 所述顯示控制單元使得沿著由所述滾動指示單元所指示的所述滾動方向在所述顯示單元的顯示范圍中滾動顯示所述段落信息。
2.根據(jù)權利要求1所述的文檔文件顯示裝置，其中， 所述顯示控制單元使得縮小顯示所述圖像文件的全體并且也使得顯示指示在縮小顯示的圖像中各個文檔存在的區(qū)域的信息；以及 所述文檔文件顯示裝置還包括區(qū)域選擇單元，所述區(qū)域選擇單元從各個文檔存在的區(qū)域選擇所希望的文檔存在的區(qū)域， 所述布局信息檢測單元從由所述區(qū)域選擇單元選擇的文檔存在的區(qū)域檢測所述布局信息，所述布局信息包括各個要素存在的區(qū)域和要素的排列方向；以及 所述顯示控制單元使得在所述顯示單元的第一區(qū)域中，沿著所述滾動指示單元指示的所述滾動方向，在所述顯示單元的顯示范圍中滾動顯示對應于由所述區(qū)域選擇單元所選擇的所述文檔存在的區(qū)域的段落信息，并且在不同于所述顯示單元的第一區(qū)域的第二區(qū)域中縮小顯示圖像文件的全體。
3.根據(jù)權利要求1或2所述的文檔文件顯示裝置，其中 所述滾動方向確定單元確定正交于所述要素的排列方向的方向為所述行信息的滾動方向。
4.根據(jù)權利要求1至3中任一項所述的文檔文件顯示裝置，還包括:放大/縮小比率指定單元，其指定用于顯示所述段落信息的放大/縮小比率，其中， 所述行信息生成單元通過遵循以所述放大/縮小比率指定單元所指定的所述放大/縮小比率放大或縮小由所述要素圖像提取單元所提取的各個要素圖像得到的大小，以沿著所述要素的排列方向適配于所述顯示單元中的所述要素圖像的集合生成所述行信息。
5.根據(jù)權利要求1至4中任一項所述的文檔文件顯示裝置，其中， 所述行信息生成單元從所述行信息刪除不滿足預定標準的要素圖像。
6.根據(jù)權利要求1至5中任一項所述的文檔文件顯示裝置，其中， 所述段落信息生成單元從所述段落信息刪除不滿足預定標準的行信息。
7.根據(jù)權利要求1至6中任一項所述的文檔文件顯示裝置，其中， 所述行信息生成單元在同一行信息中包括在所述圖像文件上的所述要素的排列方向上彼此相鄰的要素圖像。
8.根據(jù)權利要求7所述的文檔文件顯示裝置，其中， 所述行信息生成單元將與不滿足預定比率的大小的前一要素圖像沿著要素方向相鄰的后一要素圖像包括在不同于所述前一要素圖像的行信息的行信息中。
9.根據(jù)權利要求8所述的文檔文件顯示裝置，其中， 當通過結合不同的行信息所得到的大小沿著所述要素的排列方向適配于所述顯示單元中時，所述行信息生成單元將所述不同的行信息統(tǒng)合為同一行信息。
10.根據(jù)權利要求7或8所述的文檔文件顯示裝置，其中 所述行信息生成單元生成所述行信息，使得在換行之前緊鄰的要素圖像和在換行之后緊鄰的要素圖像并非連續(xù)的。
11.根據(jù)權利要求1至10中任一項所述的文檔文件顯示裝置，其中， 所述段落信息生成單元在同一段落信息中包括具有在所述圖像文件上的滾動方向上彼此相鄰的要素圖像的信息。
12.根據(jù)權利要求1至11中任一項所述的文檔文件顯示裝置，其中， 所述要素圖像提取單元提取通過以預定大小擴展由所述布局信息檢測單元所檢測的各個要素存在的區(qū)域所得到的區(qū)域，作為所述要素圖像。
13.一種文檔文件顯示方法，包括將由信息處理設備執(zhí)行的步驟，所述步驟包括: 將結構化的文檔文件轉換為圖像文件的步驟； 從所轉換的圖像文件檢測布局信息的步驟，所述布局信息包括構成文檔的各個要素存在的區(qū)域和所述要素的排列方向； 基于所檢測的布局信息從所述圖像文件提取要素圖像的步驟，所述要素圖像為對應于所述各個要素存在的區(qū)域的部分圖像； 基于所提取的各個要素圖像沿著所述要素的排列方向的大小，以適配于顯示圖像的顯示單元中的要素圖像的集合，來生成行信息的步驟； 根據(jù)所述要素的排列方向來確定所生成的行信息的滾動方向的步驟； 通過沿著所確定的滾動方向來布置多條所述行信息來生成段落信息的步驟； 在所述顯示單元的顯示范圍中使得顯示所生成的段落信息的步驟； 指示沿著所述滾動方向滾動顯示所述段落信息的步驟；以及 使得沿著所指示的滾動方向在所述顯示單元的顯示范圍內滾動顯示所述段落信息的步驟。
14.一種計算機可讀的記錄介質，其上記錄有文檔文件顯示程序，所述程序使得信息處理裝置執(zhí)行根據(jù)權利要求13所述的文檔文件顯示方法。
【文檔編號】G06F3/0485GK103620589SQ201280020841
【公開日】2014年3月5日 申請日期:2012年4月5日 優(yōu)先權日:2011年4月27日
【發(fā)明者】矢野浩教 申請人:富士膠片株式會社