用于平臺(tái)和圖像設(shè)備之間的通信的協(xié)議的制作方法
【技術(shù)領(lǐng)域】
[0001] 本文一般涉及計(jì)算機(jī)控制的設(shè)備，包括成像設(shè)備外圍設(shè)備，諸如打印機(jī)、監(jiān)視器或 顯示器和攝像機(jī)。
【背景技術(shù)】
[0002] 舉一些示例，諸如膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)和平板之類的常規(guī)計(jì)算機(jī)平臺(tái)可接 口成像設(shè)備，并且從成像設(shè)備接收信息。如本文中使用的"圖像設(shè)備"是能夠生成或顯示圖 像的任何設(shè)備，包括監(jiān)視器、顯示器、攝像機(jī)、圖像傳感器、打印機(jī)或傳真機(jī)。
[0003] 常規(guī)上，平臺(tái)從成像設(shè)備簡(jiǎn)單接收未加工數(shù)據(jù)，然后執(zhí)行對(duì)未加工數(shù)據(jù)的必要處 理。
【附圖說(shuō)明】
[0004] 針對(duì)下面的附圖描述一些實(shí)施例： 圖1是本發(fā)明的一個(gè)實(shí)施例的框圖； 圖2是用于本發(fā)明的一個(gè)實(shí)施例的流程圖；以及 圖3是用于本發(fā)明的另一個(gè)實(shí)施例的流程圖。
【具體實(shí)施方式】
[0005] 按照一些實(shí)施例，協(xié)議準(zhǔn)許平臺(tái)和圖像設(shè)備之間的通信。例如，這允許平臺(tái)指定該 平臺(tái)可希望的信息的特定類型、平臺(tái)可優(yōu)選的信息的格式、以及可減少平臺(tái)中的處理量的 其它信息。因此，協(xié)議可提供針對(duì)控制信息和狀態(tài)信息（諸如獲得設(shè)備能力并且改變處理 特征和行為的控制消息，以及指示可用設(shè)備特征和選項(xiàng)的狀態(tài)消息）在設(shè)備之間傳遞的標(biāo) 準(zhǔn)化的方法。例如，常規(guī)上，在姿勢(shì)識(shí)別軟件中，平臺(tái)為了識(shí)別姿勢(shì)而接收要被解析、搜索和 處理的正在進(jìn)行的視頻流。這可消耗平臺(tái)和圖像設(shè)備之間的通信帶寬，特別是在可涉及無(wú) 線通信或其它帶寬受限通信的情況中。因此，在一些實(shí)施例中，有利的是使平臺(tái)和成像設(shè)備 之間的通信能夠指定平臺(tái)所期望的那種信息，例如減少傳送總之會(huì)被簡(jiǎn)單丟棄的不必要的 數(shù)據(jù)的需要。
[0006] 類似地，諸如顯示器、監(jiān)視器、打印機(jī)或傳真機(jī)之類的任意圖像接收器可向諸如計(jì) 算機(jī)系統(tǒng)或平臺(tái)之類的圖像源指定它希望接收數(shù)據(jù)的格式。例如，需要特定數(shù)據(jù)類型、特定 數(shù)據(jù)密度、或者使用特定頁(yè)邊空白的特定協(xié)議的顯示器或打印機(jī)能夠向源指定這個(gè)信息。 隨后源能夠進(jìn)行處理以向圖像接收器提供該信息。同樣，本發(fā)明的協(xié)議實(shí)施例可包括實(shí)際 的攝像機(jī)、打印機(jī)和顯示器，以及代表攝像機(jī)和顯示器動(dòng)作的處理單元，以及在另一個(gè)設(shè)備 內(nèi)操作的虛擬攝像機(jī)、打印機(jī)和顯示器。例如，膝上型計(jì)算機(jī)設(shè)備可運(yùn)行能夠使用該協(xié)議與 真實(shí)打印機(jī)通信的虛擬攝像機(jī)，其中虛擬攝像機(jī)代表不智能的（dumb)膝上型攝像機(jī)來(lái)動(dòng) 作，并且提供智能包裝以實(shí)現(xiàn)該協(xié)議。
[0007] 同樣，在一些實(shí)施例中，圖像源能夠指定它們能夠提供的圖像數(shù)據(jù)的特性，提供備 選者以供選擇其它格式，并且從接收器設(shè)備接收關(guān)于優(yōu)選的格式的反饋。
[0008] 舉一些示例，圖像設(shè)備可包括顯示器、打印機(jī)、圖像處理器、圖像傳感器和傳真機(jī)。 在一些實(shí)施例中，這些外圍設(shè)備具有足夠的智能以執(zhí)行數(shù)據(jù)分析和運(yùn)算、并且接收命令、并 且傳遞對(duì)那些命令的響應(yīng)。因此，一般地，這些外圍設(shè)備將是基于處理器的系統(tǒng)，所述系統(tǒng) 還包括存儲(chǔ)器或存儲(chǔ)裝置。
[0009] 潛在的應(yīng)用包括面部識(shí)別、對(duì)象識(shí)別、場(chǎng)景識(shí)別、關(guān)于場(chǎng)景中的方向向量和光源的 面向知覺(jué)的信息、源設(shè)備和目標(biāo)設(shè)備的比色特性。
[0010] 作為初始示例，例如，攝像機(jī)中的圖像傳感器可包含智能，以變更所執(zhí)行的處理的 類型或者變更所生成的對(duì)應(yīng)元數(shù)據(jù)來(lái)滿足消費(fèi)終端平臺(tái)的需要。例如，一些平臺(tái)可希望所 處理的圖像元數(shù)據(jù)采取諸如以下度量的形式：興趣點(diǎn)坐標(biāo)、對(duì)象坐標(biāo)、對(duì)象計(jì)數(shù)、以及具有 或沒(méi)有視頻或其它圖像信息的其它描述符信息。諸如打印機(jī)之類的另一個(gè)成像設(shè)備可希望 沒(méi)有元數(shù)據(jù)，并且可僅請(qǐng)求以特定方式處理的未加工視頻。
[0011] 作為另一個(gè)示例，可命令智能攝像機(jī)查找具有某些特征的面部。智能打印機(jī)可讓 攝像機(jī)遞送適合該打印機(jī)的顏色空間設(shè)備模型以便最佳打印呈現(xiàn)的未加工圖像數(shù)據(jù)，同時(shí) 允許智能應(yīng)用軟件要求攝像機(jī)以每秒十幀準(zhǔn)備場(chǎng)景的三維深度圖。類似地，打印機(jī)或顯示 器可要求攝像機(jī)提供某一范圍的對(duì)象（諸如面部）的位置和區(qū)域，使得打印機(jī)或顯示器可 以以最佳方式對(duì)對(duì)象（諸如面部區(qū)域）執(zhí)行智能增強(qiáng)，以實(shí)現(xiàn)最佳觀看效果。因此，圖像捕 捉設(shè)備可以能夠識(shí)別各種各樣的對(duì)象，并且使用本文中描述的類型的標(biāo)準(zhǔn)化協(xié)議將關(guān)于對(duì) 象的信息傳輸?shù)酱蛴C(jī)或顯示器，允許打印機(jī)、顯示器或其它呈現(xiàn)設(shè)備來(lái)優(yōu)化呈現(xiàn)。
[0012] 因此，在一些實(shí)施例中，可實(shí)現(xiàn)標(biāo)準(zhǔn)化雙向協(xié)議，以允許在平臺(tái)和外圍設(shè)備之間的 用于成像數(shù)據(jù)的規(guī)范的通信。在一些實(shí)施例中，這可導(dǎo)致數(shù)據(jù)的更有效率的傳遞以及減少 不必要數(shù)據(jù)的傳遞。
[0013] 協(xié)議能夠在高層被具體化為在成像設(shè)備之間通過(guò)攝像機(jī)使用的現(xiàn)有標(biāo)準(zhǔn)硬件協(xié) 議方法雙向發(fā)送的可擴(kuò)展標(biāo)記語(yǔ)言（XML)、美國(guó)信息交換標(biāo)準(zhǔn)碼（ASCII)文本命令流，所述 現(xiàn)有標(biāo)準(zhǔn)硬件協(xié)議方法包括但不限于：通用串行總線（USB)、移動(dòng)行業(yè)處理器接口（MIPI) (規(guī)范可從MIPI聯(lián)盟公司獲得）、PCI (外圍部件互連）Express (PCIE)、3· 05規(guī)范（PCI特 殊興趣小組，Beaverton，OR 97006, 2010-10-8)，或者所述協(xié)議可以是現(xiàn)存硬件協(xié)議的擴(kuò) 展。備選地，新的硬件協(xié)議可設(shè)計(jì)為例如在MIPI、USB、PCIE中的雙向信道，或者甚至利用諸 如Η·265(高效視頻編碼，2012年2 月，可從Fraunhofe Heinrich Hertz Institute 獲得） 和CODEC格式之類的視頻標(biāo)準(zhǔn)。參見(jiàn)可從IS0/IEC運(yùn)動(dòng)圖像專家組（MPEG)獲得的Η. 265。
[0014] 使用實(shí)例包括智能協(xié)議使能打印機(jī)，其建議智能協(xié)議使能攝像機(jī)在給定每個(gè)設(shè)備 的色域時(shí)如何處理圖像以被最佳打印。另一個(gè)使用實(shí)例是智能協(xié)議使能攝像機(jī)，其能夠配 置成僅當(dāng)發(fā)現(xiàn)某個(gè)面部時(shí)生成信息，這允許面部細(xì)節(jié)（攜帶或不攜帶對(duì)應(yīng)圖像）被發(fā)送到 智能攝像機(jī)設(shè)備，其中對(duì)應(yīng)面部與要發(fā)送到平臺(tái)的坐標(biāo)和置信度匹配。該交換可涉及發(fā)送 標(biāo)準(zhǔn)化興趣集或描述符集以便搜索，諸如查找具有這些特征的面部，查找下面的姿勢(shì)、查找 下面的對(duì)象、以及僅當(dāng)找到對(duì)象時(shí)報(bào)告，然后發(fā)送坐標(biāo)、描述符信息、置信度、以及完整圖像 幀或包含該對(duì)象的幀部分。
[0015] 其它使用示例包括智能協(xié)議使能顯示器，其能夠?qū)⑵渖染_的色域圖和設(shè)備顏 色模型發(fā)送到攝像機(jī)，以使攝像機(jī)能夠生成用于該顯示器的最佳圖像。另一個(gè)應(yīng)用涉及面 部跟蹤應(yīng)用軟件，其實(shí)現(xiàn)使用通信協(xié)議將命令發(fā)送到智能協(xié)議使能攝像機(jī)傳感器芯片，以 僅請(qǐng)求面部矩形上的坐標(biāo)、連同對(duì)應(yīng)的興趣點(diǎn)和其它圖像描述符細(xì)節(jié)。作為一個(gè)附加的應(yīng) 用，三維打印機(jī)可使用通信協(xié)議和通信信道將配置命令發(fā)送到智能3D攝像機(jī)。這些配置命 令可包括用于各種三維（3D)傳感器技術(shù)（包括但不限于立體、渡越時(shí)間（TOF)、結(jié)構(gòu)光等） 的具體命令或指令。3D打印機(jī)隨后向圖像傳感器攝像機(jī)設(shè)備僅請(qǐng)求深度圖和3D三角形深 度網(wǎng)孔中的三角形的集合以及在3D三角形深度網(wǎng)孔中的每個(gè)三角形上的紋理，其中每個(gè) 多邊形的對(duì)應(yīng)顏色和深度圖使三維模型能夠被直接根據(jù)顏色信息和攝像機(jī)深度圖在三維 打印機(jī)上打印，或者3D三角形深度網(wǎng)孔，以及相同的3D三角形深度網(wǎng)孔也可通過(guò)本文中描 述的類型的標(biāo)準(zhǔn)化協(xié)議提供給3D顯示器，以在顯示器上實(shí)現(xiàn)完整3D呈現(xiàn)。
[0016] 因此，參考圖1，計(jì)算機(jī)系統(tǒng)10可包括具有存儲(chǔ)器16、處理器14和接口 18的平臺(tái) 12。接口 18可與諸如攝像機(jī)20、打印機(jī)22和監(jiān)視器24之類的成像設(shè)備接口。設(shè)備20、22 和24中的每個(gè)可以是具有硬件處理器50和內(nèi)部存儲(chǔ)裝置52的硬件設(shè)備。同樣在存儲(chǔ)器 16中存儲(chǔ)的可以是面部識(shí)別應(yīng)用26和姿勢(shì)識(shí)別應(yīng)用28。本文中描述的類型的協(xié)議將允許 設(shè)備互相編程，以執(zhí)行具體功能，例如智能打印機(jī)可將程序源代碼或可執(zhí)行代碼發(fā)送到智 能攝像機(jī)，以代表該打印機(jī)執(zhí)行具體處理。
[0017] 接口 18可實(shí)現(xiàn)各種不同接口中的一種，所述各種不同接口包括MIPI、USB、統(tǒng)一可 擴(kuò)展固件接口（UEFI) (UEFI規(guī)范，V. 2. 3. 1，2011年4月18日）、超文本標(biāo)記語(yǔ)言（HTML)、 或甚至傳輸控制協(xié)議/互聯(lián)網(wǎng)協(xié)議（TCP/IP)套接字或統(tǒng)一數(shù)據(jù)協(xié)議（UDP)數(shù)據(jù)報(bào)。其它 通信信道包括有線網(wǎng)絡(luò)和無(wú)線網(wǎng)絡(luò)。接口可實(shí)現(xiàn)協(xié)議，舉一些示例，所述協(xié)議可以是請(qǐng)求/ 響應(yīng)協(xié)議、輪詢協(xié)議、或者事件或中斷事件協(xié)議。協(xié)議還可使用命令和狀態(tài)寄存器（CSR)共 享存儲(chǔ)器或寄存器接口或流協(xié)議接口，舉一些示例，諸如TCP/IP上的套接字中的數(shù)據(jù)報(bào)、