圖像處理裝置、圖像處理方法和程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及圖像處理領(lǐng)域，具體地涉及一種用于基于拍攝圖像估計(jì)圖像中的對(duì)象 的特定區(qū)域的面積的圖像處理裝置、圖像處理方法和程序。
【背景技術(shù)】
[0002] 在一些監(jiān)視或測(cè)量應(yīng)用中，通過(guò)對(duì)處理對(duì)象進(jìn)行拍攝來(lái)獲得其圖像，然后基于該 圖像來(lái)識(shí)別對(duì)象表面的特定區(qū)域，例如來(lái)計(jì)算該特定區(qū)域的面積。由于對(duì)象通常是立體的， 因此可以采用多個(gè)攝像機(jī)從不同角度進(jìn)行拍攝以保證能夠獲取表面上的所有特定區(qū)域，但 是，多個(gè)攝像機(jī)的使用提高了處理的成本，增加了圖像處理的復(fù)雜度并且進(jìn)一步降低了處 理效率。
[0003] 作為一個(gè)應(yīng)用示例，可以采用上述技術(shù)來(lái)對(duì)水果進(jìn)行分級(jí)。由于擠壓碰撞、陽(yáng)光 灼傷、昆蟲(chóng)叮咬等原因，水果表面會(huì)出現(xiàn)各種各樣的缺陷。在水果分級(jí)的標(biāo)準(zhǔn)中，缺陷的面 積是一個(gè)重要的因素，因此可以通過(guò)估計(jì)缺陷面積來(lái)對(duì)水果進(jìn)行分級(jí)。人工對(duì)水果分級(jí)的 方法由于需要大量的人力并受到個(gè)人主觀性的影響，既費(fèi)時(shí)又不準(zhǔn)確。因此，采用上述基于 攝像機(jī)拍攝的圖像和計(jì)算機(jī)視覺(jué)技術(shù)開(kāi)發(fā)的自動(dòng)水果分級(jí)方法，得到了人們?cè)絹?lái)越多的關(guān) 注。并且，一般而言，出于價(jià)格和效率等方面的考慮，自動(dòng)水果分級(jí)系統(tǒng)中使用的攝像機(jī)數(shù) 量和采集的圖像數(shù)量都應(yīng)該盡量少。
[0004] 因此，期望提供一種簡(jiǎn)單有效的并且成本較低的圖像處理裝置和方法來(lái)實(shí)現(xiàn)特定 區(qū)域例如缺陷的面積的準(zhǔn)確估計(jì)。

【發(fā)明內(nèi)容】

[0005] 在下文中給出了關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本 理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的 關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概 念，以此作為稍后論述的更詳細(xì)描述的前序。
[0006] 鑒于【背景技術(shù)】部分所述的需求，本發(fā)明關(guān)注于如何準(zhǔn)確地估計(jì)對(duì)象表面的特定區(qū) 域的面積。此外，由于現(xiàn)有技術(shù)無(wú)法處理一個(gè)特定區(qū)域出現(xiàn)在多幅圖像中且每幅圖像中的 特定區(qū)域都不完整的情況，因此，本發(fā)明還關(guān)注于這種情況下的特定區(qū)域的面積的準(zhǔn)確估 計(jì)。其中，特定區(qū)域不完整指的是特定區(qū)域位于圖像中對(duì)象的邊界上，且該特定區(qū)域不是封 閉的。
[0007] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種圖像處理裝置，包括：特定區(qū)域檢測(cè)單元，被 配置為獲取對(duì)象的拍攝圖像，并檢測(cè)拍攝圖像中顯示的、對(duì)象的表面的所有特定區(qū)域；模型 構(gòu)建單元，被配置為基于拍攝圖像來(lái)構(gòu)建能夠體現(xiàn)對(duì)象的形狀的使用曲面方程描述的立體 模型；定位單元，被配置為在立體模型的表面上定位各個(gè)特定區(qū)域的對(duì)應(yīng)區(qū)域；以及面積 計(jì)算單元，被配置為基于立體模型計(jì)算對(duì)應(yīng)區(qū)域的面積。
[0008] 根據(jù)本發(fā)明的另一個(gè)方面，提供了一種圖像處理方法，包括：獲取對(duì)象的拍攝圖 像，并檢測(cè)拍攝圖像中顯示的、對(duì)象的表面的所有特定區(qū)域；基于拍攝圖像來(lái)構(gòu)建能夠體現(xiàn) 對(duì)象的形狀的使用曲面方程描述的立體模型；在立體模型的表面上定位各個(gè)特定區(qū)域的對(duì) 應(yīng)區(qū)域；以及基于立體模型計(jì)算對(duì)應(yīng)區(qū)域的面積。
[0009] 依據(jù)本發(fā)明的其它方面，還提供了相應(yīng)的計(jì)算機(jī)程序代碼、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì) 和計(jì)算機(jī)程序產(chǎn)品。
[0010] 通過(guò)以下結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例的詳細(xì)說(shuō)明，本發(fā)明的這些以及其他優(yōu) 點(diǎn)將更加明顯。
【附圖說(shuō)明】
[0011] 為了進(jìn)一步闡述本申請(qǐng)的以上和其它優(yōu)點(diǎn)和特征，下面結(jié)合附圖對(duì)本申請(qǐng)的具體 實(shí)施方式作進(jìn)一步詳細(xì)的說(shuō)明。所述附圖連同下面的詳細(xì)說(shuō)明一起包含在本說(shuō)明書(shū)中并且 形成本說(shuō)明書(shū)的一部分。具有相同的功能和結(jié)構(gòu)的元件用相同的參考標(biāo)號(hào)表示。應(yīng)當(dāng)理解， 這些附圖僅描述本申請(qǐng)的典型示例，而不應(yīng)看作是對(duì)本申請(qǐng)的范圍的限定。在附圖中：
[0012] 圖1是示出了根據(jù)本申請(qǐng)的一個(gè)實(shí)施例的圖像處理裝置的結(jié)構(gòu)框圖；
[0013] 圖2是示出了根據(jù)本申請(qǐng)的另一個(gè)實(shí)施例的圖像處理裝置的結(jié)構(gòu)框圖；
[0014] 圖3是示出了根據(jù)本申請(qǐng)的一個(gè)實(shí)施例的定位單元的結(jié)構(gòu)框圖；
[0015] 圖4是示出了球體在成像平面上的投影的示意圖；
[0016] 圖5是示出了球體的坐標(biāo)的示意圖；
[0017] 圖6是示出了根據(jù)本申請(qǐng)的圖像處理方法的一個(gè)實(shí)施例的流程圖；
[0018] 圖7是示出了圖6中的步驟S13的子步驟的流程圖；
[0019] 圖8是示出了根據(jù)本申請(qǐng)的圖像處理方法的另一個(gè)實(shí)施例的流程圖；以及
[0020] 圖9是其中可以實(shí)現(xiàn)根據(jù)本發(fā)明的實(shí)施例的方法和/或裝置的通用個(gè)人計(jì)算機(jī)的 示例性結(jié)構(gòu)的框圖。
【具體實(shí)施方式】
[0021] 在下文中將結(jié)合附圖對(duì)本發(fā)明的示范性實(shí)施例進(jìn)行描述。為了清楚和簡(jiǎn)明起見(jiàn)， 在說(shuō)明書(shū)中并未描述實(shí)際實(shí)施方式的所有特征。然而，應(yīng)該了解，在開(kāi)發(fā)任何這種實(shí)際實(shí)施 例的過(guò)程中必須做出很多特定于實(shí)施方式的決定，以便實(shí)現(xiàn)開(kāi)發(fā)人員的具體目標(biāo)，例如，符 合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會(huì)隨著實(shí)施方式的不同而有 所改變。此外，還應(yīng)該了解，雖然開(kāi)發(fā)工作有可能是非常復(fù)雜和費(fèi)時(shí)的，但對(duì)得益于本公開(kāi) 內(nèi)容的本領(lǐng)域技術(shù)人員來(lái)說(shuō)，這種開(kāi)發(fā)工作僅僅是例行的任務(wù)。
[0022] 在此，還需要說(shuō)明的一點(diǎn)是，為了避免因不必要的細(xì)節(jié)而模糊了本發(fā)明，在附圖中 僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的設(shè)備結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明 關(guān)系不大的其他細(xì)節(jié)。
[0023] 下文中的描述按如下順序進(jìn)行：
[0024] 1.圖像處理裝置
[0025] 2.圖像處理方法
[0026] 3.用以實(shí)施本申請(qǐng)的裝置和方法的計(jì)算設(shè)備
[0027] [1.圖像處理裝置]
[0028] 首先參照?qǐng)D1描述根據(jù)本申請(qǐng)的一個(gè)實(shí)施例的圖像處理裝置100的結(jié)構(gòu)和功能。 如圖1所示，圖像處理裝置100用于對(duì)拍攝獲得的圖像中的對(duì)象表面的特定區(qū)域的面積進(jìn) 行計(jì)算，其包括：特定區(qū)域檢測(cè)單元101，被配置為獲取對(duì)象的拍攝圖像，并檢測(cè)拍攝圖像 中顯示的、對(duì)象的表面的所有特定區(qū)域；模型構(gòu)建單元102,被配置為基于拍攝圖像來(lái)構(gòu)建 能夠體現(xiàn)對(duì)象的形狀的使用曲面方程描述的立體模型；定位單元103,被配置為在立體模 型的表面上定位各個(gè)特定區(qū)域的對(duì)應(yīng)區(qū)域；以及面積計(jì)算單元104,被配置為基于立體模 型計(jì)算對(duì)應(yīng)區(qū)域的面積。
[0029] 其中，特定區(qū)域指的是對(duì)象表面上期望檢測(cè)到的區(qū)域，該區(qū)域具有與其余區(qū)域不 同的特征并且該特征可以由計(jì)算機(jī)自動(dòng)識(shí)別。例如，可以基于顏色和/或紋理特征來(lái)預(yù)先 訓(xùn)練分類器，并使用該分類器來(lái)判斷哪些區(qū)域是特定區(qū)域。應(yīng)該理解，可以采用任何合適的 已知技術(shù)來(lái)實(shí)現(xiàn)特定區(qū)域的檢測(cè)，而不限于這里所述的示例。
[0030] 接下來(lái)，模型構(gòu)建單元102從拍攝的圖像中獲取必要的參數(shù)，并根據(jù)對(duì)象的形狀 使用相應(yīng)的曲面方程來(lái)構(gòu)建立體模型，該立體模型具有與對(duì)象相同或相近的形狀。由于對(duì) 象的形狀是已知的，因此可以預(yù)先確定使用何種曲面方程來(lái)構(gòu)建模型以及需要哪些參數(shù)。 例如，如果對(duì)象具有近似球體的形狀，則立體模型可以為球體，并且所需要的參數(shù)包括球體 的直徑和球心的位置。
[0031] 注意，這里雖然示出了球體作為立體模型的示例，但是本申請(qǐng)并不限于此，而是還 可以應(yīng)用于其他形狀，比如橢球體等。另外，曲面方程還可以是分段的或者采用數(shù)值形式表 達(dá)的等各種較為復(fù)雜的形式。
[0032] 定位單元103在立體模型的表面上找到特定區(qū)域檢測(cè)單元101檢測(cè)的各個(gè)特定區(qū) 域的對(duì)應(yīng)區(qū)域。具體地，定位單元103將特定區(qū)域在二維空間的圖像上的影像對(duì)應(yīng)到三維 空間的立體模型的表面上。從而，面積計(jì)算單元104可以基于該立體模型計(jì)算對(duì)應(yīng)區(qū)域的 面積。
[0033] 如上所述，本申請(qǐng)的圖像處理裝置100通過(guò)在三維空間中計(jì)算對(duì)象表面上的特定 區(qū)域的面積，充分利用了對(duì)象表面的幾何信息，從而可以獲得該面積的更準(zhǔn)確的估計(jì)結(jié)果。 此外，在應(yīng)用本申請(qǐng)的圖像處理裝置100時(shí)，可以減少所需要的攝像機(jī)的數(shù)量，從而降低成 本。
[0034] 此外，當(dāng)從不同角度對(duì)同一對(duì)象拍攝了多幅圖像時(shí)，在同一個(gè)特定區(qū)域出現(xiàn)在多 幅圖像上的情況下，由于定位單元103將圖像對(duì)應(yīng)到三維空間的立體模型上，因此，該特定 區(qū)域在多幅圖像上的影像將對(duì)應(yīng)到立體模型的同一位置處，從而避免了重復(fù)計(jì)算。
[0035] 圖2示出了根據(jù)本申請(qǐng)的另一個(gè)實(shí)施例的圖像處理裝置200的結(jié)構(gòu)框圖。如圖2 所示，除了參照?qǐng)D1所述的圖像處理裝置100的各個(gè)單元之外圖像處理裝置200還包括判 定單元201和合并單元202,判定單元201被配置為判定分別以不完整的形式出現(xiàn)