專利名稱：圖像處理設(shè)備、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、方法和程序。更具體地說，本發(fā)明涉及圖
像處理設(shè)備、方法和程序，借以可以根據(jù)二進(jìn)制掩模圖像(maskimage) (即二值圖像)容易地產(chǎn)生高質(zhì)量的三分圖(trimap image)(即三值圖像)。
背景技術(shù)：
用于從照片或其它數(shù)字圖像提取呈局部區(qū)域形式的對(duì)象的典型方法包 括下面所述的方法。
第一種方法被稱為圖像分割法，這是一種使用用戶的輸入產(chǎn)生二值圖 像(即二進(jìn)制掩模圖像)從而分開前景對(duì)象圖像和背景圖像的方法。用戶 首先通過用矩形或自由線(套索工具)包圍前景對(duì)象的邊界，或者通it^ 前景對(duì)象圖像和背景圖像區(qū)域內(nèi)描繪自由線(涂鴉)，來規(guī)定其想要切掉 的區(qū)域。然后提取規(guī)定的區(qū)域作為前景對(duì)象圖像。
圖形切割是用于提取前景對(duì)象圖像的另一種方法。利用圖形切割，用 戶輸入的信息被用來根據(jù)前景對(duì)象圖像和背景圖像兩者的顏色分布或像 素的顏色梯度計(jì)算構(gòu)成要被切掉的前景對(duì)象圖像的區(qū)域的邊界。然后沿著 計(jì)算的邊^(qū)HC取前景對(duì)象圖^象。(參見作者為C. Rother， V. Kolmogorov, A. Blake，名稱為"Grabcut: Interactive Foreground Extractiion using Iterated Graph Cuts"的文獻(xiàn),發(fā)表于 ACM Transactions on Graphics (SIGGRAPH，04， 2004.)
同時(shí)，存在被稱為a摳圖(alphamatting)的第二種方法，利用a摳圖， 用戶分別規(guī)定由前景對(duì)象圖像構(gòu)成的前景區(qū)域、由背景圖像構(gòu)成的背景區(qū) 域以及未知區(qū)域。然后產(chǎn)生具有分別對(duì)應(yīng)于各個(gè)區(qū)域的三個(gè)值的三值圖像 (三分圖)，并產(chǎn)生a掩模圖像。
a掩模圖像由以像素為單位表示前景對(duì)象圖像的透明度a的值(下面 也稱為a值)構(gòu)成。換句話說，阿爾法(a) ^^模圖1象是一種表示前景對(duì) 象圖像的透明度比率的比值圖像(ratio image).例如，對(duì)于構(gòu)成前景對(duì)象圖像的色彩模式(color pattern)為100%的區(qū)域內(nèi)的像素，透明度可 被設(shè)置為01 = 1，對(duì)于色彩模式為0%的區(qū)域，設(shè)置a-O,對(duì)于50%的中 間顏色，設(shè)置a-0.5。由此，便形成了其像素值表示透明度a的阿爾法掩 模圖像。因而，通過把前景對(duì)象圖像的像素,乘以對(duì)應(yīng)的阿爾法掩模圖像 中"每個(gè)像素的透明度a，可以產(chǎn)生包含前去對(duì)象圖像的提取圖像。
如上所述的用于從三值圖像產(chǎn)生阿爾法掩模圖像的 一種方法被稱為魯 棒摳圖(robust matting )。使用描繪工具或類似功能，用戶產(chǎn)生三分圖(即 三值圖像)。然后，使用根據(jù)輸入圖像中的像素值確定的約束參數(shù)，或在 未知區(qū)域的邊界附近采樣的像素顏色值，程序根據(jù)三分圖計(jì)算未知區(qū)域的 (x值。例如，對(duì)于對(duì)象，計(jì)算的a值可能是a4，對(duì)于背景，可能是a'-0。 (參見作者為Jue Wang和M.F. Cohen,名稱為"Optimized Color Sampling for Robust Matting"的文獻(xiàn),發(fā)表于Computer Vision and Pattern Recognition,2007,)

發(fā)明內(nèi)容
因?yàn)橥ㄟ^阿爾法摳圖產(chǎn)生的阿爾法掩模圖像可以比通過圖像分割產(chǎn)生 的二進(jìn)制掩模圖像更精確地表^象邊界，阿爾法掩模圖像更好地適用于 前景對(duì)象圖像提取。
不過，對(duì)于用戶，產(chǎn)生輸入的三分圖是困難而費(fèi)力的，因?yàn)槠渖婕坝?戶按照區(qū)域合適地修改描繪工具的屬性，例如畫筆顏色和濃度。
此外，三分圖的質(zhì)量極大地影響最終的阿爾法掩模圖像，因而需JM^ 定一個(gè)盡可能緊密地鄰接對(duì)象邊界的精確的未知區(qū)域。
綜上所述，雖然通過圖像分割進(jìn)行的處理能夠利用用戶平凡的輸入操 作分離背景圖像和前景對(duì)象圖像，結(jié)果得到二進(jìn)制掩模圖像，但是精確的 對(duì)象提取可能是有問題的。
在另一方面，雖然由阿爾法摳圖產(chǎn)生的阿爾法掩模圖像可以生產(chǎn)精確 的對(duì)象提取，但阿爾法摳圖涉及用戶仔細(xì)地跟隨前景對(duì)象圖像的輪廓，并
設(shè)置適合于特定邊界的畫筆濃度。因而，阿爾法摳圖涉及困難而費(fèi)力的輸 入操作。
由上述可見，特別需要提供一種能夠由二進(jìn)制掩模圖像容易地產(chǎn)生高
質(zhì)量的三分圖(三值圖像)的手段，借以能夠通it^產(chǎn)生的三值圖像進(jìn)行阿爾法摳圖來容易地產(chǎn)生阿爾法掩模圖像。
按照本發(fā)明的一個(gè)實(shí)施例的圖像處理設(shè)備包括如下三值圖像產(chǎn)生裝 置根據(jù)二值圖像產(chǎn)生由第一值到第三值構(gòu)成的三值圖像，其中二值圖像由 第一值和第二值構(gòu)成，第一值以像素為單位表示輸入圖像中的前景圖像區(qū) 域，第二值類似地表示背景圖像區(qū)域，以及其中，三值圖像的第三值表示 與前景圖像區(qū)域以及背景圖像區(qū)域二者不同地被限定的未知區(qū)域，使得所 述未知區(qū)域被限定為在前景圖像區(qū)域和背景圖像區(qū)域之間的邊界具有預(yù) 定寬度。比值圖像產(chǎn)生裝置，用于根據(jù)輸入圖像和三值圖像產(chǎn)生比值圖像， 其中比值圖像由第四值構(gòu)成，該第四值以像素為單位表示第一值的比率。 更薪裝置，其通過限定與比值圖像中的其第^值大于最小值且小于最大值 的像素相對(duì)應(yīng)的、三值圖像中的像素附近的預(yù)定范圍并且把所述限定的范 圍內(nèi)的所有像素設(shè)為所述第三值來更新所述三值圖像。確定裝置，其確定 由更新裝置更新的三值圖像是否與更新裝置更新之前的三值圖像相同或 幾乎相同。輸出裝置，其用于如果確定由更新裝置更新的三值圖像與更新 裝置更新之前的三值圖像相同或幾乎相同，則輸出更新的三值圖像。
圖像處理設(shè)備還可以被配置以進(jìn)一 步包括擴(kuò)展量P艮定裝置，其以像素 為單位來限定與比值圖像中的其第四值大于最小值且小于最大值的像素 相對(duì)應(yīng)的、三值圖像中的像素附近的范圍，所述范圍以擴(kuò)展量的形式被限 定。更新裝置通過把預(yù)定范圍內(nèi)的所有像素設(shè)置為第三值來更新所述三值 圖像，該預(yù)定范圍是通過擴(kuò)展量在與比值圖像中的其第四值大于最小值且 小于最大值的像素相對(duì)應(yīng)的、所述三值圖像中的像素附近限定的范圍。
圖像處理設(shè)備還可以被配置以進(jìn)一步包括擴(kuò)展方向限定裝置，其以像 素為單位限定與比值圖像中的其第四值大于最小值且小于最大值的像素 相對(duì)應(yīng)的、三值圖像中的像素附近的范圍，所述范圍以擴(kuò)展方向的形式被 限定。更新裝置通過把預(yù)定范圍內(nèi)的所有像素設(shè)置為第三值來更新所述三 值圖像，該預(yù)定范圍是通過擴(kuò)展方向在與比值圖像中的其第四值大于最小 值且小于最大值的像素相對(duì)應(yīng)的、所述三值圖像中的像素附近限定的范 圍。。
圖像處理設(shè)備還可以被配置以進(jìn)一步包括擴(kuò)展矢量限定裝置，其以像 素為單位限定與比值圖像中的其第四值大于最小值且小于最大值的像素 相對(duì)應(yīng)的、三值圖像中的像素附近的范圍，所述范圍以擴(kuò)展矢量的形式被 限定，所述擴(kuò)展矢量由擴(kuò)展方向和擴(kuò)展量構(gòu)成。更新裝置通過把預(yù)定范圍內(nèi)的所有像素設(shè)置為第三值來更新所述三值圖像，所述預(yù)定范圍是通過擴(kuò) 展矢量在與比值圖像中的其第四值大于最小值且小于最大值的像素相對(duì) 應(yīng)的、所述三值圖像中的像素附近限定的范圍。
圖像處理設(shè)備還可以被這樣配置，使得擴(kuò)展矢量的擴(kuò)展方向包括源自 輸入圖像或比值圖像的邊緣正切流矢量的方位，或者可替選地，包括相對(duì) 于由比值圖像中取預(yù)定比率的像素所形成的邊界垂直的方向。
圖像處理設(shè)備還可以被這樣配置，使得如果確定由更新裝置更新的三 值圖像與更新裝置更新之前的三值圖^^目同或幾乎相同，則比值圖像產(chǎn)生 裝置根據(jù)被更新裝罩更新的三值圖像和輸入圖像產(chǎn)生比值圖譯，其中該比 值圖像由以像素為4位表示第一值的比率的第四值構(gòu)成。更新裝置把與比 值圖像中的其第四值大于最小值且小于最大值的像素相對(duì)應(yīng)的、所述三值 圖像內(nèi)的像素附近的預(yù)定范圍內(nèi)的所有像素設(shè)置為第三值。
圖像處理設(shè)備還可以被這樣配置，使得在確定由更新裝置更新的三值 圖像與更新裝置更新之前的三值圖^f目同或幾乎相同之前，比值圖像產(chǎn)生
裝置和更新裝置重復(fù)地進(jìn)行處理，以使得根據(jù)被更新裝置更新的三值圖 像和輸入圖像產(chǎn)生比值圖像，其中該比值圖像由以像素為單位表示第一值 的比率的第四值構(gòu)成；以及，把與比值圖像中的其第四值大于最小值且小 于最大值的像素相對(duì)應(yīng)的、三值圖像內(nèi)的像素附近的預(yù)定范圍內(nèi)的所有像 素設(shè)置為所述第三值。
按照本發(fā)明的另 一個(gè)實(shí)施例的一種圖像處理方法用于一種圖4象處理^殳 備。所述圖像處理設(shè)備包括三值圖像產(chǎn)生裝置，用于根據(jù)二值圖像產(chǎn)生 由第一值到第三值構(gòu)成的三值圖像，其中二值圖像由第一值和第二值構(gòu) 成，所述第一值以像素為單位表示輸入圖像中的前景圖像區(qū)域，所述第二 值類似M示背景圖像區(qū)域，其中三值圖像的第三值表示與前景圖像區(qū)域 以及背景圖像區(qū)域二者不同地被P艮定的未知區(qū)域，使得所述未知區(qū)域被限 定為在前景圖像區(qū)域和背景圖像區(qū)域之間的邊界具有預(yù)定寬度；比值圖像 產(chǎn)生裝置，用于根據(jù)輸入圖像和三值圖像產(chǎn)生比值圖像，其中比值圖像由 第四值構(gòu)成，所述第四值以像素為單位表示第一值的比率；更新裝置，用 于通過限定與比值圖像中的其第四值大于最小值且小于最大值的像素相 對(duì)應(yīng)的、三值圖像中的像素附近的預(yù)定范圍并且把所述限定的范圍內(nèi)的所 有像素設(shè)為所述第三值來更新所述三值圖像；確定裝置，用于確定由更新 裝置更新的三值圖像是否與更新裝置更新之前的三值圖像相同或幾乎相同；以及輸出裝置，用于如果確定由更新裝置更新的三值圖像與更新裝置 更新之前的三值圖H4目同或幾乎相同，則輸出更新的三值圖像。該所述圖 像處理方法包括以下步驟借助于所述三值圖像產(chǎn)生裝置，根據(jù)二值圖像 產(chǎn)生由第一值到第三值構(gòu)成的三值圖像，其中二值圖f象由第一值和第二值 構(gòu)成，所述糸一值以像素為單位表示輸入圖像中的前'景圖像區(qū)域，所述第 二值類似地表示背景圖像區(qū)域，其中三值圖像的第三值表示與前景圖像區(qū) 域以及背景圖像區(qū)域二者不同地被限定的未知區(qū)域，使得所述未知區(qū)域被 限定成在前景圖像區(qū)域和背景圖像區(qū)域之間的邊M有預(yù)定寬度；借助于 比值圖像產(chǎn)生裝置，根據(jù)輸入圖像和三值圖像產(chǎn)生比值圖像，其中比值圖 像由第四值構(gòu)成，所述第四值以像素'為單位表示第一值的比率；借助于更 新裝置，通過限定與比值圖像中的其第四值大于最小值且小于最大值的像 素相對(duì)應(yīng)的、三值圖像中的像素附近的預(yù)定范圍以及把所述限定的范圍內(nèi) 的所有像素設(shè)為所述第三值來更新所述三值圖像；借助于所述確定裝置， 確定由更新裝置更新的三值圖像是否與更新裝置更新之前的三值圖斜目 同或幾乎相同；以及借助于所述輸出裝置，如果確定由更新裝置更新的三 值圖像與更新裝置更新之前的三值圖像相同或幾乎相同，則輸出更新的三 值圖像。
根據(jù)本發(fā)明另 一個(gè)實(shí)施例的程序使得在用于控制圖像處理設(shè)備的計(jì)算 機(jī)上執(zhí)行處理。該圖像處理設(shè)備包括三值圖像產(chǎn)生裝置，用于根據(jù)二值 圖像產(chǎn)生由第一值到第三值構(gòu)成的三值圖像，其中二值圖像由第一值和第 二值構(gòu)成，所述第一值以像素為單位表示輸入圖像中的前景圖像區(qū)域，所 述第二值類似地表示背景圖像區(qū)域，其中三值圖像的第三值表示與前景圖 像區(qū)域以及背景圖像區(qū)域二者不同地被限定的未知區(qū)域，使得所述未知區(qū) 域被限定為在前景圖像區(qū)域和背景圖像區(qū)域之間的邊界具有預(yù)定寬度；比 值圖像產(chǎn)生裝置，用于根據(jù)輸入圖像和三值圖像產(chǎn)生比值圖像，其中比值 圖像由第四值構(gòu)成，所述第四值以像素為單位表示第一值的比率；更新裝 置，用于通過限定與比值圖像中的其第四值大于最小值且小于最大值的像 素相對(duì)應(yīng)的、三值圖像中的像素附近的預(yù)定范圍并且把所述限定的范圍內(nèi) 的所有像素設(shè)為所述笫三值來更新所述三值圖像；確定裝置，用于確定由 更新裝置更新的三值圖像是否與更新裝置更新之前的三值圖像相同或幾 乎相同；以及輸出裝置，用于如果確定由更新裝置更新的三值圖像與更新 裝置更新之前的三值圖^^目同或幾乎相同，則輸出更新的三值圖像。該程 序的所述處理包括以下步驟借助于所述三值圖像產(chǎn)生裝置，根據(jù)二值圖像產(chǎn)生由第一值到第三值構(gòu)成的三值圖像，其中二值圖像由第一值和第二 值構(gòu)成，所述第一值以像素為單位表示輸入圖像中的前景圖像區(qū)域，所述 第二值類似地表示背景圖像區(qū)域，其中三值圖像的第三值表示與前景圖像 區(qū)域以及背景圖像區(qū)域二者不同地被限定的未知區(qū)域，使得所述未知區(qū)域
被限定為在前景圖像區(qū)域和^景圖像區(qū)域之間的邊界具有預(yù)定寬度；#助 于比值圖像產(chǎn)生裝置，根據(jù)輸入圖像和三值圖像產(chǎn)生比值圖像，其中比值 圖像由第四值構(gòu)成，所述第四值以像素為單位表示第一值的比率；借助于 更新裝置，通過限定與比值圖像中的其第四值大于最小值且小于最大值的 像素相對(duì)應(yīng)的、三值圖像中的像素附近的預(yù)定范圍以及把所述限定的范圍
內(nèi)的所有像素設(shè)為所述第三值來更新所述三值圖像;'借助于所述確定裝 置，確定由更新裝置更新的三值圖像是否與更新裝置更新之前的三值圖像 相同或幾乎相同；以及借助于所述輸出裝置，如果確定由更新裝置更新的 三值圖像與更新裝置更新之前的三值圖^^目同或幾乎相同，則輸出更新的 三值圖像。
按照本發(fā)明的一個(gè)實(shí)施例，根據(jù)二值圖像產(chǎn)生由第 一值到第三值構(gòu)成 的三值圖像，其中二值圖像由第一值和第二值構(gòu)成，第一值以像素為單位 表示輸入圖像中的前景圖像區(qū)域，第二值類似地表示背景圖像區(qū)域，以及 其中，三值圖像的第三值表示與前景圖像區(qū)域以及背景圖像區(qū)域二者不同 地被限定的未知區(qū)域，使得所述未知區(qū)域被限定為在前景圖像區(qū)域和背景 圖像區(qū)域之間的邊界具有預(yù)定寬度。然后根據(jù)輸入圖像和三值圖像產(chǎn)生比 值圖像，其中比值圖像由第四值構(gòu)成，該第四值以像素為單位表示第一值 的比率。接著，其通過限定與比值圖像中的其第四值大于最小值且小于最 大值的像素相對(duì)應(yīng)的、三值圖像中的像素附近的預(yù)定范圍并且把所述限定 的范圍內(nèi)的所有像素設(shè)為所述第三值來更新所述三值圖像。確定更新的三 值圖像是否與更新之前的三值圖傳湘同或幾乎相同。如果確定更新的三值 圖像與更新之前的三值圖^M目同或幾乎相同，則輸出更新的三值圖像。
按照本發(fā)明的實(shí)施例的圖像處理設(shè)備可以是獨(dú)立的裝置，或者是執(zhí)行 圖像處理的部件。
按照本發(fā)明的一個(gè)實(shí)施例，可能根據(jù)二進(jìn)制掩模圖像容易地產(chǎn)生高質(zhì) 量的三分圖(即三值圖像)，此外，可能通過對(duì)產(chǎn)生的三值圖像進(jìn)行阿爾 法摳圖而容易地產(chǎn)生精確的阿爾法掩模圖像。


圖1是表示可以應(yīng)用本發(fā)明的實(shí)施例的圖l象處理i更備的示例配置的方框圖2是用于說明根據(jù)輸入圖像產(chǎn)生阿爾法掩模圖像的處理的圖3是用于說明圖l中三分圖更新器的示例配置的方框圖4是用于說明圖3中的邊緣流產(chǎn)生器的示例配置的方框圖5是用于說明圖3中的像素更新器的示例配置的方框圖6是用于說明三分圖產(chǎn)生處理的第一周期的流程圖7表示示例的輸入圖《象；
圖8表示示例的二進(jìn)制掩模圖像；
圖9表示示例的三分圖IO是用于說明三分圖更新處理的流程圖11是用于說明邊緣流產(chǎn)生處理的流程圖12是用于說明邊緣流的圖13是用于說明橢圓采樣的圖14是用于說明在橢圓采樣中的采樣點(diǎn)的圖15是用于說明尺寸陣列的圖16是用于說明標(biāo)記更新處理的流程圖17是用于解釋標(biāo)記更新處理的圖18表示在重復(fù)更新之后的示例的三分圖19表示在重復(fù)更新之后的示例的阿爾法掩模圖像；以及
圖20是用于解釋個(gè)人計(jì)算機(jī)的示例配置的圖。
具體實(shí)施例方式
現(xiàn)在參照?qǐng)D4說明邊緣流產(chǎn)生器31的詳細(xì)配置。
邊緣流產(chǎn)生器31包括亮度轉(zhuǎn)換器51，水平賽貝爾(Sobd)濾波器52，垂直賽貝爾濾波器53，矢量旋轉(zhuǎn)器54以及非線性平滑處理器55。邊緣流產(chǎn)生器31根據(jù)阿爾法掩模圖像A導(dǎo)出邊緣流矢量。
亮度轉(zhuǎn)換器51把阿爾法掩模圖像A轉(zhuǎn)換成亮度圖^Xintensity image )，并把結(jié)果提供給水平賽貝爾濾波器52和垂直賽貝爾濾波器53。水平賽貝爾濾波器52應(yīng)用賽貝爾濾波處理，以便檢測(cè)亮度圖像中各個(gè)像素的水平邊緣，然后把每個(gè)像素的檢測(cè)結(jié)果提供給矢量旋轉(zhuǎn)器54。垂直賽貝爾濾波器53應(yīng)用賽貝爾濾波處理，以便檢測(cè)亮度圖像中各個(gè)像素的垂直邊緣，然后把每個(gè)像素的檢測(cè)結(jié)果提供給矢量旋轉(zhuǎn)器54。
根據(jù)來自水平賽貝爾濾波器52和垂直賽貝爾濾波器53的每個(gè)像素的濾波結(jié)果，矢量旋轉(zhuǎn)器54構(gòu)造邊緣流矢量，并將其順時(shí)針旋轉(zhuǎn)卯度。此時(shí)，來自水平賽貝爾濾波器52和垂直賽貝爾濾波器53的每個(gè)像素的濾波結(jié)果作為垂直于邊緣的微分矢量被評(píng)價(jià)。嚴(yán)格地說，關(guān)于垂直于邊緣的這些微分矢量的歸一化的形式(version)和幅值的信息被稱為"邊緣梯度流矢量"。與此相對(duì)，沿著跟隨邊緣的方向的矢量，嚴(yán)格地說，被稱為"邊緣 切向流矢量"。換句話說，邊緣梯度流矢量和邊緣切向流矢量是正交的。
因此，矢量旋轉(zhuǎn)器54通過順時(shí)針旋轉(zhuǎn)邊緣梯度流矢量卯度，把其轉(zhuǎn) 換成邊緣切向流矢量。下面，術(shù)語"邊緣流矢量"用于指邊緣切向流矢量， 但是應(yīng)當(dāng)理解，代替邊緣切向流矢量，也可以使用邊,度流矢量。關(guān)于 邊緣切向流矢量的更進(jìn)一步的細(xì)節(jié)，例如可參見作者為H. Kang, S. Lee， 和C. Chui，名稱為"CoherentLineDrawing，，的文獻(xiàn)，發(fā)表于Proc. ACM Symposium on Non-photorealistic Animation and Rendering ， 2007。
非線性平滑處理器55以非線性的方式平滑歸一化的矢量(單位幅偉的 邊緣流矢量)，使得從一個(gè)i素到一個(gè)像素這些矢量平滑地改變。然;把 平滑結(jié)果提供^^象素更新器32。
[《象素更新器的示例配置
現(xiàn)在參照?qǐng)D5說明像素更新器32的示例的詳細(xì)配置。
像素更新器32包括標(biāo)記更新器71，長(zhǎng)軸坐標(biāo)管理器72和短軸坐標(biāo) 管理器73。像素更新器32根據(jù)阿爾法掩模圖像A更新三分圖T，借以產(chǎn) 生三分圖T，。
根據(jù)基于每個(gè)像素設(shè)置的并被預(yù)先存儲(chǔ)在橢圓陣列管理器33中的橢圓 陣列信息，按照阿爾法掩模圖像A中的每個(gè)像素的透明度a的值，標(biāo)記更 新器71確定是否將給定的像素標(biāo)記為未知像素。在合適的情況下，標(biāo)記 更新器71標(biāo)記給定的像素以^L^設(shè)置的橢圓范圍內(nèi)的與其相關(guān)聯(lián)的像素 為未知像素。因而，標(biāo)記更新器71對(duì)橢圓范圍內(nèi)的像素施加標(biāo)記，同時(shí) 使用長(zhǎng)軸坐標(biāo)管理器72和短軸坐標(biāo)管理器73改變橢圓的長(zhǎng)軸和短軸的坐 標(biāo)。
三分圖產(chǎn)生處理
現(xiàn)在參照?qǐng)D6的流程圖說明三分圖的產(chǎn)生處理。
在步驟S1，輸入圖像獲取器11確定是否提供了輸入圖像I，并重復(fù)類 似的處理直到提供輸入圖像。例如，如果提供了象圖7所示的輸入圖像I， 則處理前進(jìn)到步驟S2。圖7表示一個(gè)示例的圖像，其描繪一個(gè)被置于桌 面中心的長(zhǎng)毛絨馬玩具。下面，在輸入圖像I中的長(zhǎng)毛絨馬玩具的圖像區(qū) 域被取作前景對(duì)象圖像，圖像的其余部分作為背景圖像被處理。
在步驟S2，輸入圖像獲取器11將上面輸入的輸入圖像I提供給二進(jìn)制掩模圖像產(chǎn)生器12、擴(kuò)展三分圖產(chǎn)生器13和阿爾法掩模圖像產(chǎn)生器14。 二進(jìn)制掩模圖像產(chǎn)生器12通過使用關(guān)于輸入圖〗象I中的前景對(duì)象圖像和 背景圖像中的采樣顏色的統(tǒng)計(jì)信息(即分布偏倚)分離前景對(duì)象圖像，從 而產(chǎn)生二進(jìn)制掩模甲像B。產(chǎn)生的二進(jìn)制掩模圖像B被提供，擴(kuò)展三分圖 產(chǎn)生器13。 ' '
更具體地說，當(dāng)給定一個(gè)如圖7所示的輸入圖像I時(shí)，當(dāng)把中央的長(zhǎng) 毛絨馬玩具設(shè)置為前景對(duì)象圖像時(shí)，便產(chǎn)生如圖8所示的二進(jìn)制掩模圖像 B。圖8表示由兩個(gè)值構(gòu)成的示例的二進(jìn)制掩模圖像B，使得前景對(duì)象圖 像的區(qū)域被標(biāo)記為1,而背景圖像的區(qū)域被標(biāo)記為0。換句話說，在圖8 中,'在前景對(duì)象圖像和背景圖像之間的邊界未設(shè)置一個(gè)未知區(qū)域。
在步驟S3,擴(kuò)展三分圖產(chǎn)生器13在前景對(duì)象圖像和背景圖像之間的 邊界附近設(shè)置一個(gè)預(yù)定寬度的未知區(qū)域。例如，如果把用于限定未知區(qū)域 的寬度設(shè)為w (即w個(gè)《象素的寬度)，則擴(kuò)展三分圖產(chǎn)生器13對(duì)未知區(qū) 域內(nèi)的像素施加標(biāo)記-1。擴(kuò)展三分圖產(chǎn)生器13用一種兩階段^理來導(dǎo)出 該未知區(qū)域，其中在二進(jìn)制掩模圖像B中的所有像素沿水平方向和垂直方 向被處理。
更具體地說，在第一階段，擴(kuò)&分圖產(chǎn)生器13把二進(jìn)制掩模圖像B 作為輸入，然后限定一個(gè)到要被處理的目標(biāo)像素的左邊w個(gè)像素，到要 被處理的目標(biāo)像素的右邊w個(gè)像素的范圍。然后，擴(kuò)展三分圖產(chǎn)生器13 確定在所限定的范圍內(nèi)是否具有被與中央目標(biāo)4象素不同地標(biāo)記的像素。例 如，如果存在被與目標(biāo)像素不同地標(biāo)記的像素，則擴(kuò)展三分圖產(chǎn)生器13 將目標(biāo)像素識(shí)別為被包含在未知區(qū)域中，并對(duì)其施加標(biāo)記-1 。
與此相反，如果在中夾目標(biāo)《象素的左、右各w個(gè)4象素的范圍內(nèi)沒有被 和目標(biāo)像素不同地標(biāo)記的像素，則擴(kuò)展三分圖產(chǎn)生器13保留目標(biāo)像素的 當(dāng)前標(biāo)記不變。結(jié)果，擴(kuò)展三分圖產(chǎn)生器13存儲(chǔ)由上述的水平處理導(dǎo)出 的中間三分圖Tl。
在第二階段，擴(kuò)展三分圖產(chǎn)生器13取中間三分圖Tl為輸入，然后限 定一個(gè)在待處理的目標(biāo)像素的上、下各w個(gè)l象素的范圍。與水平處理類 似，擴(kuò)展三分圖產(chǎn)生器13然后確定在所限定的范圍內(nèi)是否具有被與中央 目標(biāo)像素不同地標(biāo)記的像素。例如，如果存在被與目標(biāo)像素不同地標(biāo)記的 像素，則擴(kuò)展三分圖產(chǎn)生器13將目標(biāo)像素識(shí)別為被包含在未知區(qū)域中， 并對(duì)該目標(biāo)像素施加標(biāo)記-1。按照這樣的處理，三分圖Tl被更新，從而器13確 定在沿水平和垂直方向一個(gè)預(yù)定寬度為2w的范圍內(nèi)的包圍的像素是否被 相同地標(biāo)記。如果在該范圍內(nèi)的4象素未^L相同地標(biāo)記，則在該范圍的中央 的目標(biāo)像素被標(biāo)記為未知像素。按照這樣的處理，便產(chǎn)生了如圖9以舉例 方式示出的三分圖T,其具有在前景對(duì)象圖像和背景圖4象之間的邊界附近 設(shè)置的預(yù)定寬度的未知區(qū)域。在圖9所示的三分圖T中，標(biāo)記為1的白(即最大4象素值)區(qū)域是前 景對(duì)象圖像區(qū)域。柙記為0的黑(最小像素值)區(qū)域是背景罔像區(qū)域。標(biāo) 記為-l的灰(即中間像素值)區(qū)^U:未知區(qū)域。如圖9所示，用灰色示出 的未知區(qū)域總體上具有接近均勻的寬度。擴(kuò)展三分圖產(chǎn)生器13把這種三分圖T提供給阿爾法掩模圖像產(chǎn)生器 14、三分圖更新器15和收斂確定單元16。在步驟S4，阿爾法掩模圖像產(chǎn)生器14使用三分圖T作為基礎(chǔ)，用于 例如通過魯棒摳圖產(chǎn)生阿爾法掩模圖像A(見Wangetal.)。產(chǎn)生的阿爾 法掩模圖像A被提供給三分圖更新器15。在步驟S5，三分圖更新器15把三分圖T更新為三分圖T，，并把結(jié)果 提供給收斂確定單元16。[三分圖的更新處理現(xiàn)在參照?qǐng)DIO所示的流程圖說明三分圖的更新處理。在步驟S31，邊緣流產(chǎn)生器31導(dǎo)出每個(gè)像素的邊緣流矢量，并把結(jié)果 提供^^象素更新器32和橢圓陣列管理器33。[邊緣流產(chǎn)生處理現(xiàn)在參照?qǐng)D11所示的流程圖說明邊緣流產(chǎn)生處理。在步驟S51，亮度轉(zhuǎn)換器51把阿爾法掩模圖像A轉(zhuǎn)換成亮度圖像，并 將結(jié)果4^供給水平賽貝爾濾波器52和垂直賽貝爾濾波器53。在步驟S52，水平賽貝爾濾波器52檢測(cè)沿水平方向的邊緣，導(dǎo)出垂直 于沿圖像的水平方向的邊緣的邊緣梯度流(即微分矢量的水平分量)，并 把結(jié)果提供給矢量旋轉(zhuǎn)器54。在步驟S53,垂直賽貝爾濾波器53檢測(cè)沿垂直方向的邊緣，導(dǎo)出垂直在步驟S54，矢量旋轉(zhuǎn)器54將邊緣梯度流矢量順時(shí)針旋轉(zhuǎn)90度，從 而產(chǎn)生邊緣切向流矢量，并把結(jié)果提供給非線性平滑處理器55。在此每 個(gè)邊緣切向流矢量由呈歸一化矢量(即幅值為1的矢量)形式的水平分量 和垂直分量以及關(guān)于矢量幅值的信息構(gòu)成。如前所述，邊緣切向流矢量以 后被簡(jiǎn)稱為邊緣流矢量。在步驟S55,非線性平滑處理器55以非線性的方式平滑邊緣流矢量， 并把平滑的邊緣流矢量提供^H象素卑新器32。換句話說，作為非線性平 滑的結(jié)果，維持顯著的邊緣，同時(shí)弱(weak)邊緣被處理以使得跟隨附 近的顯著的邊緣，而不改變每個(gè)矢量的幅值。這得到其矢量取向平滑改變 的邊緣流矢量?？紤]輸入圖像類似于圖12所示的圖像P11的情況，該圖描繪一只鳥的 肖傳及其羽毛。在這種情況下，提取應(yīng)用非線性平滑之前的每個(gè)像素邊緣 流矢量的圖像，類似于圖像P12，通itXt由邊緣流矢量構(gòu)成的圖像P12應(yīng) 用非線性平滑，獲得類似于圖像P13的圖像。用這種方式，描畫邊緣流矢 量的圖像保留鳥的羽毛的輪廓的特征，并通過應(yīng)用非線性平滑，表達(dá)出羽 毛的較為平滑的輪廓。通過上述處理，導(dǎo)出每個(gè)像素的邊緣流矢量(px,py),該矢量由歸一化 的矢量元素(tx，ty)以及關(guān)于矢量幅值(mag)的信息構(gòu)成?，F(xiàn)在返回圖10所示的流程圖繼續(xù)進(jìn)fr沈明。一旦在步驟S31導(dǎo)出邊緣流矢量，在步驟S32,三分圖更新器15的橢 圓陣列管理器33便設(shè)置要被用于橢圓采樣的尺寸陣列svec。橢圓采樣可被應(yīng)用于圖13所示的像素。在圖13中，橢圓的中心被置 于三分圖T的像素PP(px，py)上，具有長(zhǎng)度為3.w的長(zhǎng)半軸a和長(zhǎng)度為w 的短半軸b，并被定位成使得長(zhǎng)軸沿著從像素PP得出的邊緣流矢量 (tx，ty)。橢圓陣列管理器33通過預(yù)先計(jì)算要被用作與短軸上的位置相關(guān)聯(lián) 地沿長(zhǎng)軸方向被設(shè)置的采樣點(diǎn)的〗象素的數(shù)量，限定尺寸陣列svec。該尺寸 按照下式計(jì)算x = V((l - y2 / b2) x a2) (1)應(yīng)當(dāng)理解，長(zhǎng)軸和短軸的長(zhǎng)度以及其它的長(zhǎng)度可以自由地被設(shè)置。更具體的說，在尺寸陣列svec中設(shè)置的釆樣點(diǎn)被假定取整數(shù)坐標(biāo)位置， 如圖14以舉例方式示出的。將討論限制于第一象限時(shí)，對(duì)于索引(index) 0具有8個(gè)釆樣點(diǎn)(由白圏表示)，其對(duì)應(yīng)于長(zhǎng)軸上b=0，因而尺寸成為8。 類似地，對(duì)于索引l具有7個(gè)采樣點(diǎn)，其對(duì)應(yīng)于短軸上的b-l，因而^寸 為7。同樣，對(duì)于索引2具者5個(gè)采樣點(diǎn)，其對(duì)應(yīng)于短軸上的b-2，'因而 尺寸為5。對(duì)于索引3具有0個(gè)采樣點(diǎn)，其對(duì)應(yīng)于短軸上的b-3，因而尺 寸為O.
這樣，橢圓陣列管理器33組合第一象限內(nèi)的索引值和尺寸之間的關(guān)系， 然后限定尺寸陣列svec，如圖15以舉例方式示出的。
在步驟^33，像素更新器32確定在阿爾法掩模圖產(chǎn)A和三分圖T內(nèi)是 否存在未被處理的像素。例如，如果存在未被處理的像素，則在步驟S34 像素更新器32將未被處理的像素之一設(shè)置為目標(biāo)像素(px，py)。
在步驟S35，確定阿爾法掩模圖像A中的目標(biāo)像素的透明度a是否大于 最小值Th一min,此外，還確定透明度a是否小于最大值Th一max。換句 話說，在f驟S35，確定被明確地作為目標(biāo)被處理的像素是否既不屬于前 景對(duì)象圖像，也不屬于背景圖像。
如果在步驟S35目標(biāo)像素的透明度a大于最小值Th一 min并小于最大 值Th一max (即像素既不屬于前景對(duì)象圖像，也不屬"f背景圖像)，則處 理前iii'J步驟S36。
在步驟S36,像素更新器32更新由目標(biāo)像素規(guī)定的三分圖T上的橢圓 范圍內(nèi)所有《象素的標(biāo)記，并把該范圍內(nèi)的像素標(biāo)記為未知像素。
[標(biāo)記更新處理
現(xiàn)在參照?qǐng)D16所示的流程圖說明標(biāo)記更新處理。
在步驟S71,標(biāo)記更新器71控制短軸坐標(biāo)管理器73把短軸計(jì)數(shù)器設(shè) 置為短軸長(zhǎng)度w的負(fù)值(t=-w )。
在步驟S72,短軸坐標(biāo)管理器73確定計(jì)數(shù)器t是否小于或等于短軸長(zhǎng) 度w。例如，如果計(jì)數(shù)器t小于或等于w，則處理前進(jìn)到步驟S73。
在步驟S73，標(biāo)記更新器71計(jì)算
bx = px + tx x t
by = py + ty x t (2)以便確定相對(duì)于三分圖T中目標(biāo)像素(px，py)要被設(shè)置為未知像素的橢圃 范圍內(nèi)的像素的位置(bx,by)。
'在此，bx和by是圖17以舉例方式示出的采樣點(diǎn)(黑圏)之一的坐標(biāo) (bx，by)。釆樣點(diǎn)由目標(biāo)像素(px，py)限定，并位于橢圓范圍內(nèi)的t軸上。此 外，tx,ty是源自目標(biāo)像素(px，py)的邊緣流矢量的Sx軸以及Sy軸分量。 此外，t是計(jì)數(shù)器t的值。
換句話說，在步驟S73的處理中，跟隨計(jì)數(shù)器t的采樣點(diǎn)連續(xù)地取采 樣點(diǎn)Sp7，Sp6，Sp5，Sp4，…,和,Spl的位置，如圖17所示。在圖17中，目標(biāo) 像素(px,py)是像素TP，其被示出為三分圖T上的方格單元，^示為黑 團(tuán)的采樣點(diǎn)Sp4屬于所述目標(biāo)像素。
在步驟S74，長(zhǎng)軸坐標(biāo)管理器72針對(duì)存儲(chǔ)在橢圓陣列管理器33中的 尺寸陣列svec訪問橢圓陣列管理器33，并讀出對(duì)于等于計(jì)數(shù)器t的絕對(duì) 值的索引所規(guī)定的尺寸(svec[abs(t))。長(zhǎng)軸坐標(biāo)管理器72然后對(duì)讀出的尺 寸(svec[abs(t))冠以負(fù)號(hào)，并把該值定義為計(jì)數(shù)器s。換句話^L,對(duì)應(yīng)于 由計(jì)數(shù)器t設(shè)置的索引的尺寸的負(fù)值被從沿長(zhǎng)軸限定的尺寸當(dāng)中取出，并 把該值定義為計(jì)數(shù)器s的值。
在步驟S75,長(zhǎng)軸坐標(biāo)管理器72確定計(jì)數(shù)器s是否小于或等于在橢圓 陣列管理器33中存儲(chǔ)的尺寸陣列svec中的與計(jì)數(shù)器t的絕對(duì)值相等的索 引所對(duì)應(yīng)的尺寸(svec[abs(t))。
換句話說，計(jì)數(shù)器s和t分別表示s軸和t軸上的坐標(biāo)，在這些軸上具 有對(duì)應(yīng)于要被設(shè)置為未知像素的像素的位置的采樣點(diǎn)(s軸和t軸是流矢量 (tx，ty)的軸)。為此，在步驟S75，確定在對(duì)應(yīng)于當(dāng)前計(jì)數(shù)器t的位置處 在垂直于t軸(因而平行于s軸)的線上限定的采樣點(diǎn)的s軸坐標(biāo)當(dāng)中， 計(jì)數(shù)器s是否小于或等于橢圓范圍內(nèi)的最大值，如圖17所示。
例如，如果計(jì)數(shù)器t是O,則對(duì)于索引0，尺寸成為svec[Ol或8，如圖 15所示。從而，確定計(jì)數(shù)器s是否已經(jīng)達(dá)到圖17所示的s軸上的范圍內(nèi) 的最右邊的采樣點(diǎn)。換句話說，確定計(jì)數(shù)器s是否等于處于由橢圓限定的 范圍內(nèi)的最大采樣點(diǎn)(s,t) = (8， 0)的左方(在s軸上)的坐標(biāo)位置r
如果計(jì)數(shù)器s小于在步驟S75由尺寸陣列svec返回的(svec[abs(t))，則 處理進(jìn)行到步驟S76。 23在步驟S76，例如估算下式
sx= round(bx + tx xs)
sy=round (by +ty xs) (3 )
以便設(shè)置橢圓范圍內(nèi)的目標(biāo)位置(sx，sy )。 '
在此，round(x)表示丟棄x的小數(shù)點(diǎn)以后的操作。目標(biāo)位置(sx, sy)是含有沿著s軸限定的采樣點(diǎn)(即白圏)的像素的坐標(biāo)，由圖17中的方格表示。換句話說，作為在步驟S76的處理結(jié)果，確定在三分圖T上的(Sx，Sy)空間內(nèi)的對(duì)應(yīng)于(s，t)空間內(nèi)的采樣點(diǎn)的4象素的坐標(biāo)。
'在步驟S77，標(biāo)記更新器71把三分圖T h的位于對(duì)應(yīng)于采樣點(diǎn)(s，t)的坐標(biāo)位置(sx，sy)的像素標(biāo)記為-l, i^示該像素是未知〗象素。把結(jié)果輸出到更新三分圖輸出單元34.
在步驟S78，長(zhǎng)軸坐標(biāo)管理器72使計(jì)數(shù)器加一，處理返回步驟S75。換句話說，重復(fù)步驟S75-S78的處理，直到在步驟S75確定計(jì)數(shù)器s不小于或等于由尺寸陣列返回的svec[abs(t)的值。
在步驟S75，如果確定計(jì)數(shù)器s不小于或等于由尺寸陣列返回的svec[abs(t)的值(即，如果確定計(jì)數(shù)器s已經(jīng)超過由采樣點(diǎn)限定的橢圓范圍)，則處理前進(jìn)到步驟S79。在步驟S79,短軸坐標(biāo)管理器73使計(jì)數(shù)器t加一，處理返回步驟S72。然后重復(fù)步驟S72-S79的處理，直到在步驟S72確定計(jì)數(shù)器t不小于或等于w。
當(dāng)在步驟S72確定計(jì)數(shù)器t不小于或等于短軸長(zhǎng)度w (即計(jì)數(shù)器已經(jīng)超過w)時(shí)，則結(jié)束處理。
綜上所述，考慮這樣的情況其中在三分圖T上的被用作處理目標(biāo)的像素是對(duì)應(yīng)于例如圖17所示的橢圓范圍內(nèi)的采樣點(diǎn)Sp4的像素Tp。在這種情況下，設(shè)置一個(gè)橢圓作為用于處理的目標(biāo)范圍。然后，由管理短軸上的坐標(biāo)的計(jì)數(shù)器t把t軸上的一個(gè)采樣點(diǎn)按照以下這種順序相繼地設(shè)置為采樣點(diǎn)Sp7， Sp6， ...，Spl。此外，在s軸上的對(duì)應(yīng)于t軸上的位置的采樣點(diǎn)^L相繼M左到右i殳置。然后i史置的采樣點(diǎn)所屬于的三分圖T上的像素(即圖17中M示為有陰影的單元方塊的像素)被更新為使得它們的標(biāo)i己變?yōu)?l， il^示這些《象素是未知〗象素。
結(jié)果，在三分圖T上選^r要被處理的目標(biāo)像素，然后以該目標(biāo)像素為中心這樣確定預(yù)定范圍的橢圓范圍，使得其長(zhǎng)軸與源自目標(biāo)i象素的邊緣流矢量的取向?qū)R。然后把該橢圓范圍內(nèi)的像素設(shè)置為未知像素。因而，便
能確定明確地不屬于前景對(duì)象圖像或背景圖像的三分圖T上的目標(biāo)像素，這使得相對(duì)于邊緣流矢量被加權(quán)的包圍的范圍內(nèi)的像素被設(shè)置為未知像素。
現(xiàn)在返回圖10所示的流程圖進(jìn)#^兌明。
在步驟S35，如果確定阿爾法掩模圖像A中的目標(biāo)像素的透明度a不大于最小值Tl^min或不小于最大值Tl^max，則跳過步驟S36的處理，并把處理返回;驟S33。換句話說，當(dāng)阿爾法掩模圖像中的像素屬于前景對(duì)象圖像或背景圖像時(shí)，跳過步驟S36的處理。 ，
結(jié)果，步驟S33到步驟S36的處理被重復(fù)，直到在步驟S33確定所有像素都已被處理。在阿爾法掩模圖像A的像素當(dāng)中，只有既不屬于前景對(duì)象圖像區(qū)域也不屬于背景圖像的那些像素被標(biāo)記為未知像素。
當(dāng)在步驟S33確定所有像素都已被處理時(shí)，處理前進(jìn)到步驟S37。
在步驟S37,更新三分圖輸出單元34把其中存儲(chǔ)的更新的三分圖T，提供給收斂確定單元16'
換句話說，對(duì)應(yīng)于阿爾法掩模圖像A中的既不屬于前景對(duì)象圖像也不屬于背景圖像的像素的三分圖T中的像素被這樣更新,使得由相應(yīng)的目標(biāo)像素的邊緣流矢量設(shè)置的橢圓范圍內(nèi)的所有4象素都被標(biāo)記為未知像素。
現(xiàn)在返回圖6的流程圖進(jìn)^"i兌明。
在步驟S6，收斂確定單元16比較被三分圖更新器15更新之前的三分圖T和被三分圖更新器15更新的三分圖T，，并確定這兩個(gè)圖像是否相同或近似相同。例如，如果確定這兩個(gè)圖像不相同或者不近似相同，則處理前進(jìn)到步驟S7。
在步驟S7，收斂確定單元16確定步驟S5到S7的處理是否已被執(zhí)行了規(guī)定的次數(shù)。如果確定尚未執(zhí)行規(guī)定次數(shù)的處理，則前進(jìn)到步驟S8。
在步驟S8,收斂確定單元16存儲(chǔ)更新的三分圖T，作為最近的三分圖T，并把該三分圖T提供給阿爾法掩模圖像產(chǎn)生器14。
在步驟S9，阿爾法掩模圖像產(chǎn)生器14通過對(duì)由收斂確定單元16提供的三分圖T進(jìn)行魯棒摳圖產(chǎn)生新的阿爾法掩模圖像A。該新的阿爾法掩模圖像A被提供給三分圖更新器15,然后處理返回步驟S5。換句話說，重復(fù)步驟S5到S9的處理，直到由三分圖更新器15更新之前的三分圖T和更新的三分圖T，彼此相同或幾乎相同，或者可替選地，直到步驟S5到S9的處理被執(zhí)行預(yù)定的次數(shù)。此夕卜，對(duì)于第一次之后的每次執(zhí)行，阿爾法掩模圖像產(chǎn)生器l4不根據(jù)擴(kuò)展三分甲產(chǎn)生器l3產(chǎn)生的三分圖T產(chǎn)主阿爾法掩模圖像A,而是根據(jù)被代入作^三分圖T的最近更新的三分圖T，來產(chǎn)生阿爾法掩模圖像A。
接著，在重復(fù)步驟S5-S9的處理之后，如果在步驟S6確定更新前的三分圖T和更新后的三分圖T，相同或近似相同，則處理前進(jìn)到步驟SIO?？商孢x地，在重復(fù)步驟S5-S9的處理之后，如果在步驟S7確定步驟S5-S9的處理已被執(zhí)行規(guī)定的次數(shù)，則同樣地前進(jìn)到步驟S10 。
在步驟SIO，收斂確定單元16把三分圖T，作為三分圖T提供給輸出單元17。此時(shí)，收斂確定單元16與同時(shí)接收的阿爾法掩模圖像A相結(jié)合地把三分圖提供給輸出單元17。然后輸出單元17輸出接收的三分圖T和阿爾法^^模圖〗象A。
作為上述的結(jié)果，重復(fù)進(jìn)行處理，以便根據(jù)阿爾法掩模圖像A中每個(gè)像素的透明度o^三分圖T中的像素設(shè)置為未知像素。受影響的像素是由橢圓限定的預(yù)定范圍內(nèi)的、對(duì)應(yīng)于既不屬于前景對(duì)象圖像又不屬于背景圖<象的那些<象素的<象素。
例如，為進(jìn)行橢圓采樣最初限定的橢圓范圍可以是小的，但是通過隨后重復(fù)上述處理，在其中未知像素被限定的范圍一般隨著三分圖更新處理的每次重復(fù)而變大。
更具體地說，對(duì)應(yīng)于圖7所示的輸入圖像I的初始三分圖T可以如同圖9以舉例方式示出的那樣，其中在前景對(duì)象圖像和背景圖像之間的邊界的寬度幾乎全部是均勻的。
不過，以灰色所示的其中定義未知像素的區(qū)域隨著上述步驟5-步驟9的處理的重復(fù)而變大。例如，大約20次重復(fù)產(chǎn)生如圖18所示的三分圖。如果用這種方式使處理重復(fù)規(guī)定的次數(shù),用于更新三分圖T的阿爾法掩模圖像A便成為如圖19以舉例方式示出的那樣。根據(jù)圖19中的阿爾法掩模圖像A，三分圖T在更新之后幾乎不呈現(xiàn)變化。用這種方式， 一旦三分圖達(dá)到通過更新不變化的狀態(tài)，其中像素既不屬于前景對(duì)象圖像也不屬于背景圖像的中間透明度a值的范圍(即定義三分圖T中未知像素的范圍)便成為可接受的。因而，可能作為以下操作的結(jié)果來定義最佳的未知區(qū)域定義一個(gè)三分圖T、通過對(duì)三分圖T的魯棒摳圖產(chǎn)生阿爾法掩模圖像A、根據(jù)阿爾法掩模圖像A和邊緣流矢量重復(fù)更新三分圖T為三分圖T，的處理、以及最終更新三分圖T。
當(dāng)擴(kuò)展未知像素的范圍時(shí)，從中心延伸的歐幾里德(Euclidean)距離(對(duì)于圓圏)或曼哈頓(Manhattan)距離(對(duì)于方塊)通常被用來進(jìn)行相對(duì)于目標(biāo)像素?cái)U(kuò)展固定的量的典型的區(qū)域擴(kuò)展。
不過，在其輪廓具有復(fù)雜邊緣的對(duì)象的情況下，優(yōu)選的是進(jìn)行在邊緣流矢量的方，向被加權(quán)的擴(kuò)展。為此，在上述處理中，豫用沿一個(gè)方向具有膨脹的分布的橢圓采樣。
此外，上面說明了一個(gè)例子，其中更新處理被重復(fù)，直到三分圖T和更新的三分圖T，變得相同或幾乎相同，或者可替選地，直到執(zhí)4亍規(guī)定次數(shù)的所述處理。不過，例如如果縮短的計(jì)算時(shí)間比圖像質(zhì)量更重要，則執(zhí)行更新處理的規(guī)定的數(shù)量可被設(shè)置為小的數(shù)。例如，規(guī)定的次數(shù)可以是l。
例如，如果更新處理被執(zhí)行一次，則三分圖對(duì)應(yīng)于圖6中步驟S3的處理結(jié)果，因而,具有均勻?qū)挾鹊奈粗断笏氐姆秶杀籭更置在二進(jìn)制4^模圖像B中前景對(duì)象圖像和背景圖像之間的邊界。在這種情況下，因?yàn)閷扟LA均勻的，不可能產(chǎn)生高質(zhì)量的三分圖，不過可以減少計(jì)算時(shí)間。
此外，在上面的說明中，當(dāng)擴(kuò)展三分圖T中的未知像素的寬度時(shí)，使用阿爾法掩模圖像A的邊緣切向流矢量。使用該矢量，以使得加權(quán)的橢圓范圍的長(zhǎng)半軸沿該矢量的取向設(shè)置。這樣，利用沿矢量方向施加的加權(quán)來擴(kuò)展未知區(qū)域。不過，除去上述之外，還可以通過限定垂直于二進(jìn)制掩模圖像B中的前景對(duì)象圖像和背景圖像之間的邊界被加權(quán)的范圍來擴(kuò)展未知區(qū)域。
此外，可以根據(jù)RGB或類似的輸入圖像而不根據(jù)阿爾法掩模圖像A導(dǎo)出上述的邊緣切向流矢量。
還可以根據(jù)前景對(duì)象圖像和背景圖像的似然圖(likelihood map)圖像而不根據(jù)阿爾法掩模圖像A來導(dǎo)出邊緣切向流矢量。這里所謂的似然像例如可以作為圖形切割處理的中間結(jié)果而皿得，這是一個(gè)含有表示輸入圖像中的每個(gè)像素是否可能屬于前景對(duì)象圖4象或背景圖像的值的圖(見C. Rother等)。上面說明了一個(gè)例子，其中當(dāng)在圖10的步驟S35確定目標(biāo)1象素的透明 度cc大于最小值Th—min并小于最大值Th_max時(shí)利用像素標(biāo)記-1更新該
目標(biāo)像素。不過，1^去上述之外，也可以i樣更新目標(biāo)像素的標(biāo)記，使得
當(dāng)泮明度ct小于最小值Th一min時(shí)把標(biāo)記設(shè)竿為0,而當(dāng)透明度a大于最大 值Th—max時(shí)把標(biāo)記i殳置為1 。 '
上面還說明了 一個(gè)例子，其中在初始階段產(chǎn)生具有相對(duì)窄的寬度的三 分圖T，然后把寬度重復(fù)地?cái)U(kuò)展。不過，在對(duì)應(yīng)于步驟S3的產(chǎn)生初始三 分圖T的處理中，未知區(qū)域可以科目對(duì)寬的寬度，則三分圖T可被這樣 更新，以使得未知區(qū)域被重復(fù)地減小。換句話說，不包含在上述被擴(kuò)展的 范圍內(nèi)的未知像素的標(biāo)記可k-l (用于未知區(qū)域的標(biāo)記)被更新為0'(用 于背景圖像區(qū)域的標(biāo)記)或者1 (用于前景對(duì)象圖像區(qū)域的標(biāo)記)，該處 理被重復(fù)地執(zhí)行，從而逐漸減小被擴(kuò)展的區(qū)域。
此外，雖然在上面的說明中使用二進(jìn)制掩模圖像B作為輸入圖像I， 但是代替二進(jìn)制圖像，可以輸入多值標(biāo)記圖像。例如，該多值標(biāo)記圖像可 以采用作為一系列值例如整數(shù)O， 1， 2，...，的標(biāo)記，并可被分割成多個(gè) 區(qū)域。如果輸入圖像是如上所述的多值標(biāo)記圖像，則可以通過被取作為是 通過組合多值標(biāo)記圖像的所有區(qū)域而形成的邊界的二進(jìn)制掩模圖像的邊 界來限定未知區(qū)域。
如果輸入圖像是多值標(biāo)記圖像，當(dāng)更新三分圖時(shí)則可認(rèn)為該圖像含有 兩個(gè)區(qū)域，其中取多值標(biāo)記中之一來表示前景對(duì)象圖像，取所有的其它值 來表示背景圖像。換句話說，可對(duì)該圖像應(yīng)用阿爾法摳圖，對(duì)于前景對(duì)象 圖像中像素的透明度，設(shè)置01=1,對(duì)于背景圖像中像素的透明度，設(shè)置(1=0。 然后把該結(jié)果用于擴(kuò)展未知區(qū)域。
可以通過重復(fù)上述的三分圖更新來實(shí)現(xiàn)未知像素的范圍的擴(kuò)展，所述 重復(fù)被這樣進(jìn)行，使得所有多值標(biāo)記都被作為屬于前景對(duì)象圖像的像素來 處理。如果輸入是上述的多值標(biāo)記圖像，則作為輸出圖像而產(chǎn)生的三分圖 例如可以是含有由如上所述的具有一 系列整數(shù)值的標(biāo)記限定的區(qū)域的圖 像，加上被標(biāo)記為-1的未知區(qū)域。
此外，用戶還可以通過手動(dòng)輸入產(chǎn)生一個(gè)簡(jiǎn)單的三分圖，這樣產(chǎn)生的 相對(duì)低質(zhì)量的三分圖被用作初始三分圖。然后可以通過重復(fù)地執(zhí)行前述的 三分圖更新處理，產(chǎn)生高質(zhì)量的三分圖。換句話說，如本實(shí)施例中作為步 驟S5-S9的處理所述，對(duì)于低質(zhì)量三分圖T中的未知^象素的范圍，可以由邊緣流矢量確定擴(kuò)展的幅值和方向。然后可以根據(jù)所述擴(kuò)展的幅值和方向 來更新三分圖，借以使得能夠產(chǎn)生高質(zhì)量的三分圖。
按照這樣描述的本發(fā)明的實(shí)施例，可以根據(jù)具有在其中限定的前景對(duì) 象圖像和背景圖像的二進(jìn)制掩模圖像產(chǎn)生三分圖。產(chǎn)生的三分圖由屬于前 景對(duì)象圖像的像素、屬于背景圖像的像素以及未知像素構(gòu)成，并且對(duì)于阿 爾法掩模圖像的配置是最佳的。
結(jié)果，可以容易地根據(jù)二進(jìn)制掩模圖像(即二值圖像)產(chǎn)生高質(zhì)量的 三分圖(即三值圖像)，從而使得能夠通過所產(chǎn)生的三值圖像的阿爾法摳
圖麥易地產(chǎn)生阿爾法掩;漠圖像。 ，
上述的信息處理序列也可以由硬件或軟件來執(zhí)行。如果所述處理序列 由軟件執(zhí)行，則可以^l成這種軟件的程序安裝在內(nèi)置入專用硬件的計(jì)算 機(jī)上?？商孢x地理地，該程序可以從記錄介質(zhì)被安裝到通用個(gè)人計(jì)算機(jī)上， 或者安裝到通過在其上安裝各種程序而能夠完成各種功能的類似設(shè)備上。
圖20表示通用個(gè)人計(jì)算機(jī)的示例配置。這種個(gè)人計(jì)算機(jī)包括CPU(中 央處理單元)1001。通過總線1004把CPU 1001連接到輸/V輸出接口
1005。 ROM (只讀存儲(chǔ)器)1002和RAM (隨^#取存儲(chǔ)器)1003被連 接到總線1004。
輸V輸出接口 1005被連接到以下部件由輸入設(shè)^^構(gòu)成的輸入單元
1006, 例如鍵盤和鼠標(biāo)，借以供用戶輸入操作指令；輸出單元1007，用 于向顯示裝置輸出處理界面屏的圖像或處理結(jié)果的圖像；存儲(chǔ)單元1008， 其由硬盤驅(qū)動(dòng)器或用于存#^序和各種數(shù)據(jù)的類似裝置構(gòu)成；以及通信單 元1009，其由LAN (局域網(wǎng))適配器或通過以互聯(lián)網(wǎng)為代表的網(wǎng)絡(luò)進(jìn)行 通信處理的類似裝置構(gòu)成。此外，用于讀寫lt據(jù)的驅(qū)動(dòng)器1010還被連接 到可移除介質(zhì)1011,例如磁盤(包括軟盤)、光盤(包括CD-ROM (致密 盤只讀存儲(chǔ)器)和DVD (數(shù)字通用盤))、磁光盤(包括MD (小型盤) 或半導(dǎo)體存儲(chǔ)器。
上述的程序被存儲(chǔ)在ROM 1002中，或者可替選地，被從可移除介質(zhì) 1011 (例如磁盤、光盤、磁光盤或半導(dǎo)M儲(chǔ)器)中讀出，并被安裝到存 儲(chǔ)單元1008。然后CPU 1001把來自ROM 1002或可移除介質(zhì)1008的程 序^VRAM 1003,并按照該程序執(zhí)行各種處理。在適當(dāng)?shù)那闆r下，RAM 1003還存儲(chǔ)由CPU 1001執(zhí)行各種處理使用的數(shù)據(jù)或其它信息。還應(yīng)當(dāng)理解，在記錄介質(zhì)上存儲(chǔ)的程序中規(guī)定的步驟不限于按照本說 明中描述的處理的順序以時(shí)間序列被執(zhí)行，而是可被并行或者單獨(dú)地執(zhí) 行。
本申請(qǐng)包含與2008年9月8日在日本專利局申請(qǐng)的日本在先專利申請(qǐng) JP 2008-229835披露的主J^相關(guān)的主題，該專利申請(qǐng)的全部?jī)?nèi)容通過引用 被包括在本說明中。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)要求和其它因素，可以具有多種 改型、組合、子組合和替換，這些都在所附權(quán)利要求或其等同物的范圍內(nèi)。
權(quán)利要求
1.一種圖像處理設(shè)備，包括三值圖像產(chǎn)生裝置，用于根據(jù)二值圖像產(chǎn)生由第一值到第三值構(gòu)成的三值圖像，其中二值圖像由第一值和第二值構(gòu)成，所述第一值以像素為單位表示輸入圖像中的前景圖像區(qū)域，所述第二值類似地表示背景圖像區(qū)域，其中三值圖像的第三值表示與前景圖像區(qū)域以及背景圖像區(qū)域二者不同地被限定的未知區(qū)域，使得所述未知區(qū)域被限定為在前景圖像區(qū)域和背景圖像區(qū)域之間的邊界具有預(yù)定寬度；比值圖像產(chǎn)生裝置，用于根據(jù)輸入圖像和三值圖像產(chǎn)生比值圖像，其中比值圖像由第四值構(gòu)成，所述第四值以像素為單位表示第一值的比率；更新裝置，用于通過限定與比值圖像中的其第四值大于最小值且小于最大值的像素相對(duì)應(yīng)的、三值圖像中的像素附近的預(yù)定范圍并且把所述限定的范圍內(nèi)的所有像素設(shè)為所述第三值來更新所述三值圖像；確定裝置，用于確定由更新裝置更新的三值圖像是否與更新裝置更新之前的三值圖像相同或幾乎相同；以及輸出裝置，用于如果確定由更新裝置更新的三值圖像與更新裝置更新之前的三值圖像相同或幾乎相同，則輸出更新的三值圖像。
2. 如權(quán)利要求1所述的圖像處理設(shè)備，還包括擴(kuò)展量限定裝置，用于以像素為單位來限定與比值圖像中的其第四值 大于最小值且小于最大值的像素相對(duì)應(yīng)的、三值圖像中的像素附近的范 圍，所述范圍以擴(kuò)展量的形式被限定；其中，更新裝置通過把預(yù)定范圍內(nèi)的所有像素設(shè)置為第三值來更新所 述三值圖像，所述預(yù)定范圍是通過擴(kuò)展量在與比值圖像中的其第四值大于 最小值且小于最大值的像素相對(duì)應(yīng)的、所述三值圖像中的像素附近限定的 范圍。
3. 如權(quán)利要求1所述的圖像處理設(shè)備，還包括擴(kuò)展方向限定裝置，其以像素為單位限定與比值圖像中的其第四值大 于最小值且小于最大值的像素相對(duì)應(yīng)的、三值圖像中的像素附近的范圍， 所述范圍以擴(kuò)展方向的形式被限定；其中，更新裝置通過把預(yù)定范圍內(nèi)的所有像素設(shè)置為第三值來更新所述三值圖像，所述預(yù)定范圍是通過擴(kuò)展方向在與比值圖像中的其第四值大 ,于最小值且小于最大值的像素相對(duì)應(yīng)的、jf斤述三值圖像中的像素附近限定 '的范圍。 '
4.如權(quán)利要求1所述的圖像處理設(shè)備，還包括擴(kuò)展矢量限定裝置，用于以像素為單位限定與比值圖像中的其第四值 大于最小值且小于最大值的像素相對(duì)應(yīng)的、三值圖像中的像素附近的范 圍，所述范圍以擴(kuò)展矢量的形式被限定，所述擴(kuò)展矢量由擴(kuò)展方向和擴(kuò)展 量構(gòu)成；其中更新裝置通過把預(yù)定范閨內(nèi)的所有《象素設(shè)置為第三值來更新所述三 值圖像，所述預(yù)定范圍是通過擴(kuò)展矢量在與比值圖像中的其第四值大于最 小值且小于最大值的像素相對(duì)應(yīng)的、所述三值圖像中的像素附近限定的范 圍。
5. 如權(quán)利要求4所述的圖像處理設(shè)備，其中擴(kuò)展矢量的擴(kuò)展方向包括 源自輸入圖像或比值圖像的邊緣正切流矢量的方位，或者可替選地，包括 相對(duì)于由比值圖像中取預(yù)定比率的像素所形成的邊界垂直的方向。
6. 如權(quán)利要求1所述的圖像處理設(shè)備，其中如果確定由更新裝置更新的三值圖像與更新裝置更新之前的三值圖 ^M目同或幾乎相同，貝，J比值圖像產(chǎn)生裝置根據(jù)被更新裝置更新的三值圖像和輸入圖像產(chǎn)生 比值圖像，其中所述比值圖像由以像素為單位表示第一值的比率的第四值 構(gòu)成，以及更新裝置把與比值圖像中的其第四值大于最小值且小于最大值的像 素相對(duì)應(yīng)的、所述三值圖像內(nèi)的像素附近的預(yù)定范圍內(nèi)的所有4象素設(shè)置為 所述第三值。
7. 如權(quán)利要求6所述的圖像處理設(shè)備，其中在確定由更新裝置更新的三值圖像與更新裝置更新之前的三值圖像 相同或幾乎相同之前，比值圖像產(chǎn)生裝置和更新裝置重復(fù)地進(jìn)行處理，以使得根據(jù)被更新裝置更新的三值圖像和輸入圖像產(chǎn)生比值圖像，其中所述 比值圖像由以像素為單位表示第 一值的比率的第四值構(gòu)成，以及把與比值圖像中的其第四值大于最小值且小于最大值的像素相對(duì)應(yīng)的、所述三值圖,內(nèi)的4象素附近的預(yù)定范圍內(nèi)的所有4象素^:置為所述第三 值。 '
8.—種用于圖像處理設(shè)備的圖像處理方法，所述圖像處理設(shè)備包括三值圖像產(chǎn)生裝置，用于根據(jù)二值圖像產(chǎn)生由第 一值到第三值構(gòu)成的 三值圖像，其中二值圖像由第一值和第二值構(gòu)成，所述第一值以像素為單 位表示輸入圖像中的前景圖像區(qū)域，所述第二值類似地表示背景圖像區(qū) 域，其中三值圖像的第三值表示與前景圖像區(qū)域以及背景圖像區(qū)域二者不 同埤被限定的未知區(qū)域，使得所述未知區(qū)域褲限定為在前景圖像區(qū)域和背 景ri像區(qū)域之間的邊界具有預(yù)定寬度； '比值圖像產(chǎn)生裝置，用于根據(jù)輸入圖像和三值圖像產(chǎn)生比值圖像，其 中比值圖像由第四值構(gòu)成，所述第四值以像素為單位表示第一值的比率；更新裝置，用于通過限定與比值圖像中的其第四值大于最小值且小于 最大值的像素相對(duì)應(yīng)的、三值圖像中的像素附近的預(yù)定范圍并且把所述限 定的范圍內(nèi)的所有像素設(shè)為所述第三值來更新所述三值圖像；確定裝置，用于確定由更新裝置更新的三值圖像是否與更新裝置更新 之前的三值圖4I^目同或幾乎相同；以及輸出裝置，用于如果確定由更新裝置更新的三值圖像與更新裝置更新 之前的三值圖像相同或幾乎相同，則輸出更新的三值圖像，所述圖像處理 方法包括以下步驟借助于所述三值圖像產(chǎn)生裝置，根據(jù)二值圖像產(chǎn)生由第一值到第三值 構(gòu)成的三值圖像，其中二值圖像由第一值和第二值構(gòu)成，所述第一值以像 素為單位表示輸入圖像中的前景圖像區(qū)域，所述第二值類似Ak^示背景圖 像區(qū)域，其中三值圖像的第三值表示與前景圖像區(qū)域以及背景圖像區(qū)域二 者不同地被限定的未知區(qū)域，使得所述未知區(qū)域被限定成在前景圖像區(qū)域 和背景圖像區(qū)域之間的邊界具有預(yù)定寬度；借助于比值圖像產(chǎn)生裝置，根據(jù)輸入圖像和三值圖像產(chǎn)生比值圖像， 其中比值圖像由第四值構(gòu)成，所述第四值以像素為單位表示第 一值的比率；借助于更新裝置，通過限定與比值圖4象中的其第四值大于最小值且小 于最大值的像素相對(duì)應(yīng)的、三值圖像中的像素附近的預(yù)定范圍以及把所述限定的范圍內(nèi)的所有像素設(shè)為所述第三值來更新所述三值圖像；借助于所述確定裝置，確定由更新裝置更新的三值圖像是否與更新裝 置更新之前的三值圖#^目同或幾乎相同；以及借助于所述輸出裝置，如果確定由更新裝置更新的三值圖像與更新裝 置更新之前的三值圖^N目同或幾乎相同，則輸出更新的三值圖像。
9.一種使得在用于控制圖像處理設(shè)備的計(jì)算機(jī)上執(zhí)行處理的程序，所 述圖像處理設(shè)備包括三值圖像產(chǎn)生裝置，用于根據(jù)二值圖像產(chǎn)生由第一值到第三值構(gòu)成的 三值圖像，其中二值圖像由第一值和第二值構(gòu)成，所述第一值以像素為單 位表示輸入圖像中的前景圖像區(qū)域，所述第二值類似地表示背景圖像區(qū) 域，其中三值圖像的第三值表示與前景圖像區(qū)域以及背景圖像區(qū)域二者不 同地被限定的未知區(qū)域，使得所述未知區(qū)域被限定為在前景圖 <象區(qū)域和背 景圖像區(qū)域之間的邊界具有預(yù)定寬度；比值圖像產(chǎn)生裝置，用于根據(jù)輸入圖像和三值圖像產(chǎn)生比值圖像，其 中比值圖像由第四值構(gòu)成，所述第四值以像素為單位表示第一值的比率；更新裝置，用于通過限定與比值圖像中的其第四值大于最小值且小于 最大值的像素相對(duì)應(yīng)的、三值圖像中的像素附近的預(yù)定范圍并且把所述限 定的范圍內(nèi)的所有像素設(shè)為所述第三值來更新所述三值圖l象；確定裝置，用于確定由更新裝置更新的三值圖像是否與更新裝置更新 之前的三值圖^^目同或幾乎相同；以及輸出裝置，用于如果確定由更新裝置更新的三值圖像與更新裝置更新 之前的三值圖^^目同或幾乎相同，則輸出更新的三值圖像，所述程序的所 述處理包括以下步驟借助于所述三值圖像產(chǎn)生裝置，根據(jù)二值圖像產(chǎn)生由第一值到第三值 構(gòu)成的三值圖像，其中二值圖像由第一值和第二值構(gòu)成，所述第一值以像 素為單位表示輸入圖像中的前景圖像區(qū)域，所述第二值類似地表示背景圖 像區(qū)域，其中三值圖像的第三值表示與前景圖像區(qū)域以及背景圖像區(qū)域二 者不同地被限定的未知區(qū)域，使得所述未知區(qū)域被限定為在前景圖像區(qū)域 和背景圖像區(qū)域之間的邊M有預(yù)定寬度；借助于比值圖像產(chǎn)生裝置，根據(jù)輸入圖像和三值圖像產(chǎn)生比值圖像， 其中比值圖像由第四值構(gòu)成，所述第四值以像素為單位表示第 一值的比率；借助于更新裝置，通過限定與比值圖 <象中的其第四值大于最小值且小 于最大值的像素相對(duì)應(yīng)的、三值圖像中的像素附近的預(yù)定范圍以及把所述 限定的范圍,內(nèi)的所有像素設(shè)為所述第三值來更新所述三值圖像；借助于所述確定裝置，確定由更新裝置更新的三值圖像是否與更新裝 置更新之前的三值圖^M目同或幾乎相同；以及借助于所述輸出裝置，如果確定由更新裝置更新的三值圖像與更新裝 置更新之前的三值圖^N目同或幾乎相同，則輸出更新的三值圖像。
全文摘要
本發(fā)明公開一種圖像處理設(shè)備、方法及其程序。該圖像處理設(shè)備根據(jù)二值圖像產(chǎn)生三值圖像，其中二值圖像的第一值和第二值表示輸入圖像的前景區(qū)域和背景區(qū)域，第三值表示在前景圖像和區(qū)域背景圖像區(qū)域之間的邊界的預(yù)定寬度的未知區(qū)域。根據(jù)輸入圖像和三值圖像產(chǎn)生比值圖像，其具有表示第一值的比率的第四值。通過限定在三值圖像中、與比值圖像中的其第四值大于最小值且小于最大值的像素相對(duì)應(yīng)的像素附近預(yù)定范圍然后把在所限定的范圍內(nèi)的所有像素設(shè)置為第三值來更新三值圖像。如果確定更新后的三值圖像和更新前的三值圖像相同或接近相同，則輸出更新后的三值圖像。
文檔編號(hào)G06T7/00GK101673400SQ20091016901
公開日2010年3月17日 申請(qǐng)日期2009年9月8日 優(yōu)先權(quán)日2008年9月8日
發(fā)明者山田英史 申請(qǐng)人:索尼株式會(huì)社