專(zhuān)利名稱(chēng)：Face posture estimating device, face posture estimating method, and face ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種臉姿勢(shì)推定裝置、臉姿勢(shì)推定方法以及臉姿勢(shì)推定程序，使用對(duì) 臉進(jìn)行攝影而得到的圖像來(lái)進(jìn)行臉姿勢(shì)的推定。
背景技術(shù)：
推定臉朝向和臉姿勢(shì)的技術(shù)能夠在各種領(lǐng)域中應(yīng)用。其中，“臉朝向，，通過(guò)表示左 右轉(zhuǎn)動(dòng)、前后俯仰和左右傾斜這3個(gè)方向的信息來(lái)表現(xiàn)。另外，“臉姿勢(shì)”至少表示臉朝向。而且，除了臉朝向以外，“臉姿勢(shì)”也有包含3維 空間的位置概念的情況。因此，“臉姿勢(shì)”可以用左右轉(zhuǎn)動(dòng)、前后俯仰、左右傾斜、X坐標(biāo)、y 坐標(biāo)、ζ坐標(biāo)最多6維的信息來(lái)表示。推定臉朝向和臉姿勢(shì)的技術(shù)在車(chē)輛駕駛員的安全駕 駛支持的領(lǐng)域中尤其有用。作為在計(jì)算機(jī)進(jìn)行的臉朝向推定和臉姿勢(shì)推定中使用的代表方法，已知的方 法有(例如，佐藤洋一“計(jì)算機(jī)進(jìn)行的臉追蹤”，影像信息媒體學(xué)會(huì)雜志Vol. 60、NO. 4、 pp. 516-519(2006)) :3維臉形狀模型基礎(chǔ)(以下稱(chēng)為“3D模型基礎(chǔ)”)的方法、外觀基礎(chǔ)的 方法和臉特征基礎(chǔ)的方法。下面，對(duì)各方式進(jìn)行說(shuō)明。為了進(jìn)行臉姿勢(shì)的推定，對(duì)3D模型基礎(chǔ)的方法所適用的情況進(jìn)行說(shuō)明。這里，以 使用時(shí)序過(guò)濾器中的一種的粒子過(guò)濾器的方法作為例子。粒子過(guò)濾器是貝茲過(guò)濾器的近似 計(jì)算法，通過(guò)有限的粒子來(lái)表現(xiàn)概率密度函數(shù)。在粒子過(guò)濾器中，通過(guò)使用多個(gè)具有狀態(tài)量 和似然度的假設(shè)，而將追蹤對(duì)象作為離散的概率密度函數(shù)來(lái)表達(dá)，將此概率密度函數(shù)通過(guò) 狀態(tài)變遷模型傳播。臉姿勢(shì)的“狀態(tài)”是指與臉位置、臉朝向等臉姿勢(shì)信息相關(guān)的狀態(tài)。臉 姿勢(shì)的推定過(guò)程，生成多個(gè)臉姿勢(shì)的狀態(tài)的假設(shè)，計(jì)算這些各個(gè)假設(shè)與輸入的臉圖像的相 似度，基于此相似度更新假設(shè)集合。而且，將與相似度最高的假設(shè)的狀態(tài)量相對(duì)應(yīng)的臉姿勢(shì) 作為推定結(jié)果進(jìn)行輸出。在外觀基礎(chǔ)的方法中，預(yù)先準(zhǔn)備朝向各個(gè)方向的臉圖像，當(dāng)新輸入臉圖像時(shí)，推定 其與哪個(gè)臉圖像最相似。在圖像之間的相似度的計(jì)算中，經(jīng)常使用對(duì)應(yīng)的像素之間的像素 值差的2次方。在臉特征基礎(chǔ)的方法中，基于輸入圖像中的眼睛和嘴等的相對(duì)的位置關(guān)系，求出 臉特征，進(jìn)行臉朝向的推定。作為臉特征基礎(chǔ)的方法，例如，在日本特開(kāi)2005-196567號(hào)公 報(bào)(以下稱(chēng)為“文獻(xiàn)1”)和特開(kāi)平11-281661號(hào)公報(bào)(以下稱(chēng)為“文獻(xiàn)2”)中，對(duì)駕駛員 的臉攝像所得到的圖像進(jìn)行分析，對(duì)臉朝向進(jìn)行推定。

發(fā)明內(nèi)容
發(fā)明要解決的課題然而，在文獻(xiàn)1和文獻(xiàn)2所記載的技術(shù)中，利用眼睛、鼻子、嘴這些既定的臉器官對(duì) 臉朝向進(jìn)行推定，一旦臉朝向變化或者通過(guò)帶著眼鏡、太陽(yáng)鏡等將這些部位隱去，就不能對(duì) 臉姿勢(shì)進(jìn)行推定。為此，將可推定的角度范圍限定在大約左右60度以?xún)?nèi)。但一旦限定了可推定的角度范圍，就會(huì)出現(xiàn)不能充分進(jìn)行駕駛員的安全駕駛支持的問(wèn)題。另外，在通過(guò)3D模型基礎(chǔ)的方法進(jìn)行臉朝向推定和臉姿勢(shì)推定的情況下，由于使 用輸入攝像機(jī)圖像中的眼睛、鼻子、嘴這些既定臉器官的位置，因此例如在臉較大地朝向橫 向的情況，臉器官的一部分從圖像隱去，則會(huì)產(chǎn)生不能對(duì)臉姿勢(shì)進(jìn)行推定的問(wèn)題。進(jìn)一步， 一般在3D模型基礎(chǔ)的方法中所使用的3維臉形狀模型為剛性體，因此當(dāng)因表情變化和臉姿 勢(shì)的位置移動(dòng)等而使皮膚拉張等、產(chǎn)生臉器官位置的變化時(shí)，輸入的臉部圖像和3維形狀 模型的區(qū)別變大，產(chǎn)生不能進(jìn)行高精度的臉姿勢(shì)推定的問(wèn)題。本發(fā)明鑒于以上的問(wèn)題而做成，其目的在于，提供一種臉姿勢(shì)推定裝置、臉姿勢(shì)推 定方法以及臉姿勢(shì)推定程序，能夠高精度地且即便在從圖像中無(wú)法檢測(cè)出臉器官的情況 下，進(jìn)行臉姿勢(shì)的推定。而且，本發(fā)明的目的在于，不拘束使用者，在使用者沒(méi)有穿戴器具的情況下，能夠 進(jìn)行眼睛、鼻子、嘴被隱去的范圍內(nèi)的臉姿勢(shì)的推定。另外，其目的還在于，即便在因眼鏡的 配戴、發(fā)型的變化等而將既定的臉器官隱去的情況下，也可以進(jìn)行臉姿勢(shì)的推定。用于解決課題的手段本發(fā)明提供一種臉姿勢(shì)推定裝置，該臉姿勢(shì)推定裝置根據(jù)對(duì)臉按時(shí)序進(jìn)行攝影所 得到的臉圖像來(lái)對(duì)臉姿勢(shì)進(jìn)行推定，該臉姿勢(shì)至少表示所述臉的朝向，該臉姿勢(shì)推定裝置 的特征在于，具有臉器官檢測(cè)單元，其根據(jù)所述臉圖像對(duì)臉器官進(jìn)行檢測(cè)；臉姿勢(shì)候選組 生成單元，其生成作為臉姿勢(shì)候選的集合的臉姿勢(shì)候選組，該臉姿勢(shì)候選是所推定的臉姿 勢(shì)的候選；第1相似度計(jì)算單元，計(jì)算根據(jù)第1參數(shù)的第1相似度，所述第1參數(shù)與所述臉 姿勢(shì)候選組生成單元所生成的臉姿勢(shì)候選組的各個(gè)臉器官的各個(gè)位置以及所述臉器官檢 測(cè)單元所檢測(cè)到的實(shí)際臉器官的各個(gè)位置對(duì)應(yīng)；第2相似度計(jì)算單元，計(jì)算根據(jù)與像素值 對(duì)應(yīng)的第2參數(shù)的第2相似度，所述像素值對(duì)應(yīng)于所述臉姿勢(shì)候選生成單元所生成的臉姿 勢(shì)候選組的各個(gè)臉圖像以及由于所述臉器官檢測(cè)單元而成為檢測(cè)對(duì)象的實(shí)際的臉圖像的、 與各個(gè)規(guī)定的基準(zhǔn)姿勢(shì)之間的位移；第1似然度計(jì)算單元，計(jì)算與所述第1相似度計(jì)算單元 所算出的第1相似度對(duì)應(yīng)的第1似然度；第2似然度計(jì)算單元，計(jì)算與所述第2相似度計(jì)算 單元所算出的第2相似度對(duì)應(yīng)的第2似然度；統(tǒng)一似然度計(jì)算單元，使用所述第1似然度和 所述第2似然度，計(jì)算表示所述臉姿勢(shì)候選組各個(gè)準(zhǔn)確率的統(tǒng)一似然度；臉姿勢(shì)推定單元， 使用由所述統(tǒng)一似然度計(jì)算單元算出的統(tǒng)一似然度對(duì)臉姿勢(shì)進(jìn)行推定；所述統(tǒng)一似然度反 映到所述臉姿勢(shì)候選生成單元所生成的臉姿勢(shì)候選組的新的更新生成。采用本發(fā)明，臉姿勢(shì)推定裝置，利用與第1參數(shù)的第1相似度相對(duì)應(yīng)的第1似然度 和與第2參數(shù)的第2相似度相對(duì)應(yīng)的第2似然度來(lái)計(jì)算統(tǒng)一似然度，用所算出的統(tǒng)一似然 度對(duì)臉姿勢(shì)進(jìn)行推定，因此，與單獨(dú)地使用第1似然度和第2似然度來(lái)對(duì)臉姿勢(shì)進(jìn)行推定相 比，可以進(jìn)行高精度的臉姿勢(shì)推定。在最佳形態(tài)中，所述統(tǒng)一似然度計(jì)算單元，當(dāng)所述第1似然度或所述第2似然度中 的任一個(gè)無(wú)法計(jì)算時(shí)，只使用所算出的一方的似然度來(lái)計(jì)算所述統(tǒng)一似然度。采用本發(fā)明，統(tǒng)一似然度計(jì)算單元，當(dāng)?shù)?似然度或第2似然度中的任一個(gè)無(wú)法計(jì) 算時(shí)，只使用所算出的一方的似然度來(lái)計(jì)算所述統(tǒng)一似然度，因此，當(dāng)無(wú)法進(jìn)行臉器官檢測(cè) 時(shí)也能夠?qū)δ樧藙?shì)進(jìn)行推定。在最佳形態(tài)中，所述第1相似度計(jì)算單元和所述第2相似度計(jì)算單元具有對(duì)各性能特性進(jìn)行補(bǔ)充的補(bǔ)充關(guān)系。采用本發(fā)明，第1相似度計(jì)算單元和第2相似度計(jì)算單元具有補(bǔ)充關(guān)系，能干互相 補(bǔ)充，因此可以進(jìn)行高精度的臉姿勢(shì)推定。在最佳形態(tài)中，所述統(tǒng)一似然度計(jì)算單元，將所述第1似然度和所述第2似然度相 乘。采用本發(fā)明，將第1似然度和第2似然度相乘來(lái)計(jì)算統(tǒng)一似然度，因此，可以算出 用于臉姿勢(shì)推定的高精度的統(tǒng)一似然度。在最佳形態(tài)中，所述第1相似度計(jì)算單元是采用3維臉形狀模型基礎(chǔ)的相似度計(jì) 算單元，所述第1參數(shù)是位置的誤差，所述第2相似度計(jì)算單元是采用投影變換外觀基礎(chǔ)的 相似度計(jì)算單元，所述第2參數(shù)是像素值的誤差。在最佳形態(tài)中，所述臉姿勢(shì)推動(dòng)單元，基于所述統(tǒng)一似然度計(jì)算單元所算出的統(tǒng) 一似然度為最高的臉姿勢(shì)候選來(lái)對(duì)臉姿勢(shì)進(jìn)行推定。采用本發(fā)明，由于所述臉姿勢(shì)推動(dòng)單元基于所述統(tǒng)一似然度計(jì)算單元所算出的統(tǒng) 一似然度為最高的臉姿勢(shì)候選來(lái)對(duì)臉姿勢(shì)進(jìn)行推定，因此，能夠高精度地對(duì)臉姿勢(shì)進(jìn)行推定。在最佳形態(tài)中，所述臉姿勢(shì)推定單元，基于數(shù)值的平均值、中間值以及施行了采用 所述統(tǒng)一似然度的加權(quán)的平均值即重心中的任一個(gè)來(lái)對(duì)臉姿勢(shì)進(jìn)行推定，該數(shù)值基于所述 臉姿勢(shì)候選組生成單元所生成的臉姿勢(shì)候選組的至少一部分。采用本發(fā)明，所述臉姿勢(shì)推定單元基于數(shù)值的平均值、中間值以及重心中的任一 個(gè)來(lái)對(duì)臉姿勢(shì)進(jìn)行推定，該數(shù)值基于臉姿勢(shì)候選組的至少一部分，因此，與將統(tǒng)一似然度為 最高的臉姿勢(shì)候選作為臉姿勢(shì)的情況相比，雖然推定精度變低，但卻不會(huì)使推定精度非常 明顯地變低。在最佳形態(tài)中，當(dāng)所述統(tǒng)一似然度計(jì)算單元所算出的最高統(tǒng)一似然度超過(guò)規(guī)定閾 值時(shí)，所述臉姿勢(shì)推定單元基于與所述最高統(tǒng)一似然度對(duì)應(yīng)的臉姿勢(shì)候選來(lái)對(duì)臉姿勢(shì)進(jìn)行 推定，當(dāng)所述最高統(tǒng)一似然度在規(guī)定閾值以下時(shí)，所述臉姿勢(shì)推定單元基于數(shù)值的平均值、 中間值以及施行了采用所述統(tǒng)一似然度的加權(quán)的平均值即重心中的任一個(gè)來(lái)對(duì)臉姿勢(shì)進(jìn) 行推定，該數(shù)值基于所述臉姿勢(shì)候選組生成單元所生成的臉姿勢(shì)候選組的至少一部分。采用本發(fā)明，當(dāng)由于臉器官的檢測(cè)誤差等而最高似然度在規(guī)定閾值以下時(shí)，也能 使用平均值、中間值等來(lái)推定臉姿勢(shì)，因此，可以進(jìn)行高精度的臉姿勢(shì)的推定。在最佳形態(tài)中，所述臉姿勢(shì)候選組生成單元，基于與所述統(tǒng)一似然度計(jì)算單元所 算出的統(tǒng)一似然度中的較高統(tǒng)一似然度對(duì)應(yīng)的臉姿勢(shì)候選組，生成在下次的所述第1相似 度和所述第2相似度的計(jì)算中使用的臉姿勢(shì)候選組。采用本發(fā)明，能夠生成與實(shí)際的臉姿勢(shì)比較近似的臉姿勢(shì)候選組。在最佳形態(tài)中，所述臉圖像是對(duì)車(chē)輛駕駛員的臉進(jìn)行攝影所得到的圖像。采用本發(fā)明，臉姿勢(shì)推定裝置可以對(duì)駕駛員的臉姿勢(shì)進(jìn)行推定，可以將臉姿勢(shì)推 定裝置用于支持駕駛員的安全駕駛。另外，本發(fā)明提供一種具有所述的臉姿勢(shì)推定裝置的車(chē)輛采用本發(fā)明，在車(chē)輛內(nèi)可以進(jìn)行駕駛員的臉姿勢(shì)推定，可以將臉姿勢(shì)推定裝置用 于支持車(chē)輛內(nèi)的安全駕駛。
另外，本發(fā)明提供一種臉姿勢(shì)推定方法，該臉姿勢(shì)推定方法根據(jù)對(duì)臉按時(shí)序進(jìn)行 攝影所得到的臉圖像來(lái)對(duì)臉姿勢(shì)進(jìn)行推定，該臉姿勢(shì)至少表示所述臉的朝向，該臉姿勢(shì)推 定方法的特征在于，具有臉器官檢測(cè)步驟，其根據(jù)所述臉圖像對(duì)臉器官進(jìn)行檢測(cè)；臉姿勢(shì) 候選組生成步驟，其生成作為臉姿勢(shì)候選的集合的臉姿勢(shì)候選組，該臉姿勢(shì)候選是所推定 的臉姿勢(shì)的候選；第1相似度計(jì)算步驟，計(jì)算根據(jù)第1參數(shù)的第1相似度，所述第1參數(shù)與 所述臉姿勢(shì)候選組生成步驟中生成的臉姿勢(shì)候選組的各個(gè)臉器官的各個(gè)位置以及所述臉 器官檢測(cè)單元所檢測(cè)到的實(shí)際臉器官的各個(gè)位置對(duì)應(yīng)；第2相似度計(jì)算步驟，計(jì)算根據(jù)與 像素值對(duì)應(yīng)的第2參數(shù)的第2相似度，所述像素值對(duì)應(yīng)于所述臉姿勢(shì)候選生成步驟中生成 的臉姿勢(shì)候選組的各個(gè)臉圖像以及在所述臉器官檢測(cè)步驟中成為檢測(cè)對(duì)象的實(shí)際的臉圖 像的、與各個(gè)規(guī)定的基準(zhǔn)姿勢(shì)之間的位移；第1似然度計(jì)算步驟，計(jì)算與所述第1相似度計(jì) 算步驟中算出的第1相似度對(duì)應(yīng)的第1似然度；第2似然度計(jì)算步驟，計(jì)算與所述第2相似 度計(jì)算步驟中算出的第2相似度對(duì)應(yīng)的第2似然度；統(tǒng)一似然度計(jì)算步驟，使用所述第1似 然度和所述第2似然度，計(jì)算表示所述臉姿勢(shì)候選組各個(gè)準(zhǔn)確率的統(tǒng)一似然度；臉姿勢(shì)推 定步驟，使用所述統(tǒng)一似然度計(jì)算步驟中算出的統(tǒng)一似然度對(duì)臉姿勢(shì)進(jìn)行推定。另外，本發(fā)明提供一種臉姿勢(shì)推定程序，該臉姿勢(shì)推定程序用于使計(jì)算機(jī)執(zhí)行以 下步驟臉器官檢測(cè)步驟，其根據(jù)對(duì)臉按時(shí)序進(jìn)行攝影所得到的臉圖像對(duì)臉器官進(jìn)行檢測(cè)； 臉姿勢(shì)候選組生成步驟，其生成作為臉姿勢(shì)候選的集合的臉姿勢(shì)候選組，該臉姿勢(shì)候選是 所推定的臉姿勢(shì)的候選；第1相似度計(jì)算步驟，計(jì)算根據(jù)第1參數(shù)的第1相似度，所述第1 參數(shù)與所述臉姿勢(shì)候選組生成步驟中生成的臉姿勢(shì)候選組的各個(gè)臉器官的各個(gè)位置以及 所述臉器官檢測(cè)單元所檢測(cè)到的實(shí)際臉器官的各個(gè)位置對(duì)應(yīng)；第2相似度計(jì)算步驟，計(jì)算 根據(jù)與像素值對(duì)應(yīng)的第2參數(shù)的第2相似度，所述像素值對(duì)應(yīng)于所述臉姿勢(shì)候選生成步驟 中生成的臉姿勢(shì)候選組的各個(gè)臉圖像以及在所述臉器官檢測(cè)步驟中成為檢測(cè)對(duì)象的實(shí)際 的臉圖像的、與各個(gè)規(guī)定的基準(zhǔn)姿勢(shì)之間的位移；第1似然度計(jì)算步驟，計(jì)算與所述第1相 似度計(jì)算步驟中算出的第1相似度對(duì)應(yīng)的第1似然度；第2似然度計(jì)算步驟，計(jì)算與所述第 2相似度計(jì)算步驟中算出的第2相似度對(duì)應(yīng)的第2似然度；統(tǒng)一似然度計(jì)算步驟，使用所述 第1似然度和所述第2似然度，計(jì)算表示所述臉姿勢(shì)候選組各個(gè)準(zhǔn)確率的統(tǒng)一似然度；臉姿 勢(shì)推定步驟，使用所述統(tǒng)一似然度計(jì)算步驟中算出的統(tǒng)一似然度對(duì)臉姿勢(shì)進(jìn)行推定。(發(fā)明的效果)采用本發(fā)明，臉姿勢(shì)推定裝置，使用與采用第1參數(shù)的第1相似度對(duì)應(yīng)的第1似然 度和與采用第2參數(shù)的第2相似度對(duì)應(yīng)的第2似然度來(lái)計(jì)算統(tǒng)一似然度，用算出的該統(tǒng)一 似然度對(duì)臉姿勢(shì)進(jìn)行推定，因此與單獨(dú)地使用第1似然度和第2似然度對(duì)臉姿勢(shì)進(jìn)行推定 相比，可以進(jìn)行高精度的臉姿勢(shì)推定。


圖1是表示本發(fā)明的實(shí)施形態(tài)的臉姿勢(shì)推定裝置的功能構(gòu)成的框圖。圖2是相同實(shí)施形態(tài)的臉姿勢(shì)推定處理的整體流程圖。圖3是表示相同實(shí)施形態(tài)的特征點(diǎn)探索區(qū)域設(shè)定的一個(gè)例子的圖。圖4是表示相同實(shí)施形態(tài)的特征點(diǎn)探索區(qū)域內(nèi)的亮度圖像的邊緣抽出的一個(gè)例 子的圖。
8
圖5是表示相同實(shí)施形態(tài)所選擇的特征點(diǎn)的一個(gè)例子的圖。圖6是表示相同實(shí)施形態(tài)的臉姿勢(shì)追蹤處理的流程的流程圖。圖7是表示相同實(shí)施形態(tài)的3維臉形狀模型的臉姿勢(shì)分布生成的一個(gè)例子的圖。圖8是表示在相同實(shí)施形態(tài)的Step602中所算出的臉器官的二維坐標(biāo)分布的一個(gè) 例子的圖。圖9是表示相同實(shí)施形態(tài)的投影變換圖像的一個(gè)例子的圖。圖10是表示相同實(shí)施形態(tài)的臉姿勢(shì)推定處理流程的流程圖。圖11是相同實(shí)施形態(tài)的臉姿勢(shì)推定處理流程的概略圖。圖12是表示采用本發(fā)明方式的臉姿勢(shì)的位移左右轉(zhuǎn)動(dòng)角推定結(jié)果的圖表。圖13是表示采用本發(fā)明方式的臉姿勢(shì)的左右轉(zhuǎn)動(dòng)角推定結(jié)果的圖表。圖14是表示當(dāng)改變3D模型基礎(chǔ)的似然度特性時(shí)采用本發(fā)明方式的臉姿勢(shì)左右轉(zhuǎn) 動(dòng)角推定結(jié)果的圖表。圖15是表示只通過(guò)3D模型基礎(chǔ)進(jìn)行臉姿勢(shì)的左右轉(zhuǎn)動(dòng)角推定的結(jié)果的圖表。圖16是表示從圖15對(duì)3D模型基礎(chǔ)的似然度特性進(jìn)行改變，且只通過(guò)3D模型基 礎(chǔ)進(jìn)行臉姿勢(shì)的左右轉(zhuǎn)動(dòng)角推定的結(jié)果的圖表。圖17是表示只通過(guò)外觀基礎(chǔ)進(jìn)行臉姿勢(shì)的左右轉(zhuǎn)動(dòng)角推定的結(jié)果的圖表。
符號(hào)說(shuō)明
10臉姿勢(shì)推定裝置
11臉器官檢測(cè)器
12第1相似度計(jì)算部
13第2相似度計(jì)算部
14似然度計(jì)算部
141第1似然度計(jì)算部
142第2似然度計(jì)算部
143統(tǒng)一似然度計(jì)算部
15臉姿勢(shì)推定部
16臉姿勢(shì)候選組生成部
具體實(shí)施例方式以下，參考附圖對(duì)本發(fā)明的實(shí)施形態(tài)進(jìn)行說(shuō)明。另外，在以下的說(shuō)明中，所參照的 各圖與其它圖相同的部分用相同的符號(hào)來(lái)表示。(臉姿勢(shì)推定裝置的結(jié)構(gòu))圖1是表示本發(fā)明的實(shí)施形態(tài)的臉姿勢(shì)推定裝置10的功能構(gòu)成的框圖。如該圖 所示，臉姿勢(shì)推定裝置10具有臉器官檢測(cè)部11、第1相似度計(jì)算部12、第2相似度計(jì)算部 13、似然度計(jì)算部14以及臉姿勢(shì)推定部15。另外，通過(guò)執(zhí)行未圖示的臉姿勢(shì)推定裝置10的 CPU (Central Processing Unit)運(yùn)行在 R0M(Read Only Memory)、硬盤(pán)等存儲(chǔ)裝置中所存 儲(chǔ)的程序，在臉姿勢(shì)推定裝置10中實(shí)現(xiàn)這些功能構(gòu)成。另外，臉姿勢(shì)推定裝置10具有未圖 示的輸入接口，該輸入接口用于輸入攝像機(jī)所攝影的圖像畫(huà)面。臉器官檢測(cè)部11，從對(duì)臉進(jìn)行攝影所得到的圖象畫(huà)面檢測(cè)臉器官。
第1相似度計(jì)算部12，使用3D模型基礎(chǔ)的推定方法來(lái)計(jì)算相似度。在R兼司、佐藤 洋一、中西泰人、小池英樹(shù)“使用伴隨適當(dāng)擴(kuò)散控制的粒子過(guò)濾器的頭部姿勢(shì)推定系統(tǒng)”、 信學(xué)論雜志D-II、J88-D-II、8、pp. 1601-1613(2005)中，對(duì)該方法的內(nèi)容進(jìn)行了敘述。具體 來(lái)說(shuō)，第1相似度計(jì)算部12生成集合了多個(gè)(N個(gè)N為自然數(shù))離散性假設(shè)(以下稱(chēng)為臉 姿勢(shì)候選)的假設(shè)群(以下稱(chēng)為臉姿勢(shì)候選組)，該假設(shè)表達(dá)了與臉姿勢(shì)信息有關(guān)的狀態(tài)量 的概率密度函數(shù)。接著，基于構(gòu)成臉姿勢(shì)候選組的臉姿勢(shì)候選，使3維臉形狀模型3維地移 動(dòng)和旋轉(zhuǎn)，從而將3維臉形狀模型上的臉器官的各特征點(diǎn)向圖像畫(huà)面的平面上投影(以下 將投影在圖像畫(huà)面的平面上的各特征點(diǎn)稱(chēng)為“臉器官坐標(biāo)候選”)。然后，對(duì)臉器官檢測(cè)部 11所檢測(cè)的臉器官和相對(duì)應(yīng)的臉器官的所述特征點(diǎn)投影的位置之間的誤差(與“第1相似 度”相對(duì)應(yīng)，以下稱(chēng)為“3D模型基礎(chǔ)的相似度”)進(jìn)行計(jì)算。對(duì)構(gòu)成臉姿勢(shì)候選組的全部臉 姿勢(shì)候選進(jìn)行對(duì)每個(gè)臉姿勢(shì)候選計(jì)算此誤差的處理，求出這些N個(gè)相似度。第2相似度計(jì)算部13，使用利用臉圖像的投影變換外觀的外觀基礎(chǔ)(投影變換外 觀基礎(chǔ))的推定方法來(lái)計(jì)算相似度。具體來(lái)說(shuō)，第2相似度計(jì)算部13，首先參考與構(gòu)成臉 姿勢(shì)候選組的N個(gè)臉姿勢(shì)候選分別對(duì)應(yīng)的臉位置、臉朝向等臉姿勢(shì)信息。接著，求出此臉姿 勢(shì)信息相對(duì)于規(guī)定基準(zhǔn)位置的位移。所謂的規(guī)定基準(zhǔn)位置是指對(duì)圖像進(jìn)行推定所得到的臉 姿勢(shì)信息，該圖像是相比臉器官檢測(cè)對(duì)象的圖像更靠前按時(shí)序進(jìn)行攝影所得到的。然后，基 于所求得的N個(gè)位移，對(duì)此圖像進(jìn)行投影變換。投影變換所得到的N個(gè)圖像(以下稱(chēng)為“投 影變換圖像”)是相對(duì)于成為基準(zhǔn)位置的過(guò)去的圖像而反映了各臉姿勢(shì)候選的臉姿勢(shì)信息 的圖像。第2相似度計(jì)算部13，對(duì)這些N個(gè)投影變換圖像分別與輸入圖像的所對(duì)應(yīng)的特征 點(diǎn)之間的亮度誤差(與第2相似度相對(duì)應(yīng)，以下稱(chēng)為“外觀基礎(chǔ)的相似度”)進(jìn)行計(jì)算。另 外，不限于亮度的誤差，也可以是包含亮度概念的像素值的誤差。另外，作為投影變換的方 法，可以使用例如具有視點(diǎn)變換功能的仿射變換。似然度計(jì)算部14具有第1似然度計(jì)算部141、第2似然度計(jì)算部142和統(tǒng)一似然 度計(jì)算部143。第1似然度計(jì)算部141，基于第1相似度計(jì)算部12所算出的3D模型基礎(chǔ)的相似 度，計(jì)算與該3D模型基礎(chǔ)相似度相對(duì)應(yīng)的似然度(與“第1似然度”相對(duì)應(yīng))。此似然度是 3D模型基礎(chǔ)的方法中的表示臉姿勢(shì)候選的準(zhǔn)確率的值。具體的計(jì)算公式的例子如后所述。第2似然度計(jì)算部142，基于第2相似度計(jì)算部13所算出的外觀基礎(chǔ)的相似度，計(jì) 算與外觀基礎(chǔ)的相似度相對(duì)應(yīng)的似然度(與“第2似然度”相對(duì)應(yīng))。此似然度是外觀基礎(chǔ) 的方法中的表示臉姿勢(shì)候選的準(zhǔn)確率的值。具體的計(jì)算公式的例子如后所述。統(tǒng)一似然度計(jì)算部143，使用第1似然度計(jì)算部141所算出的似然度和第2似然 度計(jì)算部142所算出的似然度這兩方，對(duì)表示構(gòu)成臉姿勢(shì)候選組的各臉姿勢(shì)候選的準(zhǔn)確率 的統(tǒng)一似然度進(jìn)行計(jì)算。另外，在臉器官被隱去等無(wú)法進(jìn)行臉器官檢測(cè)的情況下，由于無(wú)法 計(jì)算3D模型基礎(chǔ)的相似度，統(tǒng)一似然度計(jì)算部143只使用外觀基礎(chǔ)的相似度來(lái)計(jì)算統(tǒng)一似 然度，從而可進(jìn)行臉姿勢(shì)的推定。另外，在由于某些理由不能計(jì)算外觀基礎(chǔ)的相似度的情況 下，只使用3D模型基礎(chǔ)的相似度來(lái)計(jì)算統(tǒng)一似然度，從而可進(jìn)行臉姿勢(shì)的推定。作為使用兩方似然度的具體的統(tǒng)一似然度的計(jì)算方法的例子，統(tǒng)一似然度計(jì)算部 143，對(duì)于相同的臉姿勢(shì)候選，通過(guò)使第1似然度計(jì)算部141所算出的似然度和第2似然度 計(jì)算部142所算出的似然度相乘，來(lái)計(jì)算相對(duì)于所述臉姿勢(shì)候選的統(tǒng)一似然度。這樣通過(guò)使似然度之間相乘，可以將相互獨(dú)立的3D模型基礎(chǔ)的似然度和外觀基礎(chǔ)的似然度作為同 時(shí)產(chǎn)生的似然度來(lái)定位。可以考慮通過(guò)采用這樣同時(shí)產(chǎn)生的似然度，實(shí)現(xiàn)將3D模型基礎(chǔ)與 外觀基礎(chǔ)分別所具有的各個(gè)性能特性(后述)完善后的性能特性。另外，作為統(tǒng)一似然度 的計(jì)算方法，并不僅限于乘法計(jì)算。臉姿勢(shì)推定部15，利用統(tǒng)一似然度計(jì)算部143所算出的統(tǒng)一似然度來(lái)對(duì)臉姿勢(shì)進(jìn) 行推定。具體來(lái)說(shuō)，臉姿勢(shì)推定部15基于對(duì)應(yīng)于統(tǒng)一似然度最高的臉姿勢(shì)候選的臉姿勢(shì)信 息對(duì)臉姿勢(shì)進(jìn)行推定?；蛘撸瑢?duì)于與臉姿勢(shì)候選組的全部或一部分對(duì)應(yīng)的臉姿勢(shì)信息中所 含有的各種數(shù)值，利用平均值、中間值以及根據(jù)統(tǒng)一似然度施行權(quán)重的平均值(重心)中的 任一種來(lái)對(duì)臉姿勢(shì)進(jìn)行推定。例如，也可以對(duì)應(yīng)所算出的最高統(tǒng)一似然度值來(lái)改變這些臉 姿勢(shì)推定方法。臉姿勢(shì)候選組生成部16，生成作為假設(shè)的臉姿勢(shì)候選的集合即臉姿勢(shì)候選組。具 體來(lái)說(shuō)，臉姿勢(shì)候選組生成部16預(yù)先生成作為初始值的任意臉姿勢(shì)候選組。在通過(guò)統(tǒng)一似 然度計(jì)算部143計(jì)算出統(tǒng)一似然度后，為了對(duì)通過(guò)攝影依次輸入的圖像畫(huà)面繼續(xù)進(jìn)行臉姿 勢(shì)推定的處理，而使用統(tǒng)一似然度較大的臉姿勢(shì)候選組來(lái)生成下一個(gè)圖像畫(huà)面的臉姿勢(shì)推 定用的臉姿勢(shì)候選組。(實(shí)施例1在可檢測(cè)規(guī)定臉器官的范圍內(nèi)的臉姿勢(shì)推定)接著，參照?qǐng)D2至圖10對(duì)臉姿勢(shì)推定裝置10所進(jìn)行的臉姿勢(shì)檢測(cè)處理進(jìn)行說(shuō)明。 在本實(shí)施例中，對(duì)于在可檢測(cè)規(guī)定臉器官的范圍內(nèi)的臉姿勢(shì)推定，以對(duì)駕駛車(chē)輛的駕駛員 的臉姿勢(shì)進(jìn)行推定的情況作為例子來(lái)進(jìn)行說(shuō)明。其前提是利用在車(chē)輛內(nèi)設(shè)置的攝影機(jī)對(duì)駕 駛員的臉依次按時(shí)序進(jìn)行攝影，將所攝影到的臉映像作為圖像畫(huà)面輸入到臉姿勢(shì)推定裝置 10。在圖2的St印100中，臉姿勢(shì)推定裝置10取得從輸入接口依次輸入的圖像畫(huà)面的 1個(gè)畫(huà)面圖像。在SteplOl中，臉器官檢測(cè)部11從此畫(huà)面圖像來(lái)進(jìn)行整體臉部的檢測(cè)。畫(huà)面圖像 的臉部檢測(cè)可以使用例如輔助向量器等現(xiàn)存的臉檢測(cè)技術(shù)來(lái)進(jìn)行。在St印102中，判斷整體臉部檢測(cè)是否成功，當(dāng)判斷為成功后進(jìn)入St印103和 St印107。當(dāng)判斷為失敗時(shí)，再次回到St印100，取得下一個(gè)畫(huà)面圖像，重復(fù)進(jìn)行St印101中 的整體臉檢測(cè)處理。在Stepl02中，當(dāng)判斷整體臉部檢測(cè)成功后，同時(shí)實(shí)施第1相似度計(jì)算部12進(jìn)行 的利用3D模型基礎(chǔ)的相似度計(jì)算處理(St印103 105)和第2相似度計(jì)算部13進(jìn)行的利 用外觀基礎(chǔ)的相似度計(jì)算處理(St印107 109)。首先，對(duì)第1相似度計(jì)算部12進(jìn)行的利用3D模型基礎(chǔ)的相似度計(jì)算處理的處理 流程進(jìn)行說(shuō)明。在Stepl03中，利用St印101的整體臉部檢測(cè)結(jié)果來(lái)設(shè)定各自的規(guī)定臉器 官探索區(qū)域，進(jìn)行臉器官檢測(cè)。在臉器官探索區(qū)域內(nèi)的臉器官檢測(cè)可以使用例如輔助向量 器等現(xiàn)存的檢測(cè)技術(shù)來(lái)進(jìn)行。一旦在St印103中的臉器官檢測(cè)處理結(jié)束，就會(huì)在St印105中取得下次的1個(gè)畫(huà) 面圖像，再次重復(fù)St印103的臉器官檢測(cè)處理。當(dāng)St印105和St印103的處理循環(huán)進(jìn)行時(shí)，在St印103中，進(jìn)行在St印106所設(shè)定 的臉器官探索區(qū)域內(nèi)的臉器官檢測(cè)。另外，對(duì)Stepioe的處理在以后進(jìn)行敘述。
在Stepl04中，將每次在Stepl03中進(jìn)行臉器官檢測(cè)所檢測(cè)的臉器官的圖像畫(huà)面 中的位置和在St印106中生成的臉器官坐標(biāo)候選的位置的誤差作為3D模型基礎(chǔ)的相似度 來(lái)計(jì)算。接著，對(duì)第2相似度計(jì)算部13所進(jìn)行的利用外觀基礎(chǔ)的相似度計(jì)算處理的流程進(jìn) 行說(shuō)明。在Stepl07中設(shè)定臉圖像的特征點(diǎn)。臉圖像的特征點(diǎn)是指在給與時(shí)序的圖像畫(huà)面 時(shí)，容易追蹤其圖像的特定位置的點(diǎn)。作為特征點(diǎn)設(shè)定方法的一個(gè)例子，利用SteplOl的整 體臉部檢測(cè)結(jié)果、或利用在SteplOe中所設(shè)定的特征點(diǎn)探索區(qū)域來(lái)決定圖像畫(huà)面內(nèi)的臉面 部上的特征點(diǎn)探索區(qū)域，在此區(qū)域中抽出亮度圖像的邊緣，從跨越該邊緣的點(diǎn)對(duì)之中，選出 多對(duì)兩點(diǎn)間亮度誤差較大的點(diǎn)，將這些點(diǎn)作為特征點(diǎn)。圖3表示圖面上的特征點(diǎn)探索區(qū)域 設(shè)定的一個(gè)例子。如此例這樣，選擇圖面上亮度變化大的臉器官區(qū)域、頭發(fā)和臉面部的邊緣 區(qū)域、或者顎部區(qū)域等作為特征點(diǎn)探索區(qū)域。然后，如圖4所示，將特征點(diǎn)探索區(qū)域內(nèi)的亮 度圖像的邊緣抽出，如圖5所示，從跨越該邊緣的點(diǎn)對(duì)中，選出兩點(diǎn)間亮度誤差較大的多對(duì) 點(diǎn)，將這些點(diǎn)作為特征點(diǎn)。在St印108中，取得下一個(gè)畫(huà)面圖像。在St印109中，將St印106中生成的投影變換圖像群分別和St印108中取得的畫(huà) 面圖像的相對(duì)應(yīng)特征點(diǎn)之間的亮度值的誤差作為外觀基礎(chǔ)相似度來(lái)計(jì)算。在St印106中，進(jìn)行臉姿勢(shì)追蹤處理。圖6是表示St印106的臉姿勢(shì)追蹤處理的流程的圖。主要參照?qǐng)D6，對(duì)St印106的 臉姿勢(shì)追蹤處理進(jìn)行詳細(xì)地說(shuō)明。首先，預(yù)先準(zhǔn)備好3維的臉形狀模型。此3維臉形狀模型是與實(shí)際對(duì)應(yīng)的臉形狀、 例如日本成人男性的平均臉形狀、或者是日本成人女性的平均臉形狀等。另外，也可以是已 測(cè)定的作為臉姿勢(shì)推定對(duì)象的特定個(gè)人的臉形狀。在St印601中，臉姿勢(shì)候選組生成部16，使用所述3維臉形狀模型，對(duì)進(jìn)行推定的 6個(gè)變量的臉姿勢(shì)、即、以正對(duì)攝影機(jī)的臉朝向?yàn)榛鶞?zhǔn)的搖頭(左右轉(zhuǎn)動(dòng))、點(diǎn)頭(前后俯 仰)、傾斜(左右傾斜)的3維和臉形狀模型的中心位置(X坐標(biāo)、Y坐標(biāo)、Z坐標(biāo))的3維 的共計(jì)6個(gè)變量，生成各自采用獨(dú)立的隨機(jī)數(shù)的臉姿勢(shì)的分布(概率密度函數(shù))。在本實(shí) 施例中，將該臉姿勢(shì)的分布生成為共計(jì)500 ( = N)個(gè)，將臉姿勢(shì)候選的集合作為臉姿勢(shì)候選 組，該臉姿勢(shì)候選是表現(xiàn)各個(gè)這些分布的假設(shè)。圖7表示具有兩眼內(nèi)眼角和外眼角、兩唇角等配置的3維臉形狀模型的一個(gè)例子。 在此3維臉形狀模型的中，對(duì)于左右轉(zhuǎn)動(dòng)、前后俯仰、左右傾斜的臉朝向以及3維臉形狀模 型的中心坐標(biāo)的位置，通過(guò)利用隨機(jī)數(shù)來(lái)生成分布，從而生成500個(gè)臉姿勢(shì)。此臉姿勢(shì)的分 布分別具有內(nèi)眼角和外眼角、兩嘴角等的3維配置。在St印602中，通過(guò)將St印601中生成的500個(gè)3維的各臉姿勢(shì)候選向圖像畫(huà)面上 進(jìn)行投影，來(lái)計(jì)算對(duì)應(yīng)于各臉姿勢(shì)候選的在圖像畫(huà)面內(nèi)的臉器官的2維坐標(biāo)。將對(duì)500個(gè) 臉姿勢(shì)候選所算出的該2維坐標(biāo)作為臉器官坐標(biāo)候選組。此臉器官坐標(biāo)候選組，在圖2所 示的Stepl04中，用于將該臉器官坐標(biāo)候選組分別與實(shí)際的臉器官的坐標(biāo)之間的誤差作為 3D模型基礎(chǔ)的相似度來(lái)計(jì)算。圖8表示在Step602中所算出的臉器官的2維坐標(biāo)的分布的例子。此例是利用投 影變換，將在St印601中生成的3維臉形狀模型的內(nèi)眼角和外眼角、唇角、鼻孔的3維配置的組合分布變換成圖像畫(huà)面內(nèi)的2維坐標(biāo)的分布，分布用白點(diǎn)來(lái)表示。在St印605中，第1似然度計(jì)算部141，將在圖2的St印104中所算出的500個(gè)3D 模型基礎(chǔ)的相似度分別用(1)式變換成似然度Pp。這里，(Xm、ym)是從攝影所得的畫(huà)面圖 像檢測(cè)的臉器官的坐標(biāo)，(xd>yd)是由500個(gè)臉器官坐標(biāo)候選構(gòu)成的臉器官坐標(biāo)候選組。另 外，σ表示由500個(gè)臉器官坐標(biāo)候選構(gòu)成的臉器官坐標(biāo)候選組的標(biāo)準(zhǔn)偏差，e表示自然對(duì)數(shù) 底。(數(shù)1)
權(quán)利要求
一種臉姿勢(shì)推定裝置，根據(jù)對(duì)臉按時(shí)序進(jìn)行攝影所得到的臉圖像來(lái)對(duì)臉姿勢(shì)進(jìn)行推定，該臉姿勢(shì)至少表示所述臉的朝向，該臉姿勢(shì)推定裝置的特征在于，具有臉器官檢測(cè)單元，其根據(jù)所述臉圖像對(duì)臉器官進(jìn)行檢測(cè)；臉姿勢(shì)候選組生成單元，其生成作為臉姿勢(shì)候選的集合的臉姿勢(shì)候選組，該臉姿勢(shì)候選是所推定的臉姿勢(shì)的候選；第1相似度計(jì)算單元，計(jì)算根據(jù)第1參數(shù)的第1相似度，所述第1參數(shù)與所述臉姿勢(shì)候選組生成單元所生成的臉姿勢(shì)候選組的各個(gè)臉器官的各個(gè)位置以及所述臉器官檢測(cè)單元所檢測(cè)到的實(shí)際臉器官的各個(gè)位置對(duì)應(yīng)；第2相似度計(jì)算單元，計(jì)算根據(jù)與像素值對(duì)應(yīng)的第2參數(shù)的第2相似度，所述像素值對(duì)應(yīng)于所述臉姿勢(shì)候選生成單元所生成的臉姿勢(shì)候選組的各個(gè)臉圖像以及由于所述臉器官檢測(cè)單元而成為檢測(cè)對(duì)象的實(shí)際的臉圖像的、與各個(gè)規(guī)定的基準(zhǔn)姿勢(shì)之間的位移；第1似然度計(jì)算單元，計(jì)算與所述第1相似度計(jì)算單元所算出的第1相似度對(duì)應(yīng)的第1似然度；第2似然度計(jì)算單元，計(jì)算與所述第2相似度計(jì)算單元所算出的第2相似度對(duì)應(yīng)的第2似然度；統(tǒng)一似然度計(jì)算單元，使用所述第1似然度和所述第2似然度，計(jì)算表示所述臉姿勢(shì)候選組各個(gè)準(zhǔn)確率的統(tǒng)一似然度；臉姿勢(shì)推定單元，使用由所述統(tǒng)一似然度計(jì)算單元算出的統(tǒng)一似然度對(duì)臉姿勢(shì)進(jìn)行推定；所述統(tǒng)一似然度反映到所述臉姿勢(shì)候選生成單元所生成的臉姿勢(shì)候選組的新的更新生成。
2.如權(quán)利要求1所述的臉姿勢(shì)推定裝置，其特征在于，所述統(tǒng)一似然度計(jì)算單元，當(dāng)所 述第1似然度或所述第2似然度中的任一個(gè)無(wú)法計(jì)算時(shí)，只使用所算出的一方的似然度來(lái) 計(jì)算所述統(tǒng)一似然度。
3.如權(quán)利要求1或2所述的臉姿勢(shì)推定裝置，其特征在于，所述第1相似度計(jì)算單元和 所述第2相似度計(jì)算單元具有對(duì)各性能特性進(jìn)行補(bǔ)充的補(bǔ)充關(guān)系。
4.如權(quán)利要求1至3中的任一項(xiàng)所述的臉姿勢(shì)推定裝置，其特征在于，所述統(tǒng)一似然度 計(jì)算單元，將所述第1似然度和所述第2似然度相乘。
5.如權(quán)利要求1至4中的任一項(xiàng)所述的臉姿勢(shì)推定裝置，其特征在于，所述第1相似度 計(jì)算單元是采用3維臉形狀模型基礎(chǔ)的相似度計(jì)算單元，所述第1參數(shù)是位置的誤差，所述 第2相似度計(jì)算單元是采用投影變換外觀基礎(chǔ)的相似度計(jì)算單元，所述第2參數(shù)是像素值 的誤差。
6.如權(quán)利要求1至5中的任一項(xiàng)所述的臉姿勢(shì)推定裝置，其特征在于，所述臉姿勢(shì)推動(dòng) 單元，基于所述統(tǒng)一似然度計(jì)算單元所算出的統(tǒng)一似然度為最高的臉姿勢(shì)候選來(lái)對(duì)臉姿勢(shì) 進(jìn)行推定。
7.如權(quán)利要求1至5中的任一項(xiàng)所述的臉姿勢(shì)推定裝置，其特征在于，所述臉姿勢(shì)推定 單元，基于數(shù)值的平均值、中間值以及施行了采用所述統(tǒng)一似然度的加權(quán)的平均值即重心 中的任一個(gè)來(lái)對(duì)臉姿勢(shì)進(jìn)行推定，該數(shù)值基于所述臉姿勢(shì)候選組生成單元所生成的臉姿勢(shì) 候選組的至少一部分。
8.如權(quán)利要求1至5中的任一項(xiàng)所述的臉姿勢(shì)推定裝置，其特征在于，當(dāng)所述統(tǒng)一似然 度計(jì)算單元所算出的最高統(tǒng)一似然度超過(guò)規(guī)定閾值時(shí)，所述臉姿勢(shì)推定單元基于與所述最 高統(tǒng)一似然度對(duì)應(yīng)的臉姿勢(shì)候選來(lái)對(duì)臉姿勢(shì)進(jìn)行推定，當(dāng)所述最高統(tǒng)一似然度在規(guī)定閾值以下時(shí)，所述臉姿勢(shì)推定單元基于數(shù)值的平均值、 中間值以及施行了采用所述統(tǒng)一似然度的加權(quán)的平均值即重心中的任一個(gè)來(lái)對(duì)臉姿勢(shì)進(jìn) 行推定，該數(shù)值基于所述臉姿勢(shì)候選組生成單元所生成的臉姿勢(shì)候選組的至少一部分。
9.如權(quán)利要求1至8中的任一項(xiàng)所述的臉姿勢(shì)推定裝置，其特征在于，所述臉姿勢(shì)候選 組生成單元，基于與所述統(tǒng)一似然度計(jì)算單元所算出的統(tǒng)一似然度中的較高統(tǒng)一似然度對(duì) 應(yīng)的臉姿勢(shì)候選組，生成在下次的所述第1相似度和所述第2相似度的計(jì)算中使用的臉姿 勢(shì)候選組。
10.如權(quán)利要求1至9中的任一項(xiàng)所述的臉姿勢(shì)推定裝置，其特征在于，所述臉圖像是 對(duì)車(chē)輛駕駛員的臉進(jìn)行攝影所得到的圖像。
11.一種車(chē)輛，具有如權(quán)利要求1至10中的任一項(xiàng)所述的臉姿勢(shì)推定裝置。
12.一種臉姿勢(shì)推定方法，根據(jù)對(duì)臉按時(shí)序進(jìn)行攝影所得到的臉圖像來(lái)對(duì)臉姿勢(shì)進(jìn)行 推定，該臉姿勢(shì)至少表示所述臉的朝向，該臉姿勢(shì)推定方法的特征在于，具有臉器官檢測(cè)步驟，其根據(jù)所述臉圖像對(duì)臉器官進(jìn)行檢測(cè)；臉姿勢(shì)候選組生成步驟，其生成作為臉姿勢(shì)候選的集合的臉姿勢(shì)候選組，該臉姿勢(shì)候 選是所推定的臉姿勢(shì)的候選；第1相似度計(jì)算步驟，計(jì)算根據(jù)第1參數(shù)的第1相似度，所述第1參數(shù)與所述臉姿勢(shì)候 選組生成步驟中生成的臉姿勢(shì)候選組的各個(gè)臉器官的各個(gè)位置以及所述臉器官檢測(cè)單元 所檢測(cè)到的實(shí)際臉器官的各個(gè)位置對(duì)應(yīng)；第2相似度計(jì)算步驟，計(jì)算根據(jù)與像素值對(duì)應(yīng)的第2參數(shù)的第2相似度，所述像素值對(duì) 應(yīng)于所述臉姿勢(shì)候選生成步驟中生成的臉姿勢(shì)候選組的各個(gè)臉圖像以及在所述臉器官檢 測(cè)步驟中成為檢測(cè)對(duì)象的實(shí)際的臉圖像的、與各個(gè)規(guī)定的基準(zhǔn)姿勢(shì)之間的位移；第1似然度計(jì)算步驟，計(jì)算與所述第1相似度計(jì)算步驟中算出的第1相似度對(duì)應(yīng)的第 1似然度；第2似然度計(jì)算步驟，計(jì)算與所述第2相似度計(jì)算步驟中算出的第2相似度對(duì)應(yīng)的第 2似然度；統(tǒng)一似然度計(jì)算步驟，使用所述第1似然度和所述第2似然度，計(jì)算表示所述臉姿勢(shì)候 選組各個(gè)準(zhǔn)確率的統(tǒng)一似然度；臉姿勢(shì)推定步驟，使用所述統(tǒng)一似然度計(jì)算步驟中算出的統(tǒng)一似然度對(duì)臉姿勢(shì)進(jìn)行推定。
13.一種臉姿勢(shì)推定程序，其特征在于，用于使計(jì)算機(jī)執(zhí)行以下步驟臉器官檢測(cè)步驟，其根據(jù)對(duì)臉按時(shí)序進(jìn)行攝影所得到的臉圖像對(duì)臉器官進(jìn)行檢測(cè)；臉姿勢(shì)候選組生成步驟，其生成作為臉姿勢(shì)候選的集合的臉姿勢(shì)候選組，該臉姿勢(shì)候 選是所推定的臉姿勢(shì)的候選；第1相似度計(jì)算步驟，計(jì)算根據(jù)第1參數(shù)的第1相似度，所述第1參數(shù)與所述臉姿勢(shì)候 選組生成步驟中生成的臉姿勢(shì)候選組的各個(gè)臉器官的各個(gè)位置以及所述臉器官檢測(cè)單元 所檢測(cè)到的實(shí)際臉器官的各個(gè)位置對(duì)應(yīng)；第2相似度計(jì)算步驟，計(jì)算根據(jù)與像素值對(duì)應(yīng)的第2參數(shù)的第2相似度，所述像素值對(duì) 應(yīng)于所述臉姿勢(shì)候選生成步驟中生成的臉姿勢(shì)候選組的各個(gè)臉圖像以及在所述臉器官檢 測(cè)步驟中成為檢測(cè)對(duì)象的實(shí)際的臉圖像的、與各個(gè)規(guī)定的基準(zhǔn)姿勢(shì)之間的位移；第1似然度計(jì)算步驟，計(jì)算與所述第1相似度計(jì)算步驟中算出的第1相似度對(duì)應(yīng)的第 1似然度；第2似然度計(jì)算步驟，計(jì)算與所述第2相似度計(jì)算步驟中算出的第2相似度對(duì)應(yīng)的第 2似然度；統(tǒng)一似然度計(jì)算步驟，使用所述第1似然度和所述第2似然度，計(jì)算表示所述臉姿勢(shì)候選組各個(gè)準(zhǔn)確率的統(tǒng)一似然度；臉姿勢(shì)推定步驟，使用所述統(tǒng)一似然度計(jì)算步驟中算出的統(tǒng)一似然度對(duì)臉姿勢(shì)進(jìn)行推定。
全文摘要
文檔編號(hào)G06T7/00GK101952853SQ20098010265
公開(kāi)日2011年1月19日 申請(qǐng)日期2009年1月16日 優(yōu)先權(quán)日2008年1月16日
發(fā)明者Sasahara Hideaki, Noguchi Yoshihiro, Shimada Keiji 申請(qǐng)人:Asahi Chemical Ind