本發(fā)明涉及計算機多媒體信息處理與人機交互領域。

背景技術：

色彩作為藝術作品的基本要素之一，在我們的生活中無處不在。色彩使我們具有了感知美、創(chuàng)造美的能力，我們能感受到紅色的溫暖、橙色的活潑、黃色的明亮、綠色的蓬勃、藍色的沉穩(wěn)、紫色的高貴、黑色的莊重，白色的純真。馬克思曾說，色彩的感覺是一般美感中最大眾化的形式，可見色彩的美學價值。色彩在設計方面獨特的意蘊，是形體、線條和明暗等要素所無法替代的，是藝術作品傳達情感的重要手段。

俄國文藝理論家車爾尼雪夫斯基曾經(jīng)論述過，藝術來源于生活，卻又高于生活。優(yōu)秀的藝術作品離不開對現(xiàn)實生活的觀察?；ヂ?lián)網(wǎng)上用戶上傳的大量圖像提供了現(xiàn)實生活的視覺影像。于是如何從大量的圖像數(shù)據(jù)中提取藝術配色成為我們關注的問題。我們擬構建一個系統(tǒng)，能夠通過檢索關鍵詞得到與關鍵詞情感相符的色彩分布，實現(xiàn)基于情感的色彩提取。

面向情感的色彩提取系統(tǒng)可以看作是圖像檢索的延伸。對于圖像檢索的研究從20世紀70年代就開始了，當時的研究方向為基于文本的圖像檢索技術。基于文本的圖像檢索技術將對圖像的檢索要求轉化為對關鍵字的查找，為圖像建立了一個索引數(shù)據(jù)庫，將圖像相應的關鍵詞或者描述字段存入其中，最終用戶請求檢索圖像時，系統(tǒng)將檢索索引數(shù)據(jù)庫。該技術易于實現(xiàn)，但其表述能力有限，不能充分表達出圖像的豐富內(nèi)涵，同時人工標注所占的部分太大，無法滿足日漸增多的海量數(shù)據(jù)的需求。該技術的典型應用為yahoo！picture-gallery和ditto。

到20世紀90年代，基于內(nèi)容的圖像檢索技術被提出，該技術提取圖像中的視覺特征作為索引，以此索引實現(xiàn)以圖搜圖。其實現(xiàn)主要依賴于圖像特征的提取和匹配。視覺特征即指圖像的顏色、紋理、形狀等特征，現(xiàn)有的特征提取技術有顏色直方圖、顏色相關圖、紋理統(tǒng)計法、紋理結構法、基于邊緣的形狀檢測和基于區(qū)域的形狀檢測等。因為人對圖像相似性的判別依據(jù)與計算機對相似性的判別依據(jù)并不相同，語義鴻溝無法避免，目前基于內(nèi)容的圖像檢索技術雖然能應對海量增長的數(shù)據(jù)，卻無法實現(xiàn)高層語義。該技術的典型應用為qbic、mars和photobook。

盡管基于內(nèi)容圖像檢索技術在不斷進步，我們注意到，當檢索要求中帶有色彩時，檢索結果往往不盡如人意。造成這一結果的主要原因是大量圖像并不帶有顏色標簽，而當前圖像自動標注的重點是圖中的物體而不是顏色。如檢索“紅色的車”，當圖像不帶有“紅色”標簽時，我們就無法檢索到關于紅車的圖像。并且，由于語義鴻溝的存在，基于內(nèi)容的圖像檢索技術對于情感類關鍵詞的檢索結果一直差強人意。要實現(xiàn)基于情感的色彩提取系統(tǒng)，需要解決兩個關鍵問題：如何確定圖像的情感，以及如何提取圖像主顏色。本系統(tǒng)從人對圖像顏色的判別入手，除去圖像的背景色，提取出圖像的主顏色，同時優(yōu)化圖像標簽，對圖像標簽排序，使用戶提取到的色彩信息科學可信。

技術實現(xiàn)要素：

本發(fā)明針對通過現(xiàn)實生活中的圖像獲取藝術色彩搭配這個問題，提供了一種以基于內(nèi)容圖像檢索為基礎、實現(xiàn)了情感類關鍵詞檢索并進行情感可視化表達的的圖像色彩提取方法。所述方法包括以下步驟：

s101、在服務器和客戶端之間建立通信連接，獲取用戶的檢索需求；

s102、在所述服務器端的預先構建的圖像數(shù)據(jù)庫中選取符合文字標簽檢索要求的圖像；

s103、在所述選取出的圖像集中選取符合色彩標簽檢索要求的圖像；

s104、對所述選取出的圖像集自動分析、提取主顏色，在客戶端顯示，從而實現(xiàn)對圖像色彩的提取。

由于通過檢索選出的圖像結合了圖像的語義信息和顏色信息，因此提取出的色彩信息更加科學，更具有藝術參考價值。

根據(jù)本發(fā)明的一個實施例，所述用戶的檢索要求可以包括文字標簽檢索和顏色標簽檢索。文字標簽以文本搜索框形式進行搜索，顏色標簽以復選框形式進行搜索，方便用戶提出確切的搜索信息。

根據(jù)本發(fā)明的一個實施例，在所述步驟s102之前，還包括將所述服務器端的預先存儲的圖像數(shù)據(jù)庫中的圖像進行圖像特征提取、標簽模型訓練和圖像標簽預測的步驟。這些步驟使得用戶能夠根據(jù)文本標簽更準確的檢索那些未被標注或者缺乏標注信息的圖像。

根據(jù)本發(fā)明的一個實施例，在所述步驟s102之前，還包括將所述服務器端的預先存儲的圖像數(shù)據(jù)庫中的圖像進行圖像主要顏色提取和命名的步驟。對圖像進行主要顏色提取和命名，使檢索到的圖像集能夠最終以色譜的形式作可視化呈現(xiàn)，給藝術創(chuàng)作以參考價值。

根據(jù)本發(fā)明的一個實施例，在所述步驟s102之前，還包括將所述服務器端的預先存儲的圖像數(shù)據(jù)庫中的圖像進行預測圖像色彩類別的步驟。對圖像進行預測圖像色彩類別，使用戶能夠根據(jù)顏色標簽檢索圖像，通過選擇圖像的色彩類別確定提取的主顏色的色調(diào)。

根據(jù)本發(fā)明的一個實施例，所述系統(tǒng)還包括用于將所述服務器端的預先存儲的圖像數(shù)據(jù)庫中的圖像進行預測圖像色彩類別的圖像色彩判別單元。

本發(fā)明帶來以下有益效果：(1)結合了基于內(nèi)容圖像檢索技術和圖像主顏色提取技術的優(yōu)點，從而提高了檢索結果的準確度；(2)增加了對顏色標簽的選擇，從而能夠選擇用戶需要的色調(diào)形成配色結果；(3)最終結果以色輪形式表示，能夠顯示具體的顏色、顏色名稱以及比例，具有良好的藝術參考價值。因此，采用本發(fā)明的色彩提取方案能夠用于現(xiàn)實生活中的各種藝術配色方案當中，從而使藝術來源于生活。

本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在說明書、權利要求書以及附圖中所特別指出的結構來實現(xiàn)和獲得。

附圖說明

圖1a顯示了現(xiàn)在主要應用的基于文本的圖像檢索技術的實施例；

圖1b顯示了現(xiàn)有的基于內(nèi)容的圖像檢索技術的實施例；

圖1c顯示了現(xiàn)有的根據(jù)顏色檢索圖像的實施例；

圖2顯示了根據(jù)本發(fā)明實現(xiàn)的一個實施例；

圖3顯示了根據(jù)本發(fā)明的思想搭建的系統(tǒng)框架；

圖4顯示了根據(jù)本發(fā)明在服務器端和客戶端之間進行通信的原理圖；

圖5顯示了根據(jù)本發(fā)明對圖像進行提取圖像特征、訓練特征模型和預測圖像標簽類別的圖像預處理方法流程圖；

圖6顯示了根據(jù)本發(fā)明對圖像進行主顏色提取和判別的方法流程圖；

圖7顯示了根據(jù)本發(fā)明對圖像進行預測色彩類別的方法流程圖；

圖8是根據(jù)本發(fā)明一個實施例對圖像檢索結果進行圖像預處理前、后的比較示例圖；

圖9是根據(jù)本發(fā)明一個實施例對圖像檢索結果進行色彩類別選擇處理前、后的比較示例圖。

具體實施方式

以下將結合附圖及實施例來詳細說明本發(fā)明的實施方式，借此對本發(fā)明如何應用技術手段來解決技術問題，并達成技術效果的實現(xiàn)過程能充分理解并據(jù)以實施。需要說明的是，只要不構成沖突，本發(fā)明中的各個實施例以及各實施例中的各個特征可以相互結合，所形成的技術方案均在本發(fā)明的保護范圍之內(nèi)。

另外，在附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

本發(fā)明的方法的可移植性良好，可以用于任何安裝了python語言編譯器的操作系統(tǒng)。主要在于實現(xiàn)一個包含服務器端和客戶端的基于情感的色彩提取系統(tǒng)，具體包含對圖像的各種處理方法。

下面，具體介紹根據(jù)本發(fā)明的方法如何實現(xiàn)基于情感的色彩提取方法。

如圖3所示，其中顯示了根據(jù)本發(fā)明的思想搭建的系統(tǒng)框架。用戶在客戶端輸入具體的檢索要求，通過網(wǎng)絡發(fā)送給服務器端。服務器端對數(shù)據(jù)庫進行查詢。數(shù)據(jù)庫中是對圖像進行過圖像處理后存儲的圖像數(shù)據(jù)，包括文本標簽數(shù)據(jù)和顏色標簽數(shù)據(jù)。數(shù)據(jù)庫將查詢結果反饋給服務器端，服務器端在通過網(wǎng)絡將檢索結果返回客戶端。

在步驟s101中，利用web.py在服務器和客戶端之間建立通信連接，獲取用戶的檢索要求。web.py是一款輕量級的pythonweb開發(fā)框架，它簡單而且功能強大，適合剛剛入門的人使用。它使在python里編寫html變的更加簡單，并且提供模板文件供開發(fā)者編寫。在python的六大開源框架中，web.py在開發(fā)的簡易性方面得分最高。目前web.py被廣泛運用在許多大型網(wǎng)站，如俄羅斯主流搜索引擎yandex(主頁日平均訪問量達到7000萬次)、西班牙的知名社交網(wǎng)站frinki等。

如圖4所示，其中顯示了根據(jù)本發(fā)明在服務器端和客戶端之間進行通信的原理圖。首先客戶在瀏覽器(即客戶端)中輸入網(wǎng)址，假設使用http://0.0.0.0:9999這個網(wǎng)址，這時瀏覽器會通過電腦的網(wǎng)絡設備經(jīng)由線路a發(fā)出request；request經(jīng)由線路b被傳送到互聯(lián)網(wǎng)，又經(jīng)由線路c到達遠端服務器，此時服務器接受request，并經(jīng)由線路d傳送給我們的web應用程序，此時我們的python代碼會運行index.get這個處理程序；當代碼運行到return的時候，我們的python服務器就會發(fā)出響應response，最后這個響應經(jīng)由線路d、c、b、a被傳回瀏覽器。

在web.py中，我們需要編寫兩個方法：get和post。get方法用來請求一個頁面，而post方法用來提交特定類型的表單。另外，我們還需要編寫模板。web.py使我們能按照一定的規(guī)則，在html文件中編寫python代碼，使html文件的內(nèi)容可以實時運算與展開，利于其與數(shù)據(jù)庫的交互。

在步驟s102之前，需要完成三個預備工作：(1)對圖像進行提取圖像特征、訓練特征模型和預測圖像標簽類別的圖像預處理工作；(2)對圖像進行圖像主要顏色提取和命名；(3)對圖像進行圖像色彩類別預測。

如圖5所示，其中顯示了根據(jù)本發(fā)明對圖像進行圖像預處理的方法流程圖。

第一步是確定檢索關鍵詞。系統(tǒng)中除了要有具象化的關鍵詞，如天空、草地，還要有抽象的情感類的關鍵詞，如清爽、恐懼、刺激等，這里我們以小林重順2006年出版的《色彩心理探析》(p11)為參考對象來選取關鍵詞。

接著按照關鍵詞爬取圖像數(shù)據(jù)。爬取到的數(shù)據(jù)本身帶有一定數(shù)目的標簽，這些標簽可能是上傳用戶手工標注的，也可能是來源于網(wǎng)頁文本的，都不一定準確。對于具象化的關鍵詞，如天空、草地等，用戶的標注可能還比較準確，但對于抽象化的關鍵詞，如清爽、恐懼、刺激等，用戶的標注可能就存在比較大的誤差，我們需要對抓取到的標簽為抽象化的關鍵詞的圖像數(shù)據(jù)進行人工處理。通過人工判別一張圖像標注的抽象化關鍵詞是否合適來確定訓練數(shù)據(jù)的正例和負例。

我們采用的圖像特征提取方法基于預先訓練的深度卷積神經(jīng)網(wǎng)絡。

訓練特征模型與測試圖像則要用到圖像特征的匹配算法，常用的匹配算法有統(tǒng)計法、幾何法、模型法等。一般匹配算法都要處理好4個關鍵要素，即特征空間、相似性度量、圖像匹配變換類型、變換參數(shù)的搜索。

我們采用的特征訓練模型是基于支持向量機的線性分類器。經(jīng)過訓練和測試后，我們可以得到每個圖像屬于該類別的分數(shù)，將該分數(shù)按照降序排序，得到最終的標簽排序文件。

標簽排序文件保留圖像各標簽的排序得分，其格式如表2所示，即其格式為imagetagfeature＝{image_id,(tag1,p1),(……)……}。其中(標簽，可能性)是一個二元組。在系統(tǒng)根據(jù)用戶的要求檢索圖像時，將根據(jù)表1的格式讀入圖像的標簽特征并進行處理。標簽評分高的圖像將被排列在前面顯示。

表1存儲圖像標簽排序的數(shù)據(jù)結構

如圖6所示，其中顯示了根據(jù)本發(fā)明對圖像進行主顏色提取和判別的方法流程圖。首先要注意的是，在人眼看來相同的顏色會因為像素值的差異而被計算機判別為不同的顏色，如何使人眼與計算機達成一致，是提取圖像主顏色的關鍵。對于一幅圖像i(x)，其中x＝(x,y)^t表示一個像素，且該像素的顏色為c＝(r,g,b)^t。我們的目標是提取這幅圖像的主顏色以及相應的顏色比例ci＝{(cni,pi),i＝1,2,…n}，其中n代表我們所允許的最大主顏色數(shù)目，cni代表所提取的主顏色，以#xxxxxx這種十六進制形式表示，pi代表cni這種顏色占整個圖像的顏色比例。

用戶在搜索圖像時，有些圖像的背景色是沒有絲毫意義的，但是這種背景色卻會成為我們提取主顏色的干擾，所以在提取圖像的主顏色之前，我們要先判別這種顏色是否是背景色。我們?nèi)∫粋€閾值bg_threshold，認為在我們對圖像進行處理前，若有一種顏色——這里的顏色區(qū)別于人眼所見，是計算機判別的一種顏色，其所占像素比例超過了這個閾值，那么這個顏色就是背景色。因為對于有些圖像，我們?nèi)搜鄄⒉荒芸闯鲱伾兓?，比如天空或者草地的圖像，我們只能看出顏色有細微的漸變，但是計算機卻能通過精準的十六進制顏色代碼知道圖片中的顏色是不大一樣的。只有每個像素的十六進制顏色代碼都相同，累加起來超過了閾值，才會被判別為背景色。

或者我們?nèi)D像邊緣上的8個點進行判別。對于高為h，寬為w的圖像i(x)，若點(0,0)、(0,h/2)、(0,h-1)、(w/2,h-1)、(w-1,h-1)、(w-1,h/2)、(w-1,0)、(w/2,0)這8個點中有半數(shù)以上的點的十六進制顏色代碼是相同的，且我們提取出的主顏色中有該十六進制代碼，那么我們認為這個顏色是背景色，因為這個顏色占據(jù)了圖像顏色相當大的比重且分布在邊緣。

為了從一張給定的圖像中提取主要顏色，我們需要統(tǒng)計各個顏色在該圖像中所占的比例。盡管在理論上因為像素值是整數(shù)，我們可以計算每個顏色的頻率，但這會導致顏色過于碎片化，使得統(tǒng)計失去意義。因此，我們首先需要在色彩空間對顏色進行量化。表征圖像顏色的色彩空間有多種，如rgb空間、hsv空間、lab空間等。其中最接近人眼的顏色空間為lab空間。lab空間是顏色—對立空間，其中的l代表明度，a代表顏色從深綠色(低亮度值)到灰色(中亮度值)再到亮粉紅色(高亮度值)的變化，b代表顏色從亮藍色(低亮度值)到灰色(中亮度值)再到黃色(高亮度值)的變化。在lab空間中，不同顏色之間的距離被稱為delta-e，寫作一般認為，當顏色a與顏色b的時，人眼不能區(qū)分出這兩種顏色的差別。我們可以利用這一點，使計算機識別出的顏色與人眼達到最大程度的接近。計算的公式為：

其中是顏色a的lab空間顏色，是顏色b的lab空間顏色。

為利用lab空間的值對顏色進行量化，首先要將圖像的顏色表示從rgb空間轉化到lab空間。在rgb空間與lab空間之間沒有轉換的簡單公式，因為rgb空間是設備依賴的。rgb空間的色彩值必須被變換到特定的絕對色彩空間中，比如srgb或adobergb，才能被進一步轉換到lab空間。這里我們將rgb空間轉化為srgb，再轉化為lab空間。其中srgb空間是gamma校準系數(shù)為2.2的色彩空間。

成功將rgb空間轉化到lab空間后，我們將的顏色合并，并將合并后的顏色按像素個數(shù)的多少降序排序，計算每個顏色在圖像總體中所占的百分比，得到pi。同時，考慮到飽和度越高的顏色越容易被人眼識別，飽和度低且占圖像總體百分比小于閾值的顏色可以忽略不計。

經(jīng)過處理背景顏色、提取圖像的主要顏色，我們得到的顏色結果是以c＝(r,g,b)^t的形式表示的，需要對其進行進一步的處理，以得到十六進制的顏色代碼#xxxxxx與顏色名稱。c＝(r,g,b)^t向c＝#xxxxxx的轉化很容易，只要將以十進制表示的(r,g,b)^t轉化為十六進制數(shù)字并連在一起形成字符串即可，難的是如何找到這個顏色對應的顏色名稱。

在網(wǎng)頁中，已經(jīng)被命名的顏色為有限個，且相應的十六進制代碼已知。因為我們要實現(xiàn)的是依托于web網(wǎng)頁的搜索系統(tǒng)，所以若顏色c與已被命名的顏色代碼一致，則可直接得到顏色名稱；若沒有與顏色c對應的顏色代碼，則進行一輪歐幾里得距離計算，將該顏色命名為與它距離最小的那個顏色。歐幾里得距離的計算公式如下：

其中c＝(r,g,b)^t為待求名稱的顏色，t＝(rt,gt,bt)^t,t＝1,2,…n，為網(wǎng)絡中已被命名的各個顏色。

最終圖像的主顏色文件保留圖像主顏色的十六進制顏色代碼、相應的比例及顏色名稱，其格式如表1所示，即其格式為imagecolorfeature＝{image_id,(color_code,color_name,color_weight),(……)，……}。其中(顏色代碼，顏色名稱，顏色比重)是一個三元組。在系統(tǒng)根據(jù)用戶的要求檢索圖像時，將根據(jù)表2的格式讀入圖像的顏色特征并進行處理。

表2存儲圖像主顏色的數(shù)據(jù)結構

如圖7所示，其中顯示了根據(jù)本發(fā)明對圖像進行預測色彩類別的方法流程圖。首先需要明確的是，藝術配色是要根據(jù)色調(diào)搭配的，色調(diào)即為色彩的總體傾向，也就是大的色彩效果，暖色調(diào)與冷色調(diào)的搭配效果是不同的。本發(fā)明采用孟塞爾色彩系統(tǒng)對圖像進行色彩類別預測。

孟塞爾色彩系統(tǒng)(munsellcolorsystem)是色度學(或比色法)里透過明度(value)、色相(hue)及彩度(chroma)三個維度來描述顏色的方法。這個顏色描述系統(tǒng)是由美國籍美術教育家阿爾伯特·孟塞爾在1898年創(chuàng)制的，至今仍是比較色法的標準。

孟塞爾顏色系統(tǒng)色相的基本色是能夠形成視覺上的等間隔的紅(r)、黃(y)、綠(g)、藍(b)、紫(p)五種顏色，再把他們中間插入黃紅(yr)、黃綠(gy)、藍綠(bg)、藍紫(pb)、紅紫(rp)五種顏色，組成十種顏色的基本色相。

我們利用孟塞爾顏色系統(tǒng)限制配色結果。如可以檢索“紅色+愛意”，得到主體色是紅色，關鍵詞是愛意的色彩提取結果。利用經(jīng)過像素分布統(tǒng)計得到的一系列顏色結果c＝(r,g,b)^t，與孟塞爾色彩系統(tǒng)的十個基本色相計算進行一輪歐幾里得距離計算(計算公式顏色命名部分已提及)，取閾值color_threshold，若計算結果小于閾值，則認為該顏色結果近似于該基本色相。

完成以上三個預備工作后，可以進行步驟s102和s103，得到符合用戶要求的圖像集合。

在步驟s104中，最終結果以色輪的樣式顯示，如圖2所示。

根據(jù)本發(fā)明的另一個方面，還提供了一種基于情感的色彩提取系統(tǒng)，其包括：連接單元，在服務器和客戶端之間建立通信連接，獲取用戶的檢索要求；文字標簽圖像集選取單元，用于在所述服務器端的預先存儲的圖像數(shù)據(jù)庫中選取符合文字標簽檢索要求的圖像；色彩標簽圖像集選取單元，用于在所述選取出的圖像集中選取符合色彩標簽檢索要求的圖像；色彩提取結果顯示單元，用于對所述選取出的圖像集提取主顏色，在客戶端顯示，從而實現(xiàn)對圖像色彩的提取。

此外，系統(tǒng)還包括用于將所述服務器端的預先存儲的圖像數(shù)據(jù)庫中的圖像進行提取圖像特征、訓練特征模型和預測圖像標簽類別的圖像預處理單元，用于將所述服務器端的預先存儲的圖像數(shù)據(jù)庫中的圖像進行圖像主要顏色提取和命名的圖像色彩處理單元和用于將所述服務器端的預先存儲的圖像數(shù)據(jù)庫中的圖像進行預測圖像色彩類別的圖像色彩判別單元。

實現(xiàn)以上單元的方式在上文已經(jīng)提及，這里不再贅述。

雖然本發(fā)明所揭露的實施方式如上，但所述的內(nèi)容只是為了便于理解本發(fā)明而采用的實施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬技術領域內(nèi)的技術人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實施的形式上及細節(jié)上作任何的修改與變化，但本發(fā)明的專利保護范圍，仍須以所附的權利要求書所界定的范圍為準。