與本公開的示例實施例一致的系統(tǒng)和方法涉及提供用于審核標注圖像數(shù)據(jù)集的圖像檢查質(zhì)量的方法。

背景技術(shù)：

1、標注圖像數(shù)據(jù)集被用于各種人工智能(artificial?intelligence，ai)過程中，例如，用作用于訓練計算機視覺ai模型的訓練數(shù)據(jù)集、用作用于評估ai模型性能的評估數(shù)據(jù)集等。在相關(guān)技術(shù)中，由圖像標注者(例如，第三方標注供應(yīng)商)提供的標注圖像數(shù)據(jù)集在發(fā)布到終端用戶或客戶(例如，用于訓練或評估用戶的ai模型)之前經(jīng)受標注質(zhì)量保證過程。標注質(zhì)量保證過程確定客戶或終端用戶的期望和供應(yīng)商/標注者的理解之間的任何差異，并識別由于不良或草率標注、人為錯誤等而引起的任何標注錯誤。

2、在相關(guān)技術(shù)中，標注圖像數(shù)據(jù)集的總體質(zhì)量的通用度量/指標是樣本總體的錯誤率。為此，可以選擇和盡可能多地檢查隨機選擇的樣本圖像(時間不同)。

3、例如，如果要檢查的有100幀(每個幀在不同的時間點取得)，可以隨機選擇10幀作為樣本總體。如果發(fā)現(xiàn)十個樣本幀中有兩個樣本幀具有錯誤，則對于標注圖像數(shù)據(jù)集的整體質(zhì)量可以確定20％的總體錯誤率。

4、然而，通過相關(guān)技術(shù)中僅利用錯誤率的方法可以得到的統(tǒng)計數(shù)據(jù)的程度可能是有限的。例如，除了僅錯誤率之外，總體的實際質(zhì)量也可能不容易顯示或者表露給數(shù)據(jù)用戶。特別地，可能不清楚為了獲得可靠的質(zhì)量度量而要檢查的標注量應(yīng)該是多少。此外，這種方法可能對于應(yīng)該檢查什么對象并不明確，這可能導致在檢查中忽略稀有對象。因此，這些問題可能導致在數(shù)據(jù)集的審核過程期間對數(shù)據(jù)集的實際質(zhì)量的誤解，并且可能導致數(shù)據(jù)集低于終端用戶/客戶所要求的預定質(zhì)量的情況。這可能不可避免地對ai模型的性能造成負面影響，并且導致?lián)p失終端用戶/客戶的信任。

5、因此，需要能夠確保更加準確的數(shù)據(jù)集并從而提高ai模型的訓練、評估和性能的方法。

技術(shù)實現(xiàn)思路

1、根據(jù)一個或多個示例實施例，提供了用于審核標注圖像數(shù)據(jù)集的圖像檢查質(zhì)量的裝置和方法。特別地，根據(jù)示例實施例的裝置和方法，計算為了滿足目標錯誤率以及置信區(qū)間和區(qū)間寬度所需的最小檢查數(shù)量，使得可以將檢查質(zhì)量確定到終端用戶/客戶所指定的程度。相應(yīng)地，可以確保數(shù)據(jù)集的準確性，從而導致ai模型的更準確的訓練/評估/性能。

2、根據(jù)實施例，可以提供用于審核標注圖像數(shù)據(jù)集中圖像標注質(zhì)量檢查的方法。該方法可以包括：獲得標注圖像數(shù)據(jù)集；基于預定置信區(qū)間、預定目標錯誤率和預定區(qū)間寬度，確定標注圖像集的最小檢查數(shù)量；基于最小檢查數(shù)量，選擇標注圖像數(shù)據(jù)集的多個幀以供檢查；以及輸出所選擇的標注圖像數(shù)據(jù)集的多個幀以供檢查。

3、根據(jù)實施例，輸出所選擇的多個幀以供檢查可以包括：將當前檢查數(shù)量與最小檢查數(shù)量進行比較；以及基于判定當前檢查數(shù)量小于最小檢查數(shù)量：輸出檢查不足的指示；以及繼續(xù)輸出所選擇的多個幀，直到所檢查的幀數(shù)量大于或等于最小檢查數(shù)量為止。

4、根據(jù)實施例，該方法還可以包括：基于檢查，確定錯誤的數(shù)量；以及基于錯誤的數(shù)量，計算樣本錯誤率。該方法還可以包括：基于樣本錯誤率，判定樣本錯誤率是否超過目標錯誤率；以及基于判定樣本錯誤率超過目標錯誤率，輸出質(zhì)量不良的指示。

5、根據(jù)實施例，輸出質(zhì)量不良的指示還可以包括：向操作者提供需要提高質(zhì)量的消息。

6、根據(jù)實施例，預定置信區(qū)間可以為99％、95％或90％中的一者。預定置信區(qū)間基于f分布或t分布中的一者。

7、根據(jù)實施例，用于審核標注圖像數(shù)據(jù)集中圖像標注質(zhì)量檢查的裝置，該裝置可以包括：至少一個存儲器，其存儲計算機可執(zhí)行指令；以及至少一個處理器，其配置為執(zhí)行計算機可執(zhí)行指令以：獲得標注圖像數(shù)據(jù)集；基于預定置信區(qū)間、預定目標錯誤率和預定區(qū)間寬度，確定標注圖像數(shù)據(jù)集的最小檢查數(shù)量；基于最小檢查數(shù)量，選擇標注圖像數(shù)據(jù)集的多個幀以供檢查；以及輸出所選擇的標注圖像數(shù)據(jù)集的多個幀以供檢查。

8、該至少一個處理器還可以配置為執(zhí)行計算機可執(zhí)行指令，以通過如下來輸出所選擇的多個幀以供檢查：將當前檢查數(shù)量與最小檢查數(shù)量進行比較；以及基于判定當前檢查數(shù)量小于最小檢查數(shù)量：輸出檢查不足的指示；以及繼續(xù)輸出所選擇的多個幀，直到所檢查的幀數(shù)量大于或等于最小檢查數(shù)量為止。

9、該至少一個處理器還可以配置為執(zhí)行計算機可執(zhí)行指令以：基于檢查，確定錯誤的數(shù)量；以及基于錯誤的數(shù)量，計算樣本錯誤率。

10、該至少一個處理器還可以配置為執(zhí)行計算機可執(zhí)行指令以：基于樣本錯誤率，判定樣本錯誤率是否超過目標錯誤率；以及基于判定樣本錯誤率超過目標錯誤率，輸出質(zhì)量不良的指示。

11、該至少一個處理器還可以配置為執(zhí)行計算機可執(zhí)行指令，以通過如下來輸出質(zhì)量不良的指示：向操作者提供需要提高質(zhì)量的消息。

12、其他方面部分地將在下面的描述中闡述，并且部分地將從描述中顯而易見，或者可以通過實施所呈現(xiàn)的本公開實施例來實現(xiàn)。

技術(shù)特征：

1.用于審核標注圖像數(shù)據(jù)集中圖像標注質(zhì)量檢查的方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述輸出所選擇的多個幀以供檢查，包括：

3.根據(jù)權(quán)利要求1或2所述的方法，還包括：

4.根據(jù)權(quán)利要求3所述的方法，還包括：

5.根據(jù)權(quán)利要求4所述的方法，其中，所述輸出質(zhì)量不良的指示，還包括：

6.根據(jù)權(quán)利要求1至5中任一項所述的方法，其中，所述預定置信區(qū)間為99％、95％或90％中的一者。

7.根據(jù)權(quán)利要求1至6中任一項所述的方法，其中，所述預定置信區(qū)間基于f分布或t分布中的一者。

8.用于審核標注圖像數(shù)據(jù)集中圖像標注質(zhì)量檢查的裝置，所述裝置包括：

9.根據(jù)權(quán)利要求8所述的裝置，其中，所述至少一個處理器還配置為執(zhí)行所述計算機可執(zhí)行指令，以通過如下來輸出所選擇的多個幀以供檢查：

10.根據(jù)權(quán)利要求8或9所述的裝置，其中，所述至少一個處理器還配置為執(zhí)行所述計算機可執(zhí)行指令以：

11.根據(jù)權(quán)利要求10所述的裝置，其中，所述至少一個處理器還配置為執(zhí)行所述計算機可執(zhí)行指令以：

12.根據(jù)權(quán)利要求11所述的裝置，其中，所述至少一個處理器還配置為執(zhí)行所述計算機可執(zhí)行指令，以通過如下來輸出所述質(zhì)量不良的指示：

13.根據(jù)權(quán)利要求8至12中任一項所述的裝置，其中，所述預定置信區(qū)間為99％、95％或90％中的一者。

14.根據(jù)權(quán)利要求8至13中任一項所述的裝置，其中，所述預定置信區(qū)間基于f分布或t分布中的一者。

15.非瞬時性計算機可讀記錄介質(zhì)，其上記錄有指令，所述指令可由至少一個處理器執(zhí)行，以致使所述處理器執(zhí)行方法，所述方法包括：

16.根據(jù)權(quán)利要求15所述的非瞬時性計算機可讀記錄介質(zhì)，其中，所述輸出所選擇的所述多個幀以供檢查包括：

17.根據(jù)權(quán)利要求15或16所述的非瞬時性計算機可讀記錄介質(zhì)，其中，所述方法還包括：

18.根據(jù)權(quán)利要求17所述的非瞬時性計算機可讀記錄介質(zhì)，其中，所述方法還包括：

19.根據(jù)權(quán)利要求18所述的非瞬時性計算機可讀記錄介質(zhì)，其中，所述輸出質(zhì)量不良的指示還包括：

20.根據(jù)權(quán)利要求15至19中任一項所述的非瞬時性計算機可讀記錄介質(zhì)，其中，所述預定置信區(qū)間為99％、95％或90％中的一者。

技術(shù)總結(jié)
提供了用于審核標注圖像數(shù)據(jù)集中圖像標注質(zhì)量檢查的方法、系統(tǒng)和裝置。該方法可以包括：獲得標注圖像數(shù)據(jù)集；基于預定置信區(qū)間、預定目標錯誤率和預定區(qū)間寬度，確定標注圖像數(shù)據(jù)集的最小檢查數(shù)量；基于最小檢查數(shù)量，選擇標注圖像數(shù)據(jù)集的多個幀以供檢查；以及輸出所選擇的標注圖像數(shù)據(jù)集的多個幀以供檢查。

技術(shù)研發(fā)人員：若槻彰
受保護的技術(shù)使用者：織望豐田股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10