梦入神机,我欲封天txt下载,盗墓笔记txt全集下载

本頁介紹了COCO使用的關(guān)鍵點(diǎn)評估指標(biāo)。此處提供的評估代碼可用于在公開可用的COCO驗(yàn)證集上獲得結(jié)果。它計(jì)算下面描述的多個(gè)指標(biāo)。為了在COCO測試集上獲得結(jié)果，其中隱藏了實(shí)際真值注釋，必須將生成的結(jié)果上傳到評估服務(wù)器。下面描述的評估代碼用于評估測試集的結(jié)果。 1.1 評估概述 COCO關(guān)鍵點(diǎn)任務(wù)需要同時(shí)檢測對象并將其關(guān)鍵點(diǎn)定位（對象位置不在測試時(shí)間給出）。由于同時(shí)檢測和關(guān)鍵點(diǎn)估計(jì)的任務(wù)是相對較新的，我們選擇采用受物體檢測度量啟發(fā)的新穎度量。為了簡單起見，我們將這個(gè)任務(wù)稱為關(guān)鍵點(diǎn)檢測，將預(yù)測算法稱為關(guān)鍵點(diǎn)檢測器。我們建議在繼續(xù)之前查看對象檢測的評估指標(biāo)。評估關(guān)鍵點(diǎn)檢測的核心思想是模擬用于目標(biāo)檢測的評估指標(biāo)，即平均精確度（AP,average precision）和平均召回率（AR,average recall）及其變體。這些度量的核心是實(shí)際真實(shí)對象和預(yù)測對象之間的相似性度量。在對象檢測的情況下，IoU（intersection-over-union，叫做交并比）作為這種相似性度量（對于框和片段）。IoU隱含定義了實(shí)際真實(shí)對象與預(yù)測對象之間的匹配，并允許計(jì)算精度召回曲線。為了采用AP / AR進(jìn)行關(guān)鍵點(diǎn)檢測，我們只需要定義一個(gè)類似的相似性度量。我們通過定義與IoU具有相同作用的對象關(guān)鍵點(diǎn)相似度（OKS,object keypoint similarity）來實(shí)現(xiàn)這一點(diǎn)。 1.2 對象關(guān)鍵點(diǎn)相似性O(shè)KS 對于每個(gè)對象，實(shí)際真值關(guān)鍵點(diǎn)具有形式[x1，y1，v1，...，xk，yk，vk]，其中x，y是關(guān)鍵點(diǎn)位置，v是定義為的可見性標(biāo)志。v = 0表示未標(biāo)記，v = 1表示標(biāo)記但不可見，v = 2表示標(biāo)記且可見。每個(gè)地面真值對象也有一個(gè)比例尺s，我們將其定義為物體分段區(qū)域的平方根（Each ground truth object also has a scale s which we define as the square root of the object segment area）。有關(guān)實(shí)際真值格式的詳細(xì)信息，請參閱下載頁面。對于每個(gè)對象，關(guān)鍵點(diǎn)檢測器都必須輸出關(guān)鍵點(diǎn)位置和對象級別的置信度（object-level confidence）。對象的預(yù)測關(guān)鍵點(diǎn)應(yīng)該具有與實(shí)際真值相同的形式：[x1，y1，v1，...，xk，yk，vk]。然而，在評估過程中，檢測器的預(yù)測vi并不是目前使用的，即關(guān)鍵點(diǎn)檢測器不需要預(yù)測每個(gè)關(guān)鍵點(diǎn)的可見度或置信度（visibilities or confidences）。我們將對象關(guān)鍵點(diǎn)相似性（OKS）定義為： OKS = i[exp(-di2/2s2 i2) (vi 0)] / i[ (vi 0)] di是每個(gè)關(guān)鍵點(diǎn)相應(yīng)的實(shí)際真值和檢測到的關(guān)鍵點(diǎn)之間的歐幾里德距離，vi是實(shí)際真值的可見性標(biāo)記（檢測器的預(yù)測vi不被使用）。為了計(jì)算OKS，我們通過一個(gè)非標(biāo)準(zhǔn)化的高斯將標(biāo)準(zhǔn)差傳遞給標(biāo)準(zhǔn)偏差s i，其中s是對象尺度， i是一個(gè)控制衰減的按鍵控制常數(shù)。對于每個(gè)關(guān)鍵點(diǎn)，這產(chǎn)生范圍在0和1之間的關(guān)鍵點(diǎn)相似性。這些相似性在所有標(biāo)記的關(guān)鍵點(diǎn)（vi 0的關(guān)鍵點(diǎn)）上被平均。未標(biāo)記的預(yù)測關(guān)鍵點(diǎn)（vi = 0）不影響OKS。完美的預(yù)測將有OKS = 1，并且所有關(guān)鍵點(diǎn)的偏離超過幾個(gè)標(biāo)準(zhǔn)差s i的預(yù)測都會有OKS?0。OKS類似于IoU。考慮到OKS，我們可以計(jì)算AP和AR，就像IoU允許我們計(jì)算盒/段（box/segment）檢測的這些度量一樣。我們調(diào)整 i使得OKS是一個(gè)感知上有意義且易于解釋的相似性度量。首先，在val中使用5000個(gè)冗余注釋的圖像，對于每個(gè)關(guān)鍵點(diǎn)類型i，我們測量關(guān)于對象尺度s的每個(gè)關(guān)鍵點(diǎn)標(biāo)準(zhǔn)偏差 i。那就是我們計(jì)算 i2=E[di2/s2]。 i對于不同的關(guān)鍵點(diǎn)有很大的不同：人的關(guān)鍵點(diǎn)（肩膀，膝蓋，臀部等shoulders, knees, hips）往往比人的頭部（眼睛，鼻子，耳朵eyes, nose, ears）對應(yīng)的大得多。為了獲得感知上有意義和可解釋的相似性度量，我們設(shè)置 i=2 i。通過設(shè)定 i，在di/s的一個(gè)，兩個(gè)和三個(gè)標(biāo)準(zhǔn)偏差處，關(guān)鍵點(diǎn)相似度exp(-di2/2s2 i2)取值為e-1/8=0.88, e-4/8=0.61 and e-9/8=0.32。正如所料，人類注釋的關(guān)鍵點(diǎn)是正態(tài)分布的（忽略偶爾的異常值）。因此，回顧68 95 99.7規(guī)則，設(shè)定 i=2 i意味著人類注釋關(guān)鍵點(diǎn)的68％，95％和99.7％分別具有0.88，0.61或0.32或更高的關(guān)鍵點(diǎn)相似性（在實(shí)踐中百分比是75％，95％和98.7％）。 OKS是所有（標(biāo)記的）對象關(guān)鍵點(diǎn)之間的平均關(guān)鍵點(diǎn)相似度。下面我們用 i=2 i來描繪預(yù)測的OKS分布，假設(shè)每個(gè)對象有10個(gè)獨(dú)立的關(guān)鍵點(diǎn)（藍(lán)色曲線），以及在雙重注釋數(shù)據(jù)（綠色曲線）上人類OKS得分的實(shí)際分布：圖像不完全匹配的原因有如下幾個(gè)（1）對象關(guān)鍵點(diǎn)不是獨(dú)立的，（2）每個(gè)對象的標(biāo)記關(guān)鍵點(diǎn)的數(shù)量是不同的，（3）真實(shí)數(shù)據(jù)包含1-2％的異常值（大部分是是由于注釋者誤將左當(dāng)成右或當(dāng)兩個(gè)人靠近時(shí)注釋錯(cuò)誤造成的）。不過，這種行為大致如預(yù)期的那樣。我們得出一些關(guān)于人類表現(xiàn)的結(jié)論（1）在0.50的OKS中，人類的表現(xiàn)幾乎完美（95％），（2）人類的中位數(shù)為~0.91，（3）在OKS為0.95后人類的表現(xiàn)迅速下降。請注意，此OKS分布可用于預(yù)測人類AR（因?yàn)锳R不依賴于誤報(bào)）。 2.度量（metrics） Precision 精確率（查準(zhǔn)率）。表示正確識別物體A的個(gè)數(shù)占總識別出的物體個(gè)數(shù)n的百分?jǐn)?shù)Precision= TP / (TP+FP) Recall召回率（查全率）。表示正確識別物體A的個(gè)數(shù)占測試集中物體A的總個(gè)數(shù)的百分?jǐn)?shù)Recall= TP / (TP+FN) fp :false positive誤報(bào)，即預(yù)測錯(cuò)誤 fn:false negative漏報(bào)，即沒有預(yù)測到 tp:true positive tn:true negative iou：intersection-over-union Accuracy準(zhǔn)確率。正確分類的樣本數(shù)除以所有的樣本數(shù)，正確率越高，分類器越好。Accuracy=（TP+TN）/ (TP+TN+FP+FN) 以上介紹都是基于2分類的，并不是多分類的以下10個(gè)指標(biāo)用于表征COCO上的關(guān)鍵點(diǎn)檢測器的性能： Average Precision (AP): AP% AP at OKS=0.50:0.05:0.95(primary challenge metric) APOKS=.50% AP at OKS=0.50 (loose metric) APOKS=.75% AP at OKS=0.75 (strict metric) AP Across Scales: APmedium% AP for medium objects: 322 area 962 APlarge% AP for large objects: area 962 Average Recall (AR): AR% AR at OKS=0.50:0.05:0.95 AROKS=.50% AR at OKS=0.50 AROKS=.75% AR at OKS=0.75 AR Across Scales: ARmedium% AR for medium objects: 322 area 962 ARlarge% AR for large objects: area 962 1）除非另有說明，否則AP和AR在多個(gè)OKS值（0.50：0.05：0.95）之間取平均值。 2）正如所討論的，我們?yōu)槊總€(gè)關(guān)鍵點(diǎn)類型i設(shè)置 i=2 i。對于人來說，括號內(nèi)為取值，鼻子（0.026，nose），眼睛（0.025，eyes），耳朵（0.035，ears），肩膀（0.079，shoulders），手肘（0.072,elbows），手腕(0.062,wrists)，臀部（0.107，hips），膝蓋（0.087，knees），腳踝（0.089，ankles） 3）AP（所有10個(gè)OKS閾值的平均值）將決定挑戰(zhàn)勝利者。當(dāng)考慮COCO的關(guān)鍵點(diǎn)性能時(shí)，這應(yīng)該被認(rèn)為是最重要的一個(gè)指標(biāo)。 4）計(jì)算所有度量標(biāo)準(zhǔn)，每個(gè)圖像最多允許20個(gè)最高得分檢測（我們使用20個(gè)檢測，而不是像對象檢測挑戰(zhàn)那樣的100個(gè)，因?yàn)楫?dāng)前人是唯一具有關(guān)鍵點(diǎn)的類別）。 5）小對象（分段區(qū)域面積（segment area） 322）不包含關(guān)鍵點(diǎn)注釋。 6）對于沒有標(biāo)注關(guān)鍵點(diǎn)的對象（包括人群），我們使用寬松的啟發(fā)式方法，以允許根據(jù)幻覺關(guān)鍵點(diǎn)（hallucinated keypoints）（置于實(shí)際真實(shí)對象內(nèi)以便最大化OKS）匹配檢測結(jié)果。這與使用框/段（boxes/segments）來忽略區(qū)域的處理非常相似。詳細(xì)信息請參閱代碼。 7）無論被標(biāo)記的還是可見的關(guān)鍵點(diǎn)的數(shù)量如何，每個(gè)對象都具有相同的重要性。我們不過濾只有幾個(gè)關(guān)鍵點(diǎn)的對象，也不會根據(jù)存在的關(guān)鍵點(diǎn)的數(shù)量來加權(quán)對象示例。 3.評估的代碼（evalutation code）評估代碼可在COCO github上找到。具體來說，分別參見Matlab或Python代碼中的CocoEval.m或cocoeval.py。另請參閱Matlab或Python代碼（demo）中的evalDemo。在運(yùn)行評估代碼之前，請按結(jié)果格式頁面上描述的格式準(zhǔn)備結(jié)果，建議先看一下這個(gè)格式。 4.分析代碼（Analysis Code）除了評估代碼之外，我們還提供了一個(gè)函數(shù)analyze（）來詳細(xì)分析多實(shí)例關(guān)鍵點(diǎn)估計(jì)中的錯(cuò)誤。這在Ronchi等人的多實(shí)例姿態(tài)估計(jì)的基準(zhǔn)和誤差診斷中（Benchmarking and Error Diagnosis in Multi-Instance Pose Estimation）被廣泛地描述。代碼生成這樣的圖像。我們展示了來自Zhe Cao等人的2016年ECCV 2016關(guān)鍵挑戰(zhàn)獲勝者Pose Affinity Fields檢測器的分析結(jié)果。該圖總結(jié)了所有類型的錯(cuò)誤對多實(shí)例姿態(tài)估計(jì)算法的性能的影響。它由一系列精確召回（PR，Precision Recall）曲線組成，其中每條曲線保證嚴(yán)格地高于前面的曲線，因?yàn)樵撍惴ǖ臋z測在（任意的）OKS閾值為0.9時(shí)被逐步校正。圖例顯示曲線下面積（AUC，Area Under the Curve）。曲線如下（檢查項(xiàng)目頁面的完整說明）： 1）Original Dts.：在OKS = 0.9（嚴(yán)格的OKS(strict KOS)下的AP）時(shí)，原始檢測獲得的PR，對應(yīng)于APOKS=.9度量的曲線下面積。 2）Miss：在所有遺漏錯(cuò)誤(miss error)都被糾正之后，OKS = 0.9處的PR（嚴(yán)格的OKS下的AP）。缺失(miss)是一個(gè)很大的定位誤差：檢測到的關(guān)鍵點(diǎn)不在正確的身體部位附近。 3）Swap：在所有交換錯(cuò)誤(swap errors)都被糾正之后，OKS =0.9處的PR（嚴(yán)格的OKS下的AP）。交換(swap)是由于圖像中不同人的相同身體部分（即右肘right elbow）之間的混淆。 4）Inversion：在所有的逆誤差（inversion errors）被糾正之后，OKS =0.9處的PR（嚴(yán)格的OKS下的AP）。倒置(inversion)是由于同一個(gè)人身體部位的混亂（即左右肘）造成的。 5）Jitter：在所有抖動錯(cuò)誤(jitter errors)被糾正之后，OKS =0.9處的PR（嚴(yán)格的OKS下的AP）。抖動(jitter)是一個(gè)小的定位誤差：檢測到的關(guān)鍵點(diǎn)在正確的身體部位附近。 6）Opt. Score：所有的檢測算法在評估時(shí)使用oracle函數(shù)重新計(jì)算之后，OKS = 0.9處的PR（AP在嚴(yán)格的OKS）。在檢測和實(shí)際真值之間匹配的數(shù)量重新計(jì)分達(dá)到最大值。 7）FP：所有背景誤報(bào)（fps）被移除后的PR。 FP是一個(gè)階躍函數(shù)，直到達(dá)到最大召回率為1，然后降到0（跨類別平均后曲線更平滑）。 8）FN:刪除所有剩余的錯(cuò)誤時(shí)的PR（微不足道的AP = 1(trivially AP=1)）。在上述檢測器的情況下，OKS = 0.9的整體AP是0.327。糾正所有miss錯(cuò)誤導(dǎo)致AP的大幅改善到0.415。修正swaps改善到0.488，修正inversions改善到0.545，獲得較小的收益。當(dāng)jitter錯(cuò)誤被消除時(shí)，獲得另一個(gè)大的改進(jìn)，導(dǎo)致0.859的AUC。這顯示了如果CMU算法具有關(guān)鍵點(diǎn)的完美定位，性能將會如何。在定位很好的情況下，置信度得分錯(cuò)誤（confidence score errors）的影響并不顯著，但仍然導(dǎo)致AUC提高約2％（0.879）。最佳評分檢測大大減少了背景誤報(bào)(BackgroundFalse Positives)的影響，因?yàn)闄z測很少保持不匹配。最后，去除背景錯(cuò)報(bào)(Background False Negatives)提供了剩余的AUC以獲得完美的表現(xiàn)?？傊?，在OKS = 0.9時(shí)CMU的錯(cuò)誤主要是不完美的定位，主要是抖動錯(cuò)誤和錯(cuò)過檢測（missed detections）。對于給定的檢測器，代碼共生成180個(gè)圖，在3個(gè)區(qū)域范圍（中，大，全）和10個(gè)評估閾值（0.5 :0. 05 :0.95）內(nèi)分析所有錯(cuò)誤。分析代碼將自動生成一個(gè)PDF報(bào)告，其中包含總體性能總結(jié)，方法行為對不同類型錯(cuò)誤的敏感性及其對性能的影響，以及幾個(gè)最重要的失敗案例。注意：analyze（）可能需要很長時(shí)間才能運(yùn)行，請耐心等待。因此，我們通常不會在評估服務(wù)器上運(yùn)行此代碼;您必須使用驗(yàn)證集在本地運(yùn)行代碼。你可以在這個(gè)GitHub repository中找到analyze（）函數(shù)。

標(biāo)簽：江蘇德州安康保定香港大興安嶺馬鞍山西安

巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《MS COCO數(shù)據(jù)集人體關(guān)鍵點(diǎn)評估（Keypoint Evaluation）》，本文關(guān)鍵詞 COCO,數(shù)據(jù),集,人體,關(guān)鍵點(diǎn),；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。