Python實現計算AUC的範例程式碼

2022-07-12 14:01:14

為什麼這樣一個指標可以衡量分類效果

先來看看如何得到這條曲線：

1. 通過分類器得到每個樣本的預測概率，對其從高到低進行排序

2. 從高到低，分別以每一個預測概率作為閾值，大於該閾值的認定其為1，小於的為0，計算fp rate和tp rate。

對於一個有分類效果（效果比隨機要好）的分類器，剛開始將高概率作為閾值時，閾值以上的真正樣本佔全部正樣本的比例（tp rate）>閾值以上的假正樣本佔全部負樣本的比例（fp rate）。

auc理解

auc就是：隨機抽出一對樣本（一個正樣本，一個負樣本），然後用訓練得到的分類器來對這兩個樣本進行預測，預測得到正樣本的概率大於負樣本概率的概率。

AUC計算

方法一

在有M個正樣本,N個負樣本的資料集裡。一共有M*N對樣本（一對樣本即，一個正樣本與一個負樣本）。統計這M*N對樣本里，正樣本的預測概率大於負樣本的預測概率的個數。

舉個例子：

假設有4條樣本。2個正樣本，2個負樣本，那麼M*N=4。

即總共有4個樣本對。分別是：

（D,B）,（D,A）,(C,B),（C,A）。

在（D,B）樣本對中，正樣本D預測的概率大於負樣本B預測的概率（也就是D的得分比B高），記為1

同理，對於（C,B）。正樣本C預測的概率小於負樣本C預測的概率，記為0.

那麼auc如下：

假如出現得分一致的時候：

同樣本是4個樣本對，對於樣本對（C,B）其I值為0.5。

方法二

利公式：

● 對預測概率從高到低排序

● 對每一個概率值設一個rank值（最高的概率的rank為n,第二高的為n-1）

● rank實際上代表了該score（預測概率）超過的樣本的數目

為了求的組合中正樣本的score值大於負樣本，如果所有的正樣本score值都是大於負樣本的，那麼第一位與任意的進行組合score值都要大，我們取它的rank值為n，但是n-1中有M-1是正樣例和正樣例的組合這種是不在統計範圍內的（為計算方便我們取n組，相應的不符合的有M個），所以要減掉，那麼同理排在第二位的n-1，會有M-1個是不滿足的，依次類推，故得到後面的公式M*(M+1)/2，我們可以驗證在正樣本score都大於負樣本的假設下，AUC的值為1

● 除以M*N

舉例說明：

排序。按概率排序後得到：

按照上面的公式，只把正樣本的序號加起來也就是隻把樣本C,D的rank值加起來後減去一個常數項：

得到：

如果出現得分一樣的情況：

假如有4個取值概率為0.5，而且既有正樣本也有負樣本的情況。計算的時候，其實原則就是相等得分的rank取平均值。具體來說如下：

先排序：

這裡需要注意的是：相等概率得分的樣本，無論正負，誰在前，誰在後無所謂。

由於只考慮正樣本的rank值：

對於正樣本A，其rank值為7

對於正樣本B，其rank值為6

對於正樣本E，其rank值為（5+4+3+2）/4

對於正樣本F，其rank值為（5+4+3+2）/4

實現及驗證

採用sklearn中的庫函數驗證：

import numpy as np
from sklearn.metrics import roc_curve
from sklearn.metrics import auc

#---自己按照公式實現
def auc_calculate(labels,preds,n_bins=100):
    postive_len = sum(labels)
    negative_len = len(labels) - postive_len
    total_case = postive_len * negative_len
    pos_histogram = [0 for _ in range(n_bins)]
    neg_histogram = [0 for _ in range(n_bins)]
    bin_width = 1.0 / n_bins
    for i in range(len(labels)):
        nth_bin = int(preds[i]/bin_width)
        if labels[i]==1:
            pos_histogram[nth_bin] += 1
        else:
            neg_histogram[nth_bin] += 1
    accumulated_neg = 0
    satisfied_pair = 0
    for i in range(n_bins):
        satisfied_pair += (pos_histogram[i]*accumulated_neg + pos_histogram[i]*neg_histogram[i]*0.5)
        accumulated_neg += neg_histogram[i]

    return satisfied_pair / float(total_case)

if __name__ == '__main__':

    y = np.array([1,0,0,0,1,0,1,0,])
    pred = np.array([0.9, 0.8, 0.3, 0.1,0.4,0.9,0.66,0.7])


    fpr, tpr, thresholds = roc_curve(y, pred, pos_label=1)
    print("-----sklearn:",auc(fpr, tpr))
    print("-----py指令碼:",auc_calculate(y,pred))

AUC的優點：

它不受類別不平衡問題的影響，不同的樣本比例不會影響AUC的評測結果。在訓練時，可以直接使用AUC作為損失函數。

到此這篇關於Python實現計算AUC的範例程式碼的文章就介紹到這了,更多相關Python計算AUC內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！

Python實現計算AUC的範例程式碼

目錄

為什麼這樣一個指標可以衡量分類效果

auc理解

AUC計算

方法一

方法二

實現及驗證

熱門文章