Python線性分類介紹

2022-02-16 22:00:06

通過約束類的協方差相等，將貝葉斯分類器簡化為線性分類器。
比較生成模型和判別模型在挑戰性分類任務中的效能。

在本實驗課中：我們將比較線性分類的“生成建模”和“判別建模”方法。對於“生成”方法，我們將重新討論我們在前面練習中使用的貝葉斯分類程式碼，但我們將限制系統具有相等的協方差矩陣，即一個協方差矩陣來表示所有類別，而不是每個類別都有其自己的協方差矩陣。在這種情況下，系統成為線性分類器。我們將把它與“判別式”方法進行比較，在這種方法中，我們使用感知器學習演演算法直接學習線性分類器引數。

在本筆電中，我們將使用UCI機器學習庫中的另一個資料集：鮑魚資料。鮑魚是一種海螺。一個樣本的年齡可以通過在圓錐體上切割外殼和用顯微鏡（更像是樹木）計數環來確定，但這是一個耗時且昂貴的過程。這裡的任務是通過簡單的外部測量動物的重量和尺寸，嘗試並預測環的數量。對於我們正在使用的資料集，環數的真實值是已知的（即，在測量蝸牛後對環進行計數）。結果從1到29個環不等，因此這通常被視為29類分類問題。為了簡化一些，我將資料重新組合成兩個大小大致相同的類：年輕（少於10個環）和老年（10個或更多個環）。我也只採集了女性樣本。有7個測量值（都是高度相關的）用於預測類別標籤。

生成性建模：具有等協變多元正態分佈的貝葉斯分類。
與上一個介紹相比，有更多的樣本（1306個，178個），因此我們不必擔心遺漏一個測試，相反，我們只需像上一個一樣，將資料切割成大小相同的測試和訓練集。
通過修改上次編寫的程式碼，使用具有完全協方差矩陣的多元正態分佈來評估貝葉斯分類器的效能。在考慮對程式碼進行更改時，請注意，主要區別在於本筆電中只有兩個類，而不是三個。（如果您願意，您可以嘗試將程式碼包裝到函數中，看看是否可以將其設計為適用於任意數量的類。）
您的分類器的效能如何？此任務的分數可能在60%-70%之間，因此，如果效能似乎比前一個任務差很多，請不要擔心。如果效能低於60%，那麼您應該檢查程式碼是否存在可能的bug。

import numpy as np
X = np.loadtxt(open("data/abalone.txt", "r"))
X.shape
from scipy.stats import multivariate_normal
import matplotlib.pyplot as plt

%matplotlib inline

abalone1 = X[X[:, 0] == 1, :]
abalone2 = X[X[:, 0] == 2, :]
abalone1_test = abalone1[0::2, :]
abalone1_train = abalone1[1::2, :]
abalone2_test = abalone2[0::2, :]
abalone2_train = abalone2[1::2, :]
abalone_test = np.vstack((abalone1_test, abalone2_test))
abalone_test.shape

mean1 = np.mean(abalone1_train[:, 1:], axis=0)
mean2 = np.mean(abalone2_train[:, 1:], axis=0)
cov1 = np.cov(abalone1_train[:, 1:], rowvar=0)
cov2 = np.cov(abalone2_train[:, 1:], rowvar=0)

dist1 = multivariate_normal(mean=mean1, cov=cov1)
dist2 = multivariate_normal(mean=mean2, cov=cov2)

p1 = dist1.pdf(abalone_test[:, 1:])
p2 = dist2.pdf(abalone_test[:, 1:])

p = np.vstack((p1, p2))

index = np.argmax(p, axis=0) + 1

plt.plot(index, "k.", ms=10)

correct = abalone_test[:, 0] == index
percent_correct = np.sum(correct) * 100.0 / index.shape
print(percent_correct)

rowvarbool，可選

如果rowvar為True（預設），則每行表示一個變數，列中包含觀察值。否則，關係將被轉換：每列表示一個變數，而行包含觀察值。

使用等協方差矩陣:

如果您正確地遵循了與上一本筆記相同的步驟，您將為每個類估計出一個單獨的協方差矩陣。這些矩陣將不相等，因此您的系統將不是線性分類器（即，它將具有非平面決策邊界）。為了將其簡化為線性系統，我們需要確保只有一個協方差矩陣。您可以想象這樣做的不

同方式：

首先，您可以想象簡單地從完整的訓練集中估計單個協方差矩陣，然後再將其劃分為類。這將生成一個矩陣，但這不是正確的做法。我們希望矩陣表示類內的分佈，如果您僅使用完整的訓練資料集訓練模型，它還將捕獲類間的分佈。
其次，可以想象平均兩個類相關協方差矩陣。這更接近於正確的情況，但它沒有考慮到類的範例數可能不相等這一事實。
最好的方法是首先將兩個類的中心移動到同一點上，然後將它們視為單個類。要將類中心移動到同一點上，只需從每個資料樣本中減去類平均向量。

def centre_data(data):
    nsamples = data.shape[0]
    data_mean = np.mean(data, axis=0)
    data_centred = data - data_mean
    return data_centred


abalone1_centred = centre_data(abalone1_train)
abalone2_centred = centre_data(abalone2_train)

abalone_centred = np.vstack((abalone1_centred, abalone2_centred))

cov_global = np.cov(abalone_centred[:, 1:], rowvar=0)

dist1 = multivariate_normal(mean=mean1, cov=cov_global)
dist2 = multivariate_normal(mean=mean2, cov=cov_global)

p1 = dist1.pdf(abalone_test[:, 1:])
p2 = dist2.pdf(abalone_test[:, 1:])

p = np.vstack((p1, p2))

index = np.argmax(p, axis=0) + 1

plt.plot(index, "k.", ms=10)

correct = abalone_test[:, 0] == index
percent_correct = np.sum(correct) * 100.0 / index.shape
print(percent_correct)

到此這篇關於Python線性分類介紹的文章就介紹到這了,更多相關Python線性分類內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！

Python線性分類介紹

熱門文章