首頁 > 軟體

人工智慧——K-Means聚類演演算法及Python實現

2022-01-15 13:00:36

1 概述

1.1 無監督學習

      在一個典型的監督學習中,我們有一個有標籤的訓練集,我們的目標是找到能夠區分正
樣本和負樣本的決策邊界,在這裡的監督學習中,我們有一系列標籤,我們需要據此擬合一
個假設函數。與此不同的是,在非監督學習中,我們的資料沒有附帶任何標籤,我們拿到的
資料就是這樣的:

在這裡我們有一系列點,卻沒有標籤。因此,我們的訓練集可以寫成只有:

 我們沒有任何標籤?。因此,圖上畫的這些點沒有標籤資訊。也就是說,在非監 督學習中,我們需要將一系列無標籤的訓練資料,輸入到一個演演算法中,然後我們告訴這個演演算法,快去為我們找找這個資料的內在結構給定資料。我們可能需要某種演演算法幫助我們尋找一 種結構。圖上的資料看起來可以分成兩個分開的點集(稱為簇), 一個能夠找到我圈出的這 些點集的演演算法,就被稱為聚類演演算法 。
       這將是我們介紹的第一個非監督學習演演算法。當然,此後我們還將提到其他型別的非監督
學習演演算法,它們可以為我們找到其他型別的結構或者其他的一些模式,而不只是簇。

我們將先介紹聚類演演算法。此後,我們將陸續介紹其他演演算法。那麼聚類演演算法一般用來做什
麼呢?

       比如市場分割。也許你在資料庫中儲存了許多客戶的資訊,而你希望將他們分成不同的客戶群,這樣你可以對不同型別的客戶分別銷售產品或者分別提供更適合的服務。社群網路分析:事實上有許多研究人員正在研究這樣一些內容,他們關注一群人,關注社群網路,例如 Facebook , Google+,或者是其他的一些資訊,比如說:你經常跟哪些人聯絡,而這些人又經常給哪些人發郵件,由此找到關係密切的人群。因此,這可能需要另一個聚類演演算法,你希望用它發現社群網路中關係密切的朋友。 研究這個問題,希望使用聚類演演算法來更好的組織計算機叢集,或者更好的管理資料中心。因為如果你知道資料中心中,那些計算機經常共同作業工作。那麼,你可以重新分配資源,重新佈局網路。由此優化資料中心,優化資料通訊。
     最後,我實際上還在研究如何利用聚類演演算法瞭解星系的形成。然後用這個知識,瞭解一
些天文學上的細節問題。好的,這就是聚類演演算法。這將是我們介紹的第一個非監督學習演演算法,接下來,我們將開始介紹一個具體的聚類演演算法。

1.2 聚類

1.3 K-Mean均值演演算法

2 K-Mean均值演演算法 

2.1 引入

K- 均值 是最普及的聚類演演算法,演演算法接受一個未標記的資料集,然後將資料聚類成不同的

步驟:

  • 設定 K 個類別的中心的初值;
  • 計算每個樣本到 K箇中心的距離,按最近距離進行分類;
  • 以每個類別中樣本的均值,更新該類別的中心;
  • 重複迭代以上步驟,直到達到終止條件(迭代次數、最小平方誤差、簇中心點變化率)。

下面是一個聚類範例: 

K-means聚類演演算法:

K-均值演演算法的虛擬碼如下:

Repeat {
for i = 1 to m
c(i) := index (form 1 to K) of cluster centroid closest to x(i)
for k = 1 to K
μk := average (mean) of points assigned to cluster k
}

演演算法分為兩個步驟,第一個 for 迴圈是賦值步驟,即:對於每一個樣例 i ,計算其應該屬
於的類。第二個 for 迴圈是聚類中心的移動,即:對於每一個類K ,重新計算該類的質心。

from sklearn.cluster import KMeans  # 匯入 sklearn.cluster.KMeans 類
import numpy as np
 
X = np.array([[1,2], [1,4], [1,0], [10,2], [10,4], [10,0]])
kmCluster = KMeans(n_clusters=2).fit(X)  # 建立模型並進行聚類,設定 K=2
print("聚類中心座標:",kmCluster.cluster_centers_)  # 返回每個聚類中心的座標
print("分類結果:",kmCluster.labels_)  # 返回樣本集的分類結果
print("顯示預測判斷:",kmCluster.predict([[0, 0], [12, 3]]))  # 根據模型聚類結果進行預測判斷
聚類中心座標: [[10.  2.]
 [ 1.  2.]]
分類結果: [1 1 1 0 0 0]
顯示預測判斷: [1 0]
 
Process finished with exit code 0

2.2 針對大樣本集的改進演演算法:Mini Batch K-Means 

對於樣本集巨大的問題,例如樣本量大於 10萬、特徵變數大於100,K-Means演演算法耗費的速度和記憶體很大。SKlearn 提供了針對大樣本集的改進演演算法Mini Batch K-Means,並不使用全部樣本資料,而是每次抽樣選取小樣本集進行 K-Means聚類,進行迴圈迭代。Mini Batch K-Means 雖然效能略有降低,但極大的提高了執行速度和記憶體佔用。 

from sklearn.cluster import MiniBatchKMeans # 匯入 .MiniBatchKMeans 類
import numpy as np
X = np.array([[1,2], [1,4], [1,0], [4,2], [4,0], [4,4],
              [4,5], [0,1], [2,2],[3,2], [5,5], [1,-1]])
# fit on the whole data
mbkmCluster = MiniBatchKMeans(n_clusters=3,batch_size=6,max_iter=10).fit(X)
print("聚類中心的座標:",mbkmCluster.cluster_centers_) # 返回每個聚類中心的座標
print("樣本集的分類結果:",mbkmCluster.labels_)  # 返回樣本集的分類結果
print("顯示判斷結果:樣本屬於哪個類別:",mbkmCluster.predict([[0,0], [4,5]]))  # 根據模型聚類結果進行預測判斷
聚類中心的座標: [[ 2.55932203  1.76271186]
 [ 0.75862069 -0.20689655]
 [ 4.20588235  4.5       ]]
樣本集的分類結果: [0 0 1 0 0 2 2 1 0 0 2 1]
顯示判斷結果:樣本屬於哪個類別: [1 2]
 
Process finished with exit code 0

2.3 影象

from sklearn.cluster import kmeans_plusplus
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt
 
# Generate sample data
n_samples = 4000
n_components = 4
 
X, y_true = make_blobs(
    n_samples=n_samples, centers=n_components, cluster_std=0.60, random_state=0
)
X = X[:, ::-1]
 
# Calculate seeds from kmeans++
centers_init, indices = kmeans_plusplus(X, n_clusters=4, random_state=0)
 
# Plot init seeds along side sample data
plt.figure(1)
colors = ["#4EACC5", "#FF9C34", "#4E9A06", "m"]
 
for k, col in enumerate(colors):
    cluster_data = y_true == k
    plt.scatter(X[cluster_data, 0], X[cluster_data, 1], c=col, marker=".", s=10)
 
plt.scatter(centers_init[:, 0], centers_init[:, 1], c="b", s=50)
plt.title("K-Means++ Initialization")
plt.xticks([])
plt.yticks([])
plt.show()

3 案例1 

3.1 程式碼

#  -*- coding: utf-8 -*-
import numpy as np
import pandas as pd
from sklearn.cluster import KMeans, MiniBatchKMeans
 
def main():
    # 讀取資料檔案
    file = pd.read_excel('K-Means.xlsx', header=0)  # 首行為標題行
    file = file.dropna()  # 刪除含有缺失值的資料
    # print(file.dtypes)  # 檢視 df 各列的資料型別
    # print(file.shape)  # 檢視 df 的行數和列數
    print(file.head())
 
    # 資料準備
    z_scaler = lambda x:(x-np.mean(x))/np.std(x)  # 定義資料標準化函數
    dfScaler = file[['D1','D2','D3','D4','D5','D6','D7','D8','D9','D10']].apply(z_scaler)  # 資料歸一化
    dfData = pd.concat([file[['地區']], dfScaler], axis=1)  # 列級別合併
    df = dfData.loc[:,['D1','D2','D3','D4','D5','D6','D7','D8','D9','D10']]  # 基於全部 10個特徵聚類分析
    # df = dfData.loc[:,['D1','D2','D7','D8','D9','D10']]  # 降維後選取 6個特徵聚類分析
    X = np.array(df)  # 準備 sklearn.cluster.KMeans 模型資料
    print("Shape of cluster data:", X.shape)
 
    # KMeans 聚類分析(sklearn.cluster.KMeans)
    nCluster = 4
    kmCluster = KMeans(n_clusters=nCluster).fit(X)  # 建立模型並進行聚類,設定 K=4
    print("Cluster centers:n", kmCluster.cluster_centers_)  # 返回每個聚類中心的座標
    print("Cluster results:n", kmCluster.labels_)  # 返回樣本集的分類結果
 
    # 整理聚類結果(太棒啦!)
    listName = dfData['地區'].tolist()  # 將 dfData 的首列 '地區' 轉換為 list
    dictCluster = dict(zip(listName,kmCluster.labels_))  # 將 listName 與聚類結果關聯,組成字典
    listCluster = [[] for k in range(nCluster)]
    for v in range(0, len(dictCluster)):
        k = list(dictCluster.values())[v]  # 第v個城市的分類是 k
        listCluster[k].append(list(dictCluster.keys())[v])  # 將第v個城市新增到 第k類
    print("n聚類分析結果(分為{}類):".format(nCluster))  # 返回樣本集的分類結果
    for k in range(nCluster):
        print("第 {} 類:{}".format(k, listCluster[k]))  # 顯示第 k 類的結果
 
    return
 
if __name__ == '__main__':
    main()

3.2 結果 

地區    D1   D2   D3    D4   D5   D6     D7    D8    D9    D10
0  北京  5.96  310  461  1557  931  319  44.36  2615  2.20  13631
1  上海  3.39  234  308  1035  498  161  35.02  3052  0.90  12665
2  天津  2.35  157  229   713  295  109  38.40  3031  0.86   9385
3  陝西  1.35   81  111   364  150   58  30.45  2699  1.22   7881
4  遼寧  1.50   88  128   421  144   58  34.30  2808  0.54   7733
Shape of cluster data: (30, 10)
Cluster centers:
 [[-3.04626787e-01 -2.89307971e-01 -2.90845727e-01 -2.88480032e-01
  -2.85445404e-01 -2.85283077e-01 -6.22770669e-02  1.12938023e-03
  -2.71308432e-01 -3.03408599e-01]
 [ 4.44318512e+00  3.97251590e+00  4.16079449e+00  4.20994153e+00
   4.61768098e+00  4.65296699e+00  2.45321197e+00  4.02147595e-01
   4.22779099e+00  2.44672575e+00]
 [ 1.52987871e+00  2.10479182e+00  1.97836141e+00  1.92037518e+00
   1.54974999e+00  1.50344182e+00  1.13526879e+00  1.13595799e+00
   8.39397483e-01  1.38149832e+00]
 [ 4.17353928e-01 -6.60092295e-01 -5.55528420e-01 -5.50211065e-01
  -2.95600461e-01 -2.42490616e-01 -3.10454580e+00 -2.70342746e+00
   1.14743326e+00  2.67890118e+00]]
Cluster results:
 [1 2 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 0 0 0 0 0]
 
聚類分析結果(分為4類):
第 0 類:['陝西', '遼寧', '吉林', '黑龍江', '湖北', '江蘇', '廣東', '四川', '山東', '甘肅', '湖南', '浙江', '新疆', '福建', '山西', '河北', '安徽', '雲南', '江西', '海南', '內蒙古', '河南', '廣西', '寧夏', '貴州', '青海']
第 1 類:['北京']
第 2 類:['上海', '天津']
第 3 類:['西藏']
 
Process finished with exit code 0

4 案例2

4.1 案例——資料

(1)資料介紹:

現有1999年全國31個省份城鎮居民家庭平均每人全年消費性支出的八個主要變數資料,這八個變數分別是:食品、衣著、家庭裝置用品及服務、醫療保健、交通和通訊、娛樂教育文化服務、居住以及雜項商品和服務。利用已有資料,對31個省份進行聚類。

(2)實驗目的:

通過聚類,瞭解 1999 年各個省份的消費水平在國內的情況

1999年全國31個省份城鎮居民家庭平均每人全年消費性支出資料:

4.2 程式碼

#*========================1. 建立工程,匯入sklearn相關包======================================**
 
import numpy as np
from sklearn.cluster import KMeans
 
#*======================2. 載入資料,建立K-means演演算法範例,並進行訓練,獲得標籤====================**
 
def loadData(filePath):
    fr = open(filePath, 'r+')            #r+:讀寫開啟一個文字檔案
    lines = fr.readlines()           #.readlines() 一次讀取整個檔案(類似於 .read() ) .readline() 每次唯讀.readlines() 慢得多。
    retData = []                     #retData:用來儲存城市的各項消費資訊
    retCityName = []                 #retCityName:用來儲存城市名稱
    for line in lines:
        items = line.strip().split(",")
        retCityName.append(items[0])
        retData.append([float(items[i]) for i in range(1, len(items))])
    return retData, retCityName      #返回值:返回城市名稱,以及該城市的各項消費資訊
 
def main():
    data, cityName = loadData('city.txt')    #1.利用loadData方法讀取資料
    km = KMeans(n_clusters=4)                #2.建立範例
    label = km.fit_predict(data)             #3.呼叫Kmeans()fit_predict()方法進行計算
    expenses = np.sum(km.cluster_centers_, axis=1)
    # print(expenses)
    CityCluster = [[], [], [], []]          #將城市按label分成設定的簇
    for i in range(len(cityName)):
        CityCluster[label[i]].append(cityName[i])   #將每個簇的城市輸出
    for i in range(len(CityCluster)):              #將每個簇的平均花費輸出
        print("Expenses:%.2f" % expenses[i])
        print(CityCluster[i])
 
if __name__ == '__main__':
    main()
 
#*=============3. 輸出標籤,檢視結果========================================**
 
#將城市按照消費水平n_clusters類,消費水平相近的城市聚集在一類中
#expense:聚類中心點的數值加和,也就是平均消費水平
 
 

4.3 結果 

(1)聚成2類:km = KMeans(n_clusters=2)

(2)聚成3類:km = KMeans(n_clusters=3)

(3)聚成4類:km = KMeans(n_clusters=4)  

從結果可以看出消費水平相近的省市聚集在了一類,例如消費最高的“北京”“上海”“廣東”
聚集在了消費最高的類別。聚4類時,結果可以比較明顯的看出消費層級。

 4.4 拓展&&改進

計算兩條資料相似性時,Sklearn K-Means預設用的是歐式距離。雖然還有餘弦相似度,馬氏距離等多種方法,但沒有設定計算距離方法的引數。

(1)如果想要自定義計算距離的方式時,可以更改此處原始碼。
(2)建議使用 scipy.spatial.distance.cdist 方法。

使用形式:scipy.spatial.distance.cdist(A, B, metric=‘cosine’):

重要引數:

• A:A向量
• B:B向量
• metric: 計算A和B距離的方法,更改此參
數可以更改呼叫的計算距離的方法

到此這篇關於人工智慧——K-Means聚類演演算法及Python實現的文章就介紹到這了,更多相關 K-Means聚類演演算法及Python實現內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!


IT145.com E-mail:sddin#qq.com