10個Python實現的最頻繁使用的聚類演演算法

2022-12-29 14:00:58

一、聚類

聚類分析，即聚類，是一項無監督的機器學習任務。它包括自動發現資料中的自然分組。與監督學習（類似預測建模）不同，聚類演演算法只解釋輸入資料，並在特徵空間中找到自然組或群集。

聚類技術適用於沒有要預測的類，而是將範例劃分為自然組的情況。—源自：《資料探勘頁：實用機器學習工具和技術》2016年。

群集通常是特徵空間中的密度區域，其中來自域的範例（觀測或資料行）比其他群集更接近群集。群集可以具有作為樣本或點特徵空間的中心(質心)，並且可以具有邊界或範圍。

這些群集可能反映出在從中繪製範例的域中工作的某種機制，這種機制使某些範例彼此具有比它們與其餘範例更強的相似性。—源自：《資料探勘頁：實用機器學習工具和技術》2016年。

聚類可以作為資料分析活動提供幫助，以便了解更多關於問題域的資訊，即所謂的模式發現或知識發現。例如：

該進化樹可以被認為是人工聚類分析的結果；
將正常資料與異常值或異常分開可能會被認為是聚類問題；
根據自然行為將叢集分開是一個叢集問題，稱為市場細分。

聚類還可用作特徵工程的型別，其中現有的和新的範例可被對映並標記為屬於資料中所標識的群集之一。雖然確實存在許多特定於群集的定量措施，但是對所識別的群集的評估是主觀的，並且可能需要領域專家。通常，聚類演演算法在人工合成資料集上與預先定義的群集進行學術比較，預計演演算法會發現這些群集。

聚類是一種無監督學習技術，因此很難評估任何給定方法的輸出質量。—源自：《機器學習頁：概率觀點》2012。

二、聚類演演算法

有許多型別的聚類演演算法。許多演演算法在特徵空間中的範例之間使用相似度或距離度量，以發現密集的觀測區域。因此，在使用聚類演演算法之前，擴充套件資料通常是良好的實踐。

聚類分析的所有目標的核心是被群集的各個物件之間的相似程度（或不同程度）的概念。聚類方法嘗試根據提供給物件的相似性定義對物件進行分組。—源自：《統計學習的要素：資料探勘、推理和預測》，2016年

一些聚類演演算法要求您指定或猜測資料中要發現的群集的數量，而另一些演演算法要求指定觀測之間的最小距離，其中範例可以被視為“關閉”或“連線”。因此，聚類分析是一個迭代過程，在該過程中，對所識別的群集的主觀評估被反饋回演演算法設定的改變中，直到達到期望的或適當的結果。scikit-learn 庫提供了一套不同的聚類演演算法供選擇。下面列出了10種比較流行的演演算法：

親和力傳播
聚合聚類
BIRCH
DBSCAN
K-均值
Mini-Batch K-均值
Mean Shift
OPTICS
光譜聚類
高斯混合

每個演演算法都提供了一種不同的方法來應對資料中發現自然組的挑戰。沒有最好的聚類演演算法，也沒有簡單的方法來找到最好的演演算法為您的資料沒有使用控制實驗。

在本教學中，我們將回顧如何使用來自 scikit-learn 庫的這10個流行的聚類演演算法中的每一個。這些範例將為您複製貼上範例並在自己的資料上測試方法提供基礎。我們不會深入研究演演算法如何工作的理論，也不會直接比較它們。讓我們深入研究一下。

三、聚類演演算法範例

在本節中，我們將回顧如何在 scikit-learn 中使用10個流行的聚類演演算法。這包括一個擬合模型的例子和視覺化結果的例子。這些範例用於將貼上覆制到您自己的專案中，並將方法應用於您自己的資料。

1、庫安裝

首先，讓我們安裝庫。不要跳過此步驟，因為你需要確保安裝了最新版本。你可以使用 pip Python 安裝程式安裝 scikit-learn 儲存庫，如下所示：

sudo pip install scikit-learn

接下來，讓我們確認已經安裝了庫，並且您正在使用一個現代版本。執行以下指令碼以輸出庫版本號。

# 檢查 scikit-learn 版本  
import sklearn  
print(sklearn.__version__)

執行該範例時，您應該看到以下版本號或更高版本。

0.22.1

2、聚類資料集

我們將使用 make _ classification ()函數建立一個測試二分類資料集。資料集將有1000個範例，每個類有兩個輸入要素和一個群集。這些群集在兩個維度上是可見的，因此我們可以用散點圖繪製資料，並通過指定的群集對圖中的點進行顏色繪製。

這將有助於瞭解，至少在測試問題上，群集的識別能力如何。該測試問題中的群集基於多變數高斯，並非所有聚類演演算法都能有效地識別這些型別的群集。因此，本教學中的結果不應用作比較一般方法的基礎。下面列出了建立和彙總合成聚類資料集的範例。

# 綜合分類資料集  
from numpy import where  
from sklearn.datasets import make_classification  
from matplotlib import pyplot  
%matplotlib inline  
  
# 定義資料集  
X, y = make_classification(n_samples=1000,   
                           n_features=2,   
                           n_informative=2,   
                           n_redundant=0,   
                           n_clusters_per_class=1,   
                           random_state=4)  
# 為每個類的樣本建立散點圖  
for class_value in range(2):  
    # 獲取此類的範例的行索引  
    row_ix = where(y == class_value)  
    # 建立這些樣本的散佈  
    pyplot.scatter(X[row_ix, 0], X[row_ix, 1])  
    # 繪製散點圖  
pyplot.show()

執行該範例將建立合成的聚類資料集，然後建立輸入資料的散點圖，其中點由類標籤（理想化的群集）著色。我們可以清楚地看到兩個不同的資料組在兩個維度，並希望一個自動的聚類演演算法可以檢測這些分組。

圖：已知聚類著色點的合成聚類資料集的散點圖

接下來，我們可以開始檢視應用於此資料集的聚類演演算法的範例。我已經做了一些最小的嘗試來調整每個方法到資料集。

3、親和力傳播

親和力傳播包括找到一組最能概括資料的範例。

我們設計了一種名為“親和傳播”的方法，它作為兩對資料點之間相似度的輸入度量。在資料點之間交換實值訊息，直到一組高質量的範例和相應的群集逐漸出現—源自：《通過在資料點之間傳遞訊息》2007。

它是通過 AffinityPropagation 類實現的，要調整的主要設定是將“ 阻尼 ”設定為0.5到1，甚至可能是“偏好設定”。

下面列出了完整的範例。

# 親和力傳播聚類  
from numpy import unique  
from numpy import where  
from sklearn.datasets import make_classification  
from sklearn.cluster import AffinityPropagation  
from matplotlib import pyplot  
# 定義資料集  
X, _ = make_classification(n_samples=1000,   
                           n_features=2,   
                           n_informative=2,   
                           n_redundant=0,   
                           n_clusters_per_class=1,   
                           random_state=4)  
# 定義模型  
model = AffinityPropagation(damping=0.9)  
# 匹配模型  
model.fit(X)  
# 為每個範例分配一個叢集  
yhat = model.predict(X)  
# 檢索唯一群集  
clusters = unique(yhat)  
# 為每個群集的樣本建立散點圖  
for cluster in clusters:  
    # 獲取此群集的範例的行索引  
    row_ix = where(yhat == cluster)  
    # 建立這些樣本的散佈  
    pyplot.scatter(X[row_ix, 0], X[row_ix, 1])  
# 繪製散點圖  
pyplot.show()

執行該範例符合訓練資料集上的模型，並預測資料集中每個範例的群集。然後建立一個散點圖，並由其指定的群集著色。在這種情況下，我無法取得良好的結果。

圖：資料集的散點圖，具有使用親和力傳播識別的聚類

4、聚合聚類

聚合聚類涉及合併範例，直到達到所需的群集數量為止。它是層次聚類方法的更廣泛類的一部分，通過 AgglomerationClustering 類實現的，主要設定是“ n _ clusters ”集，這是對資料中的群集數量的估計，例如2。下面列出了完整的範例。

# 聚合聚類  
from numpy import unique  
from numpy import where  
from sklearn.datasets import make_classification  
from sklearn.cluster import AgglomerativeClustering  
from matplotlib import pyplot  
# 定義資料集  
X, _ = make_classification(n_samples=1000,   
                           n_features=2,   
                           n_informative=2,   
                           n_redundant=0,   
                           n_clusters_per_class=1,   
                           random_state=4)  
# 定義模型  
model = AgglomerativeClustering(n_clusters=2)  
# 模型擬合與聚類預測  
yhat = model.fit_predict(X)  
# 檢索唯一群集  
clusters = unique(yhat)  
# 為每個群集的樣本建立散點圖  
for cluster in clusters:  
    # 獲取此群集的範例的行索引  
    row_ix = where(yhat == cluster)  
    # 建立這些樣本的散佈  
    pyplot.scatter(X[row_ix, 0], X[row_ix, 1])  
# 繪製散點圖  
pyplot.show()

執行該範例符合訓練資料集上的模型，並預測資料集中每個範例的群集。然後建立一個散點圖，並由其指定的群集著色。在這種情況下，可以找到一個合理的分組。

圖：使用聚集聚類識別出具有聚類的資料集的散點圖

5、BIRCH

BIRCH 聚類（ BIRCH 是平衡迭代減少的縮寫，聚類使用層次結構)包括構造一個樹狀結構，從中提取聚類質心。

BIRCH 遞增地和動態地群集傳入的多維度量資料點，以嘗試利用可用資源（即可用記憶體和時間約束）產生最佳質量的聚類。—源自：《 BIRCH ：1996年大型資料庫的高效資料聚類方法》

它是通過 Birch 類實現的，主要設定是“ threshold ”和“ n _ clusters ”超引數，後者提供了群集數量的估計。下面列出了完整的範例。

# birch聚類  
from numpy import unique  
from numpy import where  
from sklearn.datasets import make_classification  
from sklearn.cluster import Birch  
from matplotlib import pyplot  
# 定義資料集  
X, _ = make_classification(n_samples=1000,   
                           n_features=2,   
                           n_informative=2,   
                           n_redundant=0,  
                           n_clusters_per_class=1,   
                           random_state=4)  
# 定義模型  
model = Birch(threshold=0.01, n_clusters=2)  
# 適配模型  
model.fit(X)  
# 為每個範例分配一個叢集  
yhat = model.predict(X)  
# 檢索唯一群集  
clusters = unique(yhat)  
# 為每個群集的樣本建立散點圖  
for cluster in clusters:  
    # 獲取此群集的範例的行索引  
    row_ix = where(yhat == cluster)  
    # 建立這些樣本的散佈  
    pyplot.scatter(X[row_ix, 0], X[row_ix, 1])  
# 繪製散點圖  
pyplot.show()

執行該範例符合訓練資料集上的模型，並預測資料集中每個範例的群集。然後建立一個散點圖，並由其指定的群集著色。在這種情況下，可以找到一個很好的分組。

圖：使用BIRCH聚類確定具有聚類的資料集的散點圖

6、DBSCAN

DBSCAN 聚類（其中 DBSCAN 是基於密度的空間聚類的噪聲應用程式）涉及在域中尋找高密度區域，並將其周圍的特徵空間區域擴充套件為群集。

…我們提出了新的聚類演演算法 DBSCAN 依賴於基於密度的概念的叢集設計，以發現任意形狀的叢集。DBSCAN 只需要一個輸入引數，並支援使用者為其確定適當的值-源自：《基於密度的噪聲大空間資料庫聚類發現演演算法》，1996

它是通過 DBSCAN 類實現的，主要設定是“ eps ”和“ min _ samples ”超引數。

下面列出了完整的範例。

# dbscan 聚類  
from numpy import unique  
from numpy import where  
from sklearn.datasets import make_classification  
from sklearn.cluster import DBSCAN  
from matplotlib import pyplot  
# 定義資料集  
X, _ = make_classification(n_samples=1000,   
                           n_features=2,   
                           n_informative=2,   
                           n_redundant=0,   
                           n_clusters_per_class=1,   
                           random_state=4)  
# 定義模型  
model = DBSCAN(eps=0.30, min_samples=9)  
# 模型擬合與聚類預測  
yhat = model.fit_predict(X)  
# 檢索唯一群集  
clusters = unique(yhat)  
# 為每個群集的樣本建立散點圖  
for cluster in clusters:  
    # 獲取此群集的範例的行索引  
    row_ix = where(yhat == cluster)  
    # 建立這些樣本的散佈  
    pyplot.scatter(X[row_ix, 0], X[row_ix, 1])  
# 繪製散點圖  
pyplot.show()

執行該範例符合訓練資料集上的模型，並預測資料集中每個範例的群集。然後建立一個散點圖，並由其指定的群集著色。在這種情況下，儘管需要更多的調整，但是找到了合理的分組。

圖：使用DBSCAN叢集識別出具有叢集的資料集的散點圖

7、K均值

K-均值聚類可以是最常見的聚類演演算法，並涉及向群集分配範例，以儘量減少每個群集內的方差。

本文的主要目的是描述一種基於樣本將 N 維種群劃分為 k 個集合的過程。這個叫做“ K-均值”的過程似乎給出了在類內方差意義上相當有效的分割區。-源自：《關於多元觀測的分類和分析的一些方法》1967年

它是通過 K-均值類實現的，要優化的主要設定是“ n _ clusters ”超引數設定為資料中估計的群集數量。下面列出了完整的範例。

# k-means 聚類  
from numpy import unique  
from numpy import where  
from sklearn.datasets import make_classification  
from sklearn.cluster import KMeans  
from matplotlib import pyplot  
# 定義資料集  
X, _ = make_classification(n_samples=1000,   
                           n_features=2,   
                           n_informative=2,  
                           n_redundant=0,  
                           n_clusters_per_class=1,   
                           random_state=4)  
# 定義模型  
model = KMeans(n_clusters=2)  
# 模型擬合  
model.fit(X)  
# 為每個範例分配一個叢集  
yhat = model.predict(X)  
# 檢索唯一群集  
clusters = unique(yhat)  
# 為每個群集的樣本建立散點圖  
for cluster in clusters:  
    # 獲取此群集的範例的行索引  
    row_ix = where(yhat == cluster)  
    # 建立這些樣本的散佈  
    pyplot.scatter(X[row_ix, 0], X[row_ix, 1])  
# 繪製散點圖  
pyplot.show()

執行該範例符合訓練資料集上的模型，並預測資料集中每個範例的群集。然後建立一個散點圖，並由其指定的群集著色。在這種情況下，可以找到一個合理的分組，儘管每個維度中的不等等方差使得該方法不太適合該資料集。

圖：使用K均值聚類識別出具有聚類的資料集的散點圖

8、Mini-Batch K-均值

Mini-Batch K-均值是 K-均值的修改版本，它使用小批次的樣本而不是整個資料集對群集質心進行更新，這可以使巨量資料集的更新速度更快，並且可能對統計噪聲更健壯。

…我們建議使用 k-均值聚類的迷你批次優化。與經典批次處理演演算法相比，這降低了計算成本的數量級，同時提供了比線上隨機梯度下降更好的解決方案。—源自：《Web-Scale K-均值聚類》2010

它是通過 MiniBatchKMeans 類實現的，要優化的主設定是“ n _ clusters ”超引數，設定為資料中估計的群集數量。下面列出了完整的範例。

# mini-batch k均值聚類  
from numpy import unique  
from numpy import where  
from sklearn.datasets import make_classification  
from sklearn.cluster import MiniBatchKMeans  
from matplotlib import pyplot  
# 定義資料集  
X, _ = make_classification(n_samples=1000,   
                           n_features=2,   
                           n_informative=2,   
                           n_redundant=0,  
                           n_clusters_per_class=1,  
                           random_state=4)  
# 定義模型  
model = MiniBatchKMeans(n_clusters=2)  
# 模型擬合  
model.fit(X)  
# 為每個範例分配一個叢集  
yhat = model.predict(X)  
# 檢索唯一群集  
clusters = unique(yhat)  
# 為每個群集的樣本建立散點圖  
for cluster in clusters:  
    # 獲取此群集的範例的行索引  
    row_ix = where(yhat == cluster)  
    # 建立這些樣本的散佈  
    pyplot.scatter(X[row_ix, 0], X[row_ix, 1])  
# 繪製散點圖  
pyplot.show()

執行該範例符合訓練資料集上的模型，並預測資料集中每個範例的群集。然後建立一個散點圖，並由其指定的群集著色。在這種情況下，會找到與標準 K-均值演演算法相當的結果。

圖：帶有最小批次K均值聚類的聚類資料集的散點圖

9、均值漂移聚類

均值漂移聚類涉及到根據特徵空間中的範例密度來尋找和調整質心。

對離散資料證明了遞推平均移位程式收斂到最接近駐點的基礎密度函數，從而證明了它在檢測密度模式中的應用。—源自：《Mean Shift ：面向特徵空間分析的穩健方法》，2002

它是通過 MeanShift 類實現的，主要設定是“頻寬”超引數。下面列出了完整的範例。

# 均值漂移聚類  
from numpy import unique  
from numpy import where  
from sklearn.datasets import make_classification  
from sklearn.cluster import MeanShift  
from matplotlib import pyplot  
# 定義資料集  
X, _ = make_classification(n_samples=1000,  
                           n_features=2,   
                           n_informative=2,   
                           n_redundant=0,   
                           n_clusters_per_class=1,  
                           random_state=4)  
# 定義模型  
model = MeanShift()  
# 模型擬合與聚類預測  
yhat = model.fit_predict(X)  
# 檢索唯一群集  
clusters = unique(yhat)  
# 為每個群集的樣本建立散點圖  
for cluster in clusters:  
    # 獲取此群集的範例的行索引  
    row_ix = where(yhat == cluster)  
    # 建立這些樣本的散佈  
    pyplot.scatter(X[row_ix, 0], X[row_ix, 1])  
# 繪製散點圖  
pyplot.show()

執行該範例符合訓練資料集上的模型，並預測資料集中每個範例的群集。然後建立一個散點圖，並由其指定的群集著色。在這種情況下，可以在資料中找到一組合理的群集。

圖：具有均值漂移聚類的聚類資料集散點圖

10、OPTICS

OPTICS 聚類（ OPTICS 短於訂購點數以標識聚類結構）是上述 DBSCAN 的修改版本。

我們為聚類分析引入了一種新的演演算法，它不會顯式地生成一個資料集的聚類；而是建立表示其基於密度的聚類結構的資料庫的增強排序。此群集排序包含相當於密度聚類的資訊，該資訊對應於範圍廣泛的引數設定。—源自：《OPTICS ：排序點以標識聚類結構》，1999

它是通過 OPTICS 類實現的，主要設定是“ eps ”和“ min _ samples ”超引數。下面列出了完整的範例。

# optics聚類  
from numpy import unique  
from numpy import where  
from sklearn.datasets import make_classification  
from sklearn.cluster import OPTICS  
from matplotlib import pyplot  
# 定義資料集  
X, _ = make_classification(n_samples=1000,   
                           n_features=2,   
                           n_informative=2,   
                           n_redundant=0,   
                           n_clusters_per_class=1,   
                           random_state=4)  
# 定義模型  
model = OPTICS(eps=0.8, min_samples=10)  
# 模型擬合與聚類預測  
yhat = model.fit_predict(X)  
# 檢索唯一群集  
clusters = unique(yhat)  
# 為每個群集的樣本建立散點圖  
for cluster in clusters:  
    # 獲取此群集的範例的行索引  
    row_ix = where(yhat == cluster)  
    # 建立這些樣本的散佈  
    pyplot.scatter(X[row_ix, 0], X[row_ix, 1])  
# 繪製散點圖  
pyplot.show()

執行該範例符合訓練資料集上的模型，並預測資料集中每個範例的群集。然後建立一個散點圖，並由其指定的群集著色。在這種情況下，我無法在此資料集上獲得合理的結果。

圖：使用OPTICS聚類確定具有聚類的資料集的散點圖

11、光譜聚類

光譜聚類是一類通用的聚類方法，取自線性線性代數。

最近在許多領域出現的一個有希望的替代方案是使用聚類的光譜方法。這裡，使用從點之間的距離匯出的矩陣的頂部特徵向量。—源自：《關於光譜聚類：分析和演演算法》，2002年

它是通過 Spectral 聚類類實現的，而主要的 Spectral 聚類是一個由聚類方法組成的通用類，取自線性線性代數。要優化的是“ n _ clusters ”超引數，用於指定資料中的估計群集數量。下面列出了完整的範例。

# spectral clustering  
from numpy import unique  
from numpy import where  
from sklearn.datasets import make_classification  
from sklearn.cluster import SpectralClustering  
from matplotlib import pyplot  
# 定義資料集  
X, _ = make_classification(n_samples=1000,   
                           n_features=2,   
                           n_informative=2,   
                           n_redundant=0,  
                           n_clusters_per_class=1,   
                           random_state=4)  
# 定義模型  
model = SpectralClustering(n_clusters=2)  
# 模型擬合與聚類預測  
yhat = model.fit_predict(X)  
# 檢索唯一群集  
clusters = unique(yhat)  
# 為每個群集的樣本建立散點圖  
for cluster in clusters:  
    # 獲取此群集的範例的行索引  
    row_ix = where(yhat == cluster)  
    # 建立這些樣本的散佈  
    pyplot.scatter(X[row_ix, 0], X[row_ix, 1])  
# 繪製散點圖  
pyplot.show()

執行該範例符合訓練資料集上的模型，並預測資料集中每個範例的群集。然後建立一個散點圖，並由其指定的群集著色。

在這種情況下，找到了合理的叢集。

圖：使用光譜聚類聚類識別出具有聚類的資料集的散點圖

12、高斯混合模型

高斯混合模型總結了一個多變數概率密度函數，顧名思義就是混合了高斯概率分佈。它是通過 Gaussian Mixture 類實現的，要優化的主要設定是“ n _ clusters ”超引數，用於指定資料中估計的群集數量。下面列出了完整的範例。

# 高斯混合模型  
from numpy import unique  
from numpy import where  
from sklearn.datasets import make_classification  
from sklearn.mixture import GaussianMixture  
from matplotlib import pyplot  
# 定義資料集  
X, _ = make_classification(n_samples=1000,   
                           n_features=2,   
                           n_informative=2,  
                           n_redundant=0,  
                           n_clusters_per_class=1,   
                           random_state=4)  
# 定義模型  
model = GaussianMixture(n_components=2)  
# 模型擬合  
model.fit(X)  
# 為每個範例分配一個叢集  
yhat = model.predict(X)  
# 檢索唯一群集  
clusters = unique(yhat)  
# 為每個群集的樣本建立散點圖  
for cluster in clusters:  
    # 獲取此群集的範例的行索引  
    row_ix = where(yhat == cluster)  
    # 建立這些樣本的散佈  
    pyplot.scatter(X[row_ix, 0], X[row_ix, 1])  
# 繪製散點圖  
pyplot.show()

執行該範例符合訓練資料集上的模型，並預測資料集中每個範例的群集。然後建立一個散點圖，並由其指定的群集著色。在這種情況下，我們可以看到群集被完美地識別。這並不奇怪，因為資料集是作為 Gaussian 的混合生成的。