Python 資料分析教學探索性資料分析

2022-08-17 18:02:42

什麼是探索性資料分析（EDA）？

EDA 是資料分析下的一種現象，用於更好地理解資料方面，例如：
– 資料的主要特徵
– 變數和它們之間的關係
– 確定哪些變數對我們的問題很重要
我們將研究各種探索性資料分析方法，

例如：

描述性統計，這是一種簡要概述我們正在處理的資料集的方法，包括樣本的一些度量和特徵
分組資料 [使用group by 進行基本分組]
ANOVA，方差分析，這是一種計算方法，可將觀察集中的變化劃分為不同的分量。
相關和相關方法

我們將使用的資料集是子投票資料集，您可以在 python 中將其匯入為：

import pandas as pd
Df = pd.read_csv("https://vincentarelbundock.github.io / Rdatasets / csv / car / Child.csv")

描述性統計

描述性統計是瞭解資料特徵和快速總結資料的有用方法。python 中的 Pandas 提供了一個有趣的方法describe() 。describe 函數對資料集應用基本統計計算，如極值、資料點計數標準差等。任何缺失值或 NaN 值都會被自動跳過。describe() 函數很好地描繪了資料的分佈情況。

DF.describe()

這是您在執行上述程式碼時將獲得的輸出：

另一種有用的方法是 value_counts()，它可以獲取分類屬性值系列中每個類別的計數。例如，假設您正在處理一個客戶資料集，這些客戶在列名 age 下分為青年、中年和老年類別，並且您的資料框是“DF”。您可以執行此語句以瞭解有多少人屬於各個類別。在我們的資料集範例中可以使用教育列

DF["education"].value_counts()

上述程式碼的輸出將是：

另一個有用的工具是 boxplot，您可以通過 matplotlib 模組使用它。箱線圖是資料分佈的圖形表示，顯示極值、中位數和四分位數。我們可以使用箱線圖輕鬆找出異常值。現在再次考慮我們一直在處理的資料集，讓我們在屬性總體上繪製一個箱線圖

import pandas as pd
import matplotlib.pyplot as plt
DF = pd.read_csv("https://raw.githubusercontent.com / fivethirtyeight / data / master / airline-safety / airline-safety.csv")
y = list(DF.population)
plt.boxplot(y)
plt.show()

發現異常值後，輸出圖將如下所示：

分組資料

Group by 是 pandas 中可用的一個有趣的度量，它可以幫助我們找出不同分類屬性對其他資料變數的影響。讓我們看一個在同一資料集上的範例，我們想找出人們的年齡和教育對投票資料集的影響。

DF.groupby(['education', 'vote']).mean()

輸出會有點像這樣：

如果按輸出表進行分組難以理解，則進一步的分析師使用資料透視表和熱圖對其進行視覺化。

方差分析

ANOVA 代表方差分析。執行它是為了找出不同類別資料組之間的關係。
在 ANOVA 下，我們有兩個測量結果：
– F-testscore：顯示組均值相對於變化的變化
– p 值：顯示結果的重要性
這可以使用 python 模組 scipy 方法名稱f_oneway()

這些樣本是每組的樣本測量值。
作為結論，如果 ANOVA 檢驗給我們一個大的 F 檢驗值和一個小的 p 值，我們可以說其他變數和分類變數之間存在很強的相關性。

Python 資料分析教學探索性資料分析

目錄

什麼是探索性資料分析（EDA）？

描述性統計

分組資料

方差分析

相關性和相關性計算

熱門文章