首頁 > 軟體

Python 資料篩選功能實現

2023-04-08 06:00:30

        無論是在資料分析還是資料探勘的時候,資料篩選總會涉及到。這裡我總結了一下python中列表,字典,資料框中一些常用的資料篩選的方法。

1.列表

        案例一:從一個含有數位0-9的列表中篩選出偶數(奇數):

1.enumerate方法(生成兩列資料,第一列是索引,第二列是數值)

	num=[i for i in range(10)]
	num1=[]
	for index,count in enumerate(num):
	    if count%2==0:
	        num1.append(num[index])
	print(num1)

2.列表推導式(常用)

	num=[i for i in range(10) if i%2==0]
	print(num)

        二者輸出結果都是[0,2,4,6,8],相比之下列表推導式要簡潔的多

2.字典

        案例二:從一個包含學生姓名和成績的字典中,篩選出成績大於60的學生
        首先,我們構造一個字典inf:

	name=['Bob','Jim','Gin','Angel']
	grade=[80,55,75,95]
	inf=dict(zip(name,grade))
	print(inf)

        輸出結果為:{‘Bob’: 80, ‘Jim’: 55, ‘Gin’: 75, ‘Angel’: 95}

        以下,我們可以通過字典推導式篩選出學生成績(大於60):

	dict1={key:value for key,value in inf.items() if value>60}
	print(dict1)

        輸出結果:{‘Bob’: 80, ‘Gin’: 75, ‘Angel’: 95}

        如果你只是想要返回成績大於60的學生名字或者分數的話,可以將dict1中的key:value部分改為key或者value即可.當然上述步驟是先建立一個字典,然後再從字典裡篩選出符合特定條件的值。可不可以一步完成呢?
        當然闊以~

	dict2={name[i]:grade[i] for i in range(len(grade)) if grade[i]>60}
	print(dict2)

        輸出結果也是{‘Bob’: 80, ‘Gin’: 75, ‘Angel’: 95}.不過,這裡需要注意的是:如果列表name 和列表grade長度不一致的話,後面for迴圈中的len函數應該去長度較短的列表!

3.資料框

        案例三:利用pandas從招聘資訊表中篩選出特定條件的資訊

        首先,匯入資料

	import pandas as pd
	df=pd.read_excel('job_information.xls',encoding='utf-8')
	df

        招聘資訊表如下:

A. 篩選出工作經驗(exp)為4年的招聘資訊

	df[df['exp'].isin([4])]

        通用篩選方式:data[data[‘篩選列’].isin([num])]

        需要注意的是:isin函數裡篩選的num必須用[]括起來!可以是一個,也可以是多個。但只能對特定的數位進行篩選,最後篩選的結果如下:

B. 篩選出具體給明的工資(salary)(過濾掉薪資面議)

	df[df['salary'].str.contains('K')]

        通用篩選方式:data[data[‘篩選列’].str.contains(‘特定字元’)]

        需要注意的是:只能對特定的字串進行篩選,最後篩選結果如下:

C.篩選出只含有K的工資(過濾14薪等以及薪資面議)

	df[~df['salary'].str.contains('薪')]

因為這裡需要過濾的字元都出現了"薪",我們依舊可以使用contains函數。需要注意的是"~“代表"非”(在對於isin函數也有用!),即排除salary中包含"薪" 這個字元的所有資料。最後,篩選結果如下:

D.篩選出含有K的工資(包括14薪等)

這裡由於展示的資料樣本少,該方法最終呈現的效果是和方法B是一樣的。使用的方法是:apply函數+正則

def select(x):
    pat='[0-9]?[0-9]K-[0-9]?[0-9]K'
    rst=re.search(pat,x)
    if rst:
        return rst.group(0)
    return 0
df['salary'].apply(select)

需要注意的是:在使用group函數的時候,需要先判斷是否可以先查到對應的值。否則會報錯(NoneType object has no attribute ‘group’ )。最後篩選的結果如下:

此外,還有一些篩選資料的方法如pivot_table(資料透視表),filter函數+lambda函數等,這就需要大家在實際應用的時候靈活選擇。

到此這篇關於Python 資料篩選的文章就介紹到這了,更多相關Python 資料篩選內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!


IT145.com E-mail:sddin#qq.com