首頁 > 軟體

Memcache的記憶體管理機制

2020-06-16 17:39:21

Memcache使用了Slab Allocator的記憶體分配機制:按照預先規定的大小,將分配的記憶體分割成特定長度的塊,以完全解決記憶體碎片問題
Memcache的儲存涉及到slab,page,chunk三個概念
1.Chunk為固定大小的記憶體空間,預設為96Byte。
2.page對應實際的物理空間,1個page為1M。
3.同樣大小的chunk又稱為slab。
Memcached再啟動的時候根據-n和-f引數,產生若干slab。具體應用中Memcache每次申請1page,並將這1M空間分割成若干個chunk,這些chunk有著同樣的大小,屬於同一個slab。
【新增】,通過memcache新增item的時候:
1.  Memcache計算item的大小(key+value+flags),選取合適的slab(剛好能放下該item的slab)
2.  如果這個item對應的slab未出現過,則申請1個page(注意,這1M空間不論是否達到memcached使用記憶體都可以申請成功)並加該item存入slab中的chunk
3.  如果item對應的slab出現過,則在該slab中優先選擇expired(free_chunks)和delete(在1.2.2中delete的chunk存在著不能被重複利用的問題)的chunk進行儲存,其次將選擇未使用過的chunk(free_chunks_end)進行儲存。
4.  如果item對應的slab出現過,但是對應的slab已經儲存滿了,那麼會申請一個新的page,這個page被分為對應大小的chunk,繼續儲存。
5.  如果item對應的slab出現過,但是對應的slab已經儲存滿了並且memcache也達到了最大記憶體使用。將使用lru演算法,清除item(可能將未過期的item清除)此時會有eviction++
【刪除】:
1.  Delete操作只是將該chunk置為刪除狀態,這樣在下次使用將優先利用這樣的chunk。
【flush】
1.  Flush操作相當於將所有的item失效的一個動作。並不會改變memcache記憶體分配情況。
一些注意
1. memcache已經分配的記憶體不會再主動清理。
2. memcache分配給某個slab的記憶體頁不能再分配給其他slab。
3. flush_all不能重置memcache分配記憶體頁的格局,只是給所有的item置為過期。
4. memcache最大儲存的item(key+value)大小限制為1M,這由page大小1M限制
5.由於memcache的分散式是用戶端程式通過hash演算法得到的key取模來實現,不同的語言可能會採用不同的hash演算法,同樣的用戶端程式也有可能使用相異的方法,因此在多語言、多模組共用同一組memcached服務時,一定要注意在用戶端選擇相同的hash演算法
6.啟動memcached時可以通過-M引數禁止LRU替換,在記憶體用盡時add和set會返回失敗
7.memcached啟動時指定的是資料儲存量,沒有包括本身佔用的記憶體、以及為了儲存資料而設定的管理空間。因此它佔用的記憶體量會多於啟動時指定的記憶體分配量,這點需要注意。
8.memcache儲存的時候對key的長度有限制,php和C的最大長度都是250

CentOS 6.6下Memcached 原始碼安裝設定  http://www.linuxidc.com/Linux/2015-09/123019.htm

Memcached 安裝及啟動指令碼 http://www.linuxidc.com/Linux/2013-07/87641.htm

PHP中使用Memcached的效能問題 http://www.linuxidc.com/Linux/2013-06/85883.htm

Ubuntu下安裝Memcached及命令解釋 http://www.linuxidc.com/Linux/2013-06/85832.htm

Memcached的安裝和應用 http://www.linuxidc.com/Linux/2013-08/89165.htm

使用Nginx+Memcached的小圖片儲存方案 http://www.linuxidc.com/Linux/2013-11/92390.htm

Memcached使用入門 http://www.linuxidc.com/Linux/2011-12/49516p2.htm


IT145.com E-mail:sddin#qq.com