MySQL千萬級資料的大表優化解決方案

2022-11-21 14:01:10

1.資料庫設計和表建立時就要考慮效能

mysql資料庫本身高度靈活，造成效能不足，嚴重依賴開發人員能力。也就是說開發人員能力高，則mysql效能高。這也是很多關係型資料庫的通病。

設計表時要注意：

表欄位避免null值出現，null值很難查詢優化且佔用額外的索引空間，推薦預設數位0代替null。

儘量使用INT而非BIGINT，如果非負則加上UNSIGNED（這樣數值容量會擴大一倍），當然能使用TINYINT、SMALLINT、MEDIUM_INT更好。

使用列舉或整數代替字串型別

儘量使用TIMESTAMP而非DATETIME

單表不要有太多欄位，建議在20以內

用整型來存IP

索引

索引並不是越多越好，要根據查詢有針對性的建立，考慮在WHERE和ORDER BY命令上涉及的列建立索引，可根據EXPLAIN來檢視是否用了索引還是全表掃描

應儘量避免在WHERE子句中對欄位進行NULL值判斷，否則將導致引擎放棄使用索引而進行全表掃描

值分佈很稀少的欄位不適合建索引，例如"性別"這種只有兩三個值的欄位

字元欄位只建字首索引

字元欄位最好不要做主鍵

不用外來鍵，由程式保證約束

儘量不用UNIQUE，由程式保證約束

使用多列索引時主意順序和查詢條件保持一致，同時刪除不必要的單列索引

簡言之就是使用合適的資料型別，選擇合適的索引

選擇合適的資料型別

（1）使用可存下資料的最小的資料型別，整型 < date,time < char,varchar < blob

（2）使用簡單的資料型別，整型比字元處理開銷更小，因為字串的比較更復雜。如，int型別儲存時間型別，bigint型別轉ip函數

（3）使用合理的欄位屬性長度，固定長度的表會更快。使用enum、char而不是varchar

（4）儘可能使用not null定義欄位

（5）儘量少用text，非用不可最好分表

選擇合適的索引列

（1）查詢頻繁的列，在where，group by，order by，on從句中出現的列

（2）where條件中<，<=，=，>，>=，between，in，以及like 字串+萬用字元（%）出現的列

（3）長度小的列，索引欄位越小越好，因為資料庫的儲存單位是頁，一頁中能存下的資料越多越好

（4）離散度大（不同的值多）的列，放在聯合索引前面。檢視離散度，通過統計不同的列值來實現，count越大，離散程度越高：

引擎

目前廣泛使用的是MyISAM和InnoDB兩種引擎：

MyISAM

MyISAM引擎是MySQL 5.1及之前版本的預設引擎，它的特點是：

不支援行鎖，讀取時對需要讀到的所有表加鎖，寫入時則對錶加排它鎖

不支援事務

不支援外來鍵

不支援崩潰後的安全恢復

在表有讀取查詢的同時，支援往表中插入新紀錄

支援BLOB和TEXT的前500個字元索引，支援全文索引

支援延遲更新索引，極大提升寫入效能

對於不會進行修改的表，支援壓縮表，極大減少磁碟空間佔用

InnoDB

InnoDB在MySQL 5.5後成為預設索引，它的特點是

支援行鎖，採用MVCC來支援高並行

支援事務

支援外來鍵

支援崩潰後的安全恢復

不支援全文索引

總體來講，MyISAM適合SELECT密集型的表，而InnoDB適合INSERT和UPDATE密集型的表。

2.sql的編寫需要注意優化

使用limit對查詢結果的記錄進行限定

避免select *，將需要查詢的欄位列出來

使用連線（join）來代替子查詢

拆分大的delete或insert語句

可通過開啟慢查詢紀錄檔來找出較慢的SQL

不做列運算：SELECT id WHERE age + 1 = 10，任何對列的操作都將導致表掃描，它包括資料庫教學函數、計算表示式等等，查詢時要儘可能將操作移至等號右邊

sql語句儘可能簡單：一條sql只能在一個cpu運算；大語句拆小語句，減少鎖時間；一條大sql可以堵死整個庫

OR改寫成IN：OR的效率是n級別，IN的效率是log(n)級別，in的個數建議控制在200以內

不用函數和觸發器，在應用程式實現

避免%xxx式查詢

少用JOIN

使用同型別進行比較，比如用'123'和'123'比，123和123比

儘量避免在WHERE子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描

對於連續數值，使用BETWEEN不用IN：SELECT id FROM t WHERE num BETWEEN 1 AND 5

列表資料不要拿全表，要使用LIMIT來分頁，每頁數量也不要太大

3.分割區

MySQL在5.1版引入的分割區是一種簡單的水平拆分，使用者需要在建表的時候加上分割區引數，對應用是透明的無需修改程式碼

對使用者來說，分割區表是一個獨立的邏輯表，但是底層由多個物理子表組成，實現分割區的程式碼實際上是通過對一組底層表的物件封裝，但對SQL層來說是一個完全封裝底層的黑盒子。MySQL實現分割區的方式也意味著索引也是按照分割區的子表定義，沒有全域性索引

使用者的SQL語句是需要針對分割區表做優化，SQL條件中要帶上分割區條件的列，從而使查詢定位到少量的分割區上，否則就會掃描全部分割區，可以通過EXPLAIN PARTITIONS來檢視某條SQL語句會落在那些分割區上，從而進行SQL優化，我測試，查詢時不帶分割區條件的列，也會提高速度，故該措施值得一試。

分割區的好處是：

可以讓單表儲存更多的資料

分割區表的資料更容易維護，可以通過清楚整個分割區批次刪除大量資料，也可以增加新的分割區來支援新插入的資料。另外，還可以對一個獨立分割區進行優化、檢查、修復等操作

部分查詢能夠從查詢條件確定只落在少數分割區上，速度會很快

分割區表的資料還可以分佈在不同的物理裝置上，從而搞笑利用多個硬體裝置

可以使用分割區表賴避免某些特殊瓶頸，例如InnoDB單個索引的互斥存取、ext3檔案系統的inode鎖競爭

可以備份和恢復單個分割區

分割區的限制和缺點：

一個表最多隻能有1024個分割區

如果分割區欄位中有主鍵或者唯一索引的列，那麼所有主鍵列和唯一索引列都必須包含進來

分割區表無法使用外來鍵約束

NULL值會使分割區過濾無效

所有分割區必須使用相同的儲存引擎

分割區的型別：

我首先根據月份把上網記錄表RANGE分割區了12份，查詢效率提高6倍左右，效果不明顯，故：換id為HASH分割區，分了64個分割區，查詢速度提升顯著。問題解決！

結果如下：PARTITION BY HASH (id)PARTITIONS 64

select count() from readroom_website; --11901336行記錄

/ 受影響行數: 0 已找到記錄: 1 警告: 0 持續時間 1 查詢: 5.734 sec. /

select * from readroom_website where month(accesstime) =11 limit 10;

/ 受影響行數: 0 已找到記錄: 10 警告: 0 持續時間 1 查詢: 0.719 sec. */