shell指令碼實現mysql資料庫雙機定時備份的方法

2022-07-20 18:00:57

1 緣起與目的

最近有個需求，要求實現對某個資料庫進行雙機備份，每天凌晨備份一次，要求主機器只保留最近十五天的記錄。經過深思熟慮的研究（瘋狂baidu），我們決定用shell指令碼加定時任務的方式來實現這個需求。

考慮到有的小夥伴mysql使用docker部署，最後我們也會貼出docker環境下的部署指令碼。

環境準備：

兩臺都裝好ssh的機器，保證網路通常。我們使用的跨庫複製命令scp基於openssh-clients-XXX，所以要求基礎的ssh環境。
mysql服務所在機器Expect命令正常
mysql服務正常。（docker容器也可）

這裡貼一段離線自動安裝expect命令的指令碼

#!/bin/bash
CURRENT_DIR=`pwd`

function install_expect()
{
    echo "install start..."
    cp expect-5.45.0.tar.gz tcl8.4.11-src.tar.gz /usr/
    cd /usr/
    tar -zxvf expect-5.45.0.tar.gz
    tar -zxvf tcl8.4.11-src.tar.gz
    cd tcl8.4.11/unix
    ./configure --prefix=/usr/tcl --enable-shared
    make -j8
    make install
    cp tclUnixPort.h ../generic/
    
    cd ../../expect-5.45
    ./configure --prefix=/usr/expect --with-tcl=/usr/tcl/lib --with-tclinclude=../tcl8.4.11/generic
    make -j8
    make install
    ln -s /usr/expect/bin/expect /usr/tcl/bin/expect
    ln -s /usr/expect/bin/expect /usr/bin/expect
    cd ..
    rm -rf expect-5.45.0.tar.gz tcl8.4.11-src.tar.gz
    cd $CURRENT_DIR
    echo "install finished..."
    
}
install_expect

在放上上述指令碼所需要的兩個包的下載地址

nchc.dl.sourceforge.net/sourceforge…

sourceforge.net/projects/ex…

2 確認環境

這個環節我們來手動確認一個指令碼的關鍵命令，保證指令碼能夠正常執行。

2.1 匯出資料庫sql指令碼

mysqldump -u資料庫使用者名稱 -p資料庫密碼 需要匯出的資料庫名稱 > /mnt/data/mysql_backup/匯出後的sql指令碼名稱.sql

sql指令碼正常匯出。

2.2 跨機器拷貝

scp -P ssh埠號 /mnt/data/mysql_backup/匯出後的sql指令碼名稱.sql 另一臺機器的使用者名稱比如root@另一臺機器IP:/mnt/data/mysql_backup/

第一次拷貝失敗，原因另一臺機器需要保證/mnt/data/mysql_backup/這個路徑存在，再次執行即可成功。

2.3 docker容器確認環境

#資料庫備份
docker exec -u root mysql bash -c 'rm -rf /usr/local/pm/* && mysqldump -u使用者名稱 -p密碼 資料庫名 > /usr/local/pm/pm_yantai_$(date "+%Y-%m-%d").sql'
#sql拷貝出來
docker cp mysql:/usr/local/pm/pm_yantai_$(date "+%Y-%m-%d").sql 
#跨機器拷貝
scp -P ssh埠號 /mnt/data/mysql_backup/匯出後的sql指令碼名稱.sql 另一臺機器的使用者名稱比如root@另一臺機器IP:/mnt/data/mysql_backup/

3 構建指令碼

3.1 指令碼內容

1.非dockermysql

#!/bin/bash
#匯出sql指令碼
echo $(date "+%Y-%m-%d") backup start
echo mysql backup start
mysqldump -u資料庫使用者名稱 -p資料庫密碼 pm_prod2.0 > /mnt/data/mysql_backup/pm_shandong_$(date "+%Y-%m-%d").sql
echo mysql backup finish
#scp跨機器備份
echo sql scp start
/usr/bin/expect <<-EOF
set timeout -1;
spawn scp -P ssh埠號 /mnt/data/mysql_backup/pm_shandong_$(date "+%Y-%m-%d").sql 另一臺機器使用者名稱@另一臺機器IP:/mnt/data/mysql_backup/
expect {
    "*password:" {send "另一臺機器密碼r";exp_continue;}
    "yes/no" {send "yesr";}
}
EOF
#刪除過期sql
echo remove file /mnt/data/mysql_backup/pm_shandong_$(date -d "7 day ago" +%Y-%m-%d).sql
rm -rf /mnt/data/mysql_backup/pm_shandong_$(date -d "7 day ago" +%Y-%m-%d).sql
echo finish! The file is pm_shandong_$(date "+%Y-%m-%d").sql

2.docker容器mysql

#!/bin/bash
echo $(date "+%Y-%m-%d") backup start
echo mysql docker backup start
docker exec -u root mysql bash -c 'rm -rf /usr/local/pm/* && mysqldump -u使用者名稱 -p密碼 資料庫名 > /usr/local/pm/pm_yantai_$(date "+%Y-%m-%d").sql'
echo mysql docker backup finish
echo sql copy start
docker cp mysql:/usr/local/pm/pm_yantai_$(date "+%Y-%m-%d").sql /usr/local/sdyy/pm/mysql_backup/pm_yantai_$(date "+%Y-%m-%d").sql
echo sql scp start
/usr/bin/expect <<-EOF
set timeout -1;
spawn scp -P ssh埠號 /usr/local/sdyy/pm/mysql_backup/pm_yantai_$(date "+%Y-%m-%d").sql 另一臺機器使用者名稱@另一臺機器IP:/usr/local/sdyy/pm/mysql_backup/
expect {
    "*password:" {send "另一臺機器登入密碼r";exp_continue;}
    "yes/no" {send "yesr";}
}
EOF
echo remove file /usr/local/sdyy/pm/mysql_backup/pm_yantai_$(date -d "15 day ago" +%Y-%m-%d).sql
rm -rf /usr/local/sdyy/pm/mysql_backup/pm_yantai_$(date -d "15 day ago" +%Y-%m-%d).sql
echo finish! The file is pm_yantai_$(date "+%Y-%m-%d").sql

3.2 手動執行指令碼確認正常

sh mysql_backup.sh

注意：如果你是從windows直接上傳的shell指令碼，應該會報如下錯誤。

這是因為你的備份檔案多了個？

總的原因是在windows建立的檔案格式是dos格式的緣故。

解決方式如下：

1.在Windows下轉換：

利用一些編輯器如UltraEdit或EditPlus等工具先將指令碼編碼轉換，再放到Linux中執行。轉換方式如下（UltraEdit）：File-->Conversions-->DOS->UNIX即可。

2.在Linux下轉換用vim開啟該sh檔案，輸入： :set ff 回車，顯示fileformat=dos，重新設定下檔案格式： :set ff=unix 儲存退出: :wq

重新執行命令

4 定時任務

編輯定時任務

crontab -e

在末尾行加上如下行

0 3 * * * /mnt/data/mysql_backup/mysql_backup.sh >> /mnt/data/mysql_backup/backup.log

前面是corn表示式，代表每天三點執行。

這裡貼一段可能會用到的cron表示式。

後面是shell指令碼絕對路徑，後面將執行紀錄檔追加到紀錄檔檔案。

儲存並退出。

查詢當前有哪些定時任務

crontab -l

新增可執行許可權

chmod +x /mnt/data/mysql_backup/mysql_backup.sh

到此這篇關於shell指令碼實現mysql資料庫雙機定時備份的文章就介紹到這了,更多相關shell指令碼mysql定時備份內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！