數(shù)據(jù)庫遷移是我們經(jīng)??捎龅降膯栴},對(duì)于少量的數(shù)據(jù),遷移基本上不會(huì)有什么問題。生產(chǎn)環(huán)境中,有以下情況需要做遷移工作:
- 磁盤空間不夠。比如一些老項(xiàng)目,選用的機(jī)型并不一定適用于數(shù)據(jù)庫。隨著時(shí)間的推移,硬盤很有可能出現(xiàn)短缺;
- 業(yè)務(wù)出現(xiàn)瓶頸。比如項(xiàng)目中采用單機(jī)承擔(dān)所有的讀寫業(yè)務(wù),業(yè)務(wù)壓力增大,不堪重負(fù)。如果 IO 壓力在可接受的范圍,會(huì)采用讀寫分離方案;
- 機(jī)器出現(xiàn)瓶頸。機(jī)器出現(xiàn)瓶頸主要在磁盤 IO 能力、內(nèi)存、CPU,此時(shí)除了針對(duì)瓶頸做一些優(yōu)化以外,選擇遷移是不錯(cuò)的方案;
- 項(xiàng)目改造。某些項(xiàng)目的數(shù)據(jù)庫存在跨機(jī)房的情況,可能會(huì)在不同機(jī)房中增加節(jié)點(diǎn),或者把機(jī)器從一個(gè)機(jī)房遷移到另一個(gè)機(jī)房。再比如,不同業(yè)務(wù)共用同一臺(tái)服務(wù)器,為了緩解服務(wù)器壓力以及方便維護(hù),也會(huì)做遷移。
MySQL遷移通常使用的有三種方法:
1、數(shù)據(jù)庫直接導(dǎo)出,拷貝文件到新服務(wù)器,在新服務(wù)器上導(dǎo)入。
2、使用第三方遷移工具。
3、數(shù)據(jù)文件和庫表結(jié)構(gòu)文件直接拷貝到新服務(wù)器,掛載到同樣配置的MySQL服務(wù)下。
第一種方案的優(yōu)點(diǎn):會(huì)重建數(shù)據(jù)文件,減少數(shù)據(jù)文件的占用空間,兼容性最好,導(dǎo)出導(dǎo)入很少發(fā)生問題,需求靈活。缺點(diǎn):使用傳統(tǒng)導(dǎo)出導(dǎo)入時(shí)間占用長。
第二種方案的優(yōu)點(diǎn):設(shè)置完成后傳輸無人值守,自動(dòng)完成。缺點(diǎn):不夠靈活,設(shè)置繁瑣,傳輸時(shí)間長,異常后很難從異常的位置繼續(xù)傳輸。
第三種方案的優(yōu)點(diǎn):時(shí)間占用短,文件可斷點(diǎn)傳輸,操作步驟少。缺點(diǎn):新舊服務(wù)器中MySQL版本及配置必須相同,可能引起未知問題。
假如數(shù)據(jù)庫遷移是因?yàn)闃I(yè)務(wù)瓶頸或項(xiàng)目改造等需要變動(dòng)數(shù)據(jù)表結(jié)構(gòu)的(比如分區(qū)分表),我們便只能使用第一種方法了。
使用MySQL的SELECT INTO OUTFILE 、LOAD DATA INFILE快速導(dǎo)出導(dǎo)入數(shù)據(jù)
LOAD DATA INFILE
語句從一個(gè)文本文件中以很高的速度讀入一個(gè)表中。MySQL官方文檔也說明了,該方法比一次性插入一條數(shù)據(jù)性能快20倍。
當(dāng)用戶一前一后地使用SELECT ... INTO OUTFILE
和LOAD DATA INFILE
將數(shù)據(jù)從一個(gè)數(shù)據(jù)庫寫到一個(gè)文件中,然后再從文件中將它讀入數(shù)據(jù)庫中時(shí),兩個(gè)命令的字段和行處理選項(xiàng)必須匹配。否則,LOAD DATA INFILE 將不能正確地解釋文件內(nèi)容。
下面是一個(gè)項(xiàng)目的例子,MySQL由windows平臺(tái)遷移到Linux平臺(tái),數(shù)據(jù)總量12G
Windows平臺(tái)導(dǎo)出數(shù)據(jù):
tables.txt是保存數(shù)據(jù)表名稱的文件,通過從文件中讀取數(shù)據(jù)表名稱,循環(huán)導(dǎo)出所有表:如果過程中攝及到分表,可根據(jù)分表規(guī)則修改導(dǎo)出的sql語句和批處理代碼,非常靈活。
@echo off setlocal enabledelayedexpansion
for /f %%i in (tables.txt) do ( set table=%%i
echo "dump table -- !table! --"
mysql -uroot -p12345678 codetc_old -e "SELECT * INTO OUTFILE 'F:/MySQL/Uploads/!table!.txt' FIELDS TERMINATED BY ',' FROM !table!"
)
pause
Linux平臺(tái)導(dǎo)入數(shù)據(jù):
#!/bin/bash
while read line
do
mysql -uroot -p12345678 codetc_new -e "LOAD DATA INFILE '/var/lib/mysql-files/$line.txt' INTO TABLE $line FIELDS TERMINATED BY ','"
done tables.txt
數(shù)據(jù)導(dǎo)入之前需在新機(jī)器上創(chuàng)建表結(jié)構(gòu),12G的數(shù)據(jù)導(dǎo)出用時(shí)3分鐘左右,導(dǎo)入用時(shí)4分鐘左右(執(zhí)行時(shí)間根據(jù)機(jī)器的配置會(huì)有所不同,不具有參考價(jià)值)
總結(jié)
以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接
您可能感興趣的文章:- MySQL數(shù)據(jù)庫遷移data文件夾位置詳細(xì)步驟
- Mysql的數(shù)據(jù)庫遷移到另一個(gè)機(jī)器上的方法詳解
- oracle數(shù)據(jù)庫遷移到MySQL的方法總結(jié)
- mysql數(shù)據(jù)庫遷移至Oracle數(shù)據(jù)庫
- mysql Innodb表空間卸載、遷移、裝載的使用方法
- 關(guān)于MySQL數(shù)據(jù)遷移--data目錄直接替換注意事項(xiàng)的詳解
- 淺析mysql遷移到clickhouse的5種方法
- mysql5.5數(shù)據(jù)庫data目錄遷移方法詳解
- mysql 備份與遷移 數(shù)據(jù)同步方法
- 一次mysql遷移的方案與踩坑實(shí)戰(zhàn)記錄