濮阳杆衣贸易有限公司

主頁 > 知識(shí)庫 > MySQL數(shù)據(jù)庫遷移快速導(dǎo)出導(dǎo)入大量數(shù)據(jù)

MySQL數(shù)據(jù)庫遷移快速導(dǎo)出導(dǎo)入大量數(shù)據(jù)

熱門標(biāo)簽:溫州瑞安400電話怎么申請(qǐng) 昆明電信400電話辦理 百度地圖標(biāo)注后不顯示 淄博400電話申請(qǐng) 電銷機(jī)器人 行業(yè) 南昌高頻外呼系統(tǒng)哪家公司做的好 俄國地圖標(biāo)注app 電話機(jī)器人市場趨勢 電銷機(jī)器人各個(gè)細(xì)節(jié)介紹

數(shù)據(jù)庫遷移是我們經(jīng)??捎龅降膯栴},對(duì)于少量的數(shù)據(jù),遷移基本上不會(huì)有什么問題。生產(chǎn)環(huán)境中,有以下情況需要做遷移工作:

  • 磁盤空間不夠。比如一些老項(xiàng)目,選用的機(jī)型并不一定適用于數(shù)據(jù)庫。隨著時(shí)間的推移,硬盤很有可能出現(xiàn)短缺;
  • 業(yè)務(wù)出現(xiàn)瓶頸。比如項(xiàng)目中采用單機(jī)承擔(dān)所有的讀寫業(yè)務(wù),業(yè)務(wù)壓力增大,不堪重負(fù)。如果 IO 壓力在可接受的范圍,會(huì)采用讀寫分離方案;
  • 機(jī)器出現(xiàn)瓶頸。機(jī)器出現(xiàn)瓶頸主要在磁盤 IO 能力、內(nèi)存、CPU,此時(shí)除了針對(duì)瓶頸做一些優(yōu)化以外,選擇遷移是不錯(cuò)的方案;
  • 項(xiàng)目改造。某些項(xiàng)目的數(shù)據(jù)庫存在跨機(jī)房的情況,可能會(huì)在不同機(jī)房中增加節(jié)點(diǎn),或者把機(jī)器從一個(gè)機(jī)房遷移到另一個(gè)機(jī)房。再比如,不同業(yè)務(wù)共用同一臺(tái)服務(wù)器,為了緩解服務(wù)器壓力以及方便維護(hù),也會(huì)做遷移。

MySQL遷移通常使用的有三種方法:

1、數(shù)據(jù)庫直接導(dǎo)出,拷貝文件到新服務(wù)器,在新服務(wù)器上導(dǎo)入。

2、使用第三方遷移工具。

3、數(shù)據(jù)文件和庫表結(jié)構(gòu)文件直接拷貝到新服務(wù)器,掛載到同樣配置的MySQL服務(wù)下。

第一種方案的優(yōu)點(diǎn):會(huì)重建數(shù)據(jù)文件,減少數(shù)據(jù)文件的占用空間,兼容性最好,導(dǎo)出導(dǎo)入很少發(fā)生問題,需求靈活。缺點(diǎn):使用傳統(tǒng)導(dǎo)出導(dǎo)入時(shí)間占用長。

第二種方案的優(yōu)點(diǎn):設(shè)置完成后傳輸無人值守,自動(dòng)完成。缺點(diǎn):不夠靈活,設(shè)置繁瑣,傳輸時(shí)間長,異常后很難從異常的位置繼續(xù)傳輸。

第三種方案的優(yōu)點(diǎn):時(shí)間占用短,文件可斷點(diǎn)傳輸,操作步驟少。缺點(diǎn):新舊服務(wù)器中MySQL版本及配置必須相同,可能引起未知問題。

假如數(shù)據(jù)庫遷移是因?yàn)闃I(yè)務(wù)瓶頸或項(xiàng)目改造等需要變動(dòng)數(shù)據(jù)表結(jié)構(gòu)的(比如分區(qū)分表),我們便只能使用第一種方法了。

使用MySQL的SELECT INTO OUTFILE 、LOAD DATA INFILE快速導(dǎo)出導(dǎo)入數(shù)據(jù)

LOAD DATA INFILE語句從一個(gè)文本文件中以很高的速度讀入一個(gè)表中。MySQL官方文檔也說明了,該方法比一次性插入一條數(shù)據(jù)性能快20倍。

當(dāng)用戶一前一后地使用SELECT ... INTO OUTFILE LOAD DATA INFILE 將數(shù)據(jù)從一個(gè)數(shù)據(jù)庫寫到一個(gè)文件中,然后再從文件中將它讀入數(shù)據(jù)庫中時(shí),兩個(gè)命令的字段和行處理選項(xiàng)必須匹配。否則,LOAD DATA INFILE 將不能正確地解釋文件內(nèi)容。

下面是一個(gè)項(xiàng)目的例子,MySQL由windows平臺(tái)遷移到Linux平臺(tái),數(shù)據(jù)總量12G

Windows平臺(tái)導(dǎo)出數(shù)據(jù):

tables.txt是保存數(shù)據(jù)表名稱的文件,通過從文件中讀取數(shù)據(jù)表名稱,循環(huán)導(dǎo)出所有表:如果過程中攝及到分表,可根據(jù)分表規(guī)則修改導(dǎo)出的sql語句和批處理代碼,非常靈活。

@echo off  setlocal enabledelayedexpansion
for /f %%i in (tables.txt) do ( set table=%%i
 echo "dump table -- !table! --"
 mysql -uroot -p12345678 codetc_old -e "SELECT * INTO OUTFILE 'F:/MySQL/Uploads/!table!.txt' FIELDS TERMINATED BY ',' FROM !table!"
)
pause

Linux平臺(tái)導(dǎo)入數(shù)據(jù):

#!/bin/bash
while read line
do
    mysql -uroot -p12345678 codetc_new -e "LOAD DATA INFILE '/var/lib/mysql-files/$line.txt' INTO TABLE $line FIELDS TERMINATED BY ','"
done  tables.txt

數(shù)據(jù)導(dǎo)入之前需在新機(jī)器上創(chuàng)建表結(jié)構(gòu),12G的數(shù)據(jù)導(dǎo)出用時(shí)3分鐘左右,導(dǎo)入用時(shí)4分鐘左右(執(zhí)行時(shí)間根據(jù)機(jī)器的配置會(huì)有所不同,不具有參考價(jià)值)

總結(jié)

以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接

您可能感興趣的文章:
  • MySQL數(shù)據(jù)庫遷移data文件夾位置詳細(xì)步驟
  • Mysql的數(shù)據(jù)庫遷移到另一個(gè)機(jī)器上的方法詳解
  • oracle數(shù)據(jù)庫遷移到MySQL的方法總結(jié)
  • mysql數(shù)據(jù)庫遷移至Oracle數(shù)據(jù)庫
  • mysql Innodb表空間卸載、遷移、裝載的使用方法
  • 關(guān)于MySQL數(shù)據(jù)遷移--data目錄直接替換注意事項(xiàng)的詳解
  • 淺析mysql遷移到clickhouse的5種方法
  • mysql5.5數(shù)據(jù)庫data目錄遷移方法詳解
  • mysql 備份與遷移 數(shù)據(jù)同步方法
  • 一次mysql遷移的方案與踩坑實(shí)戰(zhàn)記錄

標(biāo)簽:吐魯番 ???/a> 葫蘆島 安徽 拉薩 洛陽 嘉峪關(guān) 甘南

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《MySQL數(shù)據(jù)庫遷移快速導(dǎo)出導(dǎo)入大量數(shù)據(jù)》,本文關(guān)鍵詞  MySQL,數(shù)據(jù)庫,遷移,快速,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《MySQL數(shù)據(jù)庫遷移快速導(dǎo)出導(dǎo)入大量數(shù)據(jù)》相關(guān)的同類信息!
  • 本頁收集關(guān)于MySQL數(shù)據(jù)庫遷移快速導(dǎo)出導(dǎo)入大量數(shù)據(jù)的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    南平市| 从江县| 方正县| 内乡县| 浙江省| 襄垣县| 湾仔区| 徐闻县| 土默特左旗| 泉州市| 城固县| 四平市| 绥德县| 桐庐县| 乐业县| 香格里拉县| 延吉市| 揭阳市| 青神县| 鄯善县| 福安市| 新密市| 衡东县| 威海市| 泗阳县| 西青区| 固阳县| 崇礼县| 南涧| 得荣县| 大英县| 滕州市| 昔阳县| 永寿县| 巢湖市| 鄂尔多斯市| 河东区| 宝应县| 湘阴县| 江达县| 治多县|