問題描述

1.導入備份的數(shù)據(jù)到表中，表是innodb引擎，900w多條,導入時用了將近9小時2.下面是sh腳本代碼片段

`$MYSQL -u$dbUser -h$dbHost -p$dbPassword --default-character-set=utf8 $dbName < $mysqlImportFile`

3.問題: 1)時間是否正常導了這么長時間 2）有沒有更快速的方法 3）網上找的方法是先關閉事務

SET autocommit=0; 在腳本里應該如何寫呢？

問題解答

1、索引可以先去掉，導完了再加上。2、把binlog關了。(減少寫磁盤)3、buffer_pool能調多大調多大。(減少寫磁盤)4、redo_log大小能多大多大(減少checkpoint)5、flush neighbors打開(增加順序寫磁盤)6、flush_at_trx_commit=0(減少寫磁盤)7、5.7可以直接像拷貝myisam表一樣拷貝ibd，不知道會不會快(沒過做比較)

修改/etc/my.cnf配置添加autocommit=0; 注釋掉log-bin=mysql-bin（暫時不沒有主從配置需求）導入速度果然快了很多

注意導入后刪除掉autocommit=0;不然修改表的操作會不能執(zhí)行，必須手動提交才可以。

開啟事務批量導入,速度是很快的,我在Ubuntu(i5-3230M)上PHP平均每秒能插入超過5000條記錄到5.6,也就是導入900萬數(shù)據(jù)估計只需 9000000/5000/60 = 30分鐘.需要注意的是,MySQL InnoDB里,每個寫操作比如INSERT/UPDATE/DELETE等都會被當做一個事務自動提交.所以需要先SET AUTOCOMMIT=0禁掉自動提交后再START TRANSACTION開啟事務,最后手動COMMIT提交.

另外,減少寫日志操作也能加快寫入性能:禁用 log-bin 二進制日志.禁用 general_log 審計日志.innodb_flush_log_at_trx_commit 設為0,禁止每次提交事務都寫入日志.加大 innodb_buffer_pool_size.