問題描述

我有一張接近八千萬條數據的彩虹表，然后里面有二十多萬條的重復數據，我想使用GROUP BY 進行分組，但是使用了GROUP BY語句以后，mysql會生出一張零時表，而零時表，把我的硬盤全部沾滿了，所以，求個辦法，能幫去去處這重復的數據？

我的sql：

sql:

SELECT COUNT(id) FROM password WHERE length = 4 GROUP BY ciphertext

問題解答

不贊成用一條SQL語句來搞定這類問題，因為數據庫耗不起。可以用程序來實現(比如寫個Python腳本)，步驟是這樣的：

把表A(8千萬行)復制一個表結構，產生一張空表B；

對B的ciphertext列做唯一索引；

遍歷表A的每一行，插入到表B，可以用REPLACE或INSERT INTO ... ON DUPLICATE KEY UPDATE ...

校驗表B的數據，如果結果正確，則刪除表A，把表B重命名為表A。