問(wèn)題描述

想要對(duì)已有的8000多列csv，添加2000多列，由于文件過(guò)大，不能一次性加載到內(nèi)存中，所以想一列一列的寫(xiě)入到已有的csv中，試了很多中方法，都不行，請(qǐng)問(wèn)該怎么解決

問(wèn)題解答

按行讀入，然后加入這些列啊。CSV一般都是逗號(hào)分隔的文本文件，按照文本文件的處理方法處理就行。一般流程就是：1.讀入一行2.以逗號(hào)切分字符串為數(shù)組3.給數(shù)組加上你想要的列元素4.以逗號(hào)為分隔連接數(shù)組5.將這行寫(xiě)入新文件6.一直到文件結(jié)尾即可。

pandas有分塊讀取,示例代碼

import pandas as pdreader = pd.read_csv(’a.csv’, iterator=True)header = Truetry: df = reader.get_chunk(10000) #循環(huán)加添新列到df df[’新列’] = ’值’ #把記錄追加到新csv df.to_csv(’b.csv’, mode=’a’, index=False, header=header)#文件頭只寫(xiě)一次 header = Falseexcept StopIteration: pass