文章詳情頁
python - pyspider爬取了接近1G的數據，無法導出csv？
瀏覽：197日期：2022-08-09 10:42:46
問題描述
已經增加虛擬機內存至2g，依然無法導出。
問題解答
回答1：一般是分文件導出的，如果一個單位的數據大約是1M的話，就分成1024個文件。
另外，合成1G的csv也是不合實際的，因為1G的csv幾乎是打不開的。如果實在是要合成1G的話，把導出的一千多個文件再合成為一份CSV即可，文件合成python很容易實現。
回答2：1G的數據月CSV處理本身就不太合理了。試試看sqlite3。
回答3：8G一樣不夠，建議選擇數據庫作為存儲方案，1G規(guī)模的CSV是沒有存在的意義的。
回答4：用ftp內網下載飛快.我前兩天傳8個g.感覺就是幾分鐘就下載好了
排行榜
網公網安備