問題描述

為什么感覺 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因為有些網(wǎng)頁會 retry，不過成功率倒是比自己爬取的高多了。是不是我的使用方法不對？求解釋

問題解答

這里可以設(shè)置 web ui 控制臺上的 rate/burst 參數(shù)來調(diào)節(jié)速度，rate 是 每秒抓取的數(shù)量，burst 是并發(fā)的數(shù)量，默認(rèn)是 1/3 所以比較慢，還是對這個工具了解不夠呀

我沒有用過框架來寫爬蟲，但是我在自己寫爬蟲的時候，并發(fā)寫起來，模型越復(fù)雜(如線程控制，線程狀態(tài)監(jiān)控)，效率是越低的。