文章詳情頁
python - 為什么感覺 pyspider 爬取的速度好慢
瀏覽：223日期：2022-08-08 09:43:03
問題描述
為什么感覺 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因?yàn)橛行┚W(wǎng)頁會 retry，不過成功率倒是比自己爬取的高多了。是不是我的使用方法不對？求解釋
問題解答
回答1：這里可以設(shè)置 web ui 控制臺上的 rate/burst 參數(shù)來調(diào)節(jié)速度，rate 是 每秒抓取的數(shù)量，burst 是并發(fā)的數(shù)量，默認(rèn)是 1/3 所以比較慢，還是對這個工具了解不夠呀
回答2：我沒有用過框架來寫爬蟲，但是我在自己寫爬蟲的時(shí)候，并發(fā)寫起來，模型越復(fù)雜(如線程控制，線程狀態(tài)監(jiān)控)，效率是越低的。
上一條：網(wǎng)頁爬蟲 - Python爬蟲運(yùn)行內(nèi)存占用過高導(dǎo)致電腦停止響應(yīng)下一條：django - python實(shí)現(xiàn)兩篇文章相似度分析
相關(guān)文章：
1. vim - docker中新的ubuntu12.04鏡像,運(yùn)行vi提示,找不到命名.2. 為什么我ping不通我的docker容器呢？？？3. docker網(wǎng)絡(luò)端口映射，沒有方便點(diǎn)的操作方法么？4. debian - docker依賴的aufs-tools源碼哪里可以找到啊？5. docker-compose 為何找不到配置文件？6. mac連接阿里云docker集群，已經(jīng)卡了2天了，求問？7. 百度地圖api - Android 百度地圖 集成了定位，導(dǎo)航 相互的jar包有沖突？8. html5和Flash對抗是什么情況？9. golang - 用IDE看docker源碼時(shí)的小問題10. docker images顯示的鏡像過多，狗眼被亮瞎了，怎么辦？
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備