問題描述

如題描述因?yàn)橐恍┬枨笙雽?duì)一份url列表進(jìn)行g(shù)et請(qǐng)求掃描,看看這些頁(yè)面是否存在平時(shí)用的requests模塊的get和多進(jìn)程來實(shí)現(xiàn),感覺還是不夠快.于是產(chǎn)生了如題描述的這種想法.順便問下,為什么vps提供商會(huì)封我...好郁悶.

問題解答

heads=requests.head(url)

平時(shí)用的requests模塊的get和多進(jìn)程來實(shí)現(xiàn),感覺還是不夠快.于是產(chǎn)生了如題描述的這種想法.

取決于多種原因，你丟棄 GET 的響應(yīng)體并不一定會(huì)更快。

如果 HEAD 滿足你的要求，你就用 HEAD 吧。

記得使用 requests.Session，這樣對(duì)同一服務(wù)器的訪問可以加速一倍以上。

PS: 建議好好學(xué)習(xí)一下 HTTP，這樣遇到問題你就不需要來問然后等著，最后拿到一個(gè)自己都不明白的解決方案。