問題描述

用requests寫了個(gè)多線程，感覺有點(diǎn)慢，還有其他方法么？

問題解答

使用 Tornado 的 curl 客戶端支持，讀到請(qǐng)求頭就關(guān)閉連接。（我還沒試過。如果它提供的 HTTP 客戶端不支持中途關(guān)閉連接的話，可以像我這樣使用 TCP 然后用 http-parser 來解析。）

好吧，其實(shí)你可以直接給 fetchtitle 加個(gè)取狀態(tài)碼的擴(kuò)展就可以了……（記得裝 pycurl 哦）

python本來就慢，想速度快就直接寫tcp請(qǐng)求然后讀回復(fù)，讀到狀態(tài)后就關(guān)掉socket。

使用grequests,對(duì)requests進(jìn)行了并發(fā)封裝

https://github.com/kennethrei...

這種情況可以考慮使用gevent,tornado,scrapy-redis,asyncio！

用Head請(qǐng)求能快一點(diǎn)吧？