網頁爬蟲 - Python爬蟲入門知識
問題描述
本人快大二了,自習了Python,語法基本會。想學下爬蟲,但是感覺這涉及到好多知識啊,有沒有過來人總結下都有什么知識,或者Python爬蟲該怎么學?
問題解答
回答1:爬蟲學習要從需求學習,你看網上那么多初級爬蟲都是爬些什么段子,美女圖什么的,三天就能搞定這些簡單的爬蟲。
但是深入的話就是很難的,涉及到的方面也很多。
入門不是什么難事,可以看下這個--如何學習Python爬蟲[入門篇] https://zhuanlan.zhihu.com/p/...
回答2:原理上就是http請求,再多一點就是session和cookie,再多就是驗證碼識別。工具上就是請求工具可以用urllib2,更好是request庫,請求過來需要解析,那就是beautifulsoup。
Python 基礎教程 | 菜鳥教程 http://www.runoob.com/python/...
Beautiful Soup 4.2.0 文檔 — Beautiful Soup 4.2.0 documentation https://www.crummy.com/softwa...
爬蟲性能:NodeJs VS Python - QueenKing - SegmentFault /a/11...
用KNN來進行驗證碼識別 - QueenKing - SegmentFault /a/11...
回答3:可以參考 Python-Scrapy 爬蟲框架,這有中文手冊。
相關文章:
1. boot2docker無法啟動2. docker-compose中volumes的問題3. 關docker hub上有些鏡像的tag被標記““This image has vulnerabilities””4. java - SSH框架中寫分頁時service層中不能注入分頁類5. nignx - docker內nginx 80端口被占用6. docker安裝后出現Cannot connect to the Docker daemon.7. javascript - mock.js可以存儲數據嗎8. docker api 開發的端口怎么獲取?9. docker images顯示的鏡像過多,狗眼被亮瞎了,怎么辦?10. golang - 用IDE看docker源碼時的小問題

網公網安備