網(wǎng)絡(luò)爬蟲

網(wǎng)絡(luò)爬蟲是指在互聯(lián)網(wǎng)上自動爬取網(wǎng)站內(nèi)容信息的程序，也被稱作網(wǎng)絡(luò)蜘蛛或網(wǎng)絡(luò)機(jī)器人。大型的爬蟲程序被廣泛應(yīng)用于搜索引擎、數(shù)據(jù)挖掘等領(lǐng)域，個(gè)人用戶或企業(yè)也可以利用爬蟲收集對自身有價(jià)值的數(shù)據(jù)。

一個(gè)網(wǎng)絡(luò)爬蟲程序的基本執(zhí)行流程可以總結(jié)三個(gè)過程：請求數(shù)據(jù)，解析數(shù)據(jù)，保存數(shù)據(jù)

數(shù)據(jù)請求

請求的數(shù)據(jù)除了普通的HTML之外，還有json數(shù)據(jù)、字符串?dāng)?shù)據(jù)、圖片、視頻、音頻等。

解析數(shù)據(jù)

當(dāng)一個(gè)數(shù)據(jù)下載完成后，對數(shù)據(jù)中的內(nèi)容進(jìn)行分析，并提取出需要的數(shù)據(jù)，提取到的數(shù)據(jù)可以以多種形式保存起來，數(shù)據(jù)的格式有非常多種，常見的有csv、json、pickle等

保存數(shù)據(jù)

最后將數(shù)據(jù)以某種格式(CSV、JSON)寫入文件中，或存儲到數(shù)據(jù)庫（MySQL、MongoDB)中。同時(shí)保存為一種或者多種。

通常，我們想要獲取的數(shù)據(jù)并不只在一個(gè)頁面中，而是分布在多個(gè)頁面中，這些頁面彼此聯(lián)系，一個(gè)頁面中可能包含一個(gè)或多個(gè)到其他頁面的鏈接，提取完當(dāng)前頁面中的數(shù)據(jù)后，還要把頁面中的某些鏈接也提取出來，然后對鏈接頁面進(jìn)行爬?。ㄑh(huán)1-3步驟)。

設(shè)計(jì)爬蟲程序時(shí)，還要考慮防止重復(fù)爬取相同頁面(URL去重)、網(wǎng)頁搜索策略（深度優(yōu)先或廣度優(yōu)先等)、爬蟲訪問邊界限定等一系列問題。

從頭開發(fā)一個(gè)爬蟲程序是一項(xiàng)煩瑣的工作，為了避免因制造輪子而消耗大量時(shí)間，在實(shí)際應(yīng)用中我們可以選擇使用一些優(yōu)秀的爬蟲框架，使用框架可以降低開發(fā)成本，提高程序質(zhì)量，讓我們能夠?qū)Ｗ⒂跇I(yè)務(wù)邏輯（爬取有價(jià)值的數(shù)據(jù))。接下來，就帶你學(xué)習(xí)目前非常流行的開源爬蟲框架Scrapy。

scrapy安裝

scrapy官網(wǎng)：https://scrapy.org/scrapy中文文檔：https://www.osgeo.cn/scrapy/intro/overview.html

安裝方式

在任意操作系統(tǒng)下，可以使用pip安裝Scrapy，例如：

pip install scrapy

安裝完成后我們需要測試安裝是否成功，通過如下步驟確認(rèn)：

在終端中測試能否執(zhí)行scrapy這條命令

scrapy 2.4.0 - no active project usage: scrapy <command>[options] [args] Available commands : benchRun quick benchmark test fetchFetch a URL using the scrapy down1oader genspiderGenerate new spider using pre-defined temp1ates runspiderRun a self-contained spider (without creating a project) settingsGet settings values she11Interactive scraping console startprojectcreate new project versionPrint scrapy version viewopen URL in browser,as seen by scrapy [ more ]More commands available when run from project directory use 'scrapy <command> -h' to see more info about a command

輸入scrapy bench測試連通性，如果出現(xiàn)以下情況表示安裝成功：

通過了以上兩項(xiàng)檢測，說明Scrapy安裝成功了。如上所示，我們安裝的是當(dāng)前最新版本2.4.0。

注意：

在安裝Scrapy的過程中可能會遇到缺少VC++等錯(cuò)誤，可以安裝缺失模塊的離線包

成功安裝后，在CMD下運(yùn)行scrapy出現(xiàn)上圖不算真正成功，檢測真正是否成功使用scrapybench測試，如果沒有提示錯(cuò)誤，就代表成功安裝。

全局命令

scrapy 2.4.0 - no active project usage: scrapy <command>[options] [args] Available commands : bench Run quick benchmark test #測試電腦性能 fetch Fetch a URL using the scrapy down1oader#將源代碼下載下來并顯示出來 genspider Generate new spider using pre-defined temp1ates#創(chuàng)建一個(gè)新的spider文件 runspider Run a self-contained spider (without creating a project)# 這個(gè)和通過craw1啟動爬蟲不同，scrapy runspider爬蟲文件名稱 settings Get settings values#獲取當(dāng)前的配置信息 she11 Interactive scraping console#進(jìn)入scrapy 的交互模式 startproject create new project#創(chuàng)建爬蟲項(xiàng)目 version Print scrapy version#顯示scrapy框架的版本 view open URL in browser，as seen by scrapy#將網(wǎng)頁document內(nèi)容下載下來，并且在瀏覽器顯示出來 [ more ] More commands available when run from project directoryuse 'scrapy <command> -h' to see more info about a command

項(xiàng)目命令

scrapy startproject projectname 創(chuàng)建一個(gè)項(xiàng)目 scrapy genspider spidername domain 創(chuàng)建爬蟲。創(chuàng)建好爬蟲項(xiàng)目以后，還需要?jiǎng)?chuàng)建爬蟲。 scrapy crawl spidername 運(yùn)行爬蟲。注意該命令運(yùn)行時(shí)所在的目錄。

到此這篇關(guān)于Python爬蟲基礎(chǔ)講解之scrapy框架的文章就介紹到這了,更多相關(guān)Python scrapy框架內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！