在使用python爬蟲(chóng)技術(shù)采集數(shù)據(jù)信息時(shí)，經(jīng)常會(huì)遇到在返回的網(wǎng)頁(yè)信息中，無(wú)法抓取動(dòng)態(tài)加載的可用數(shù)據(jù)。例如，獲取某網(wǎng)頁(yè)中，商品價(jià)格時(shí)就會(huì)出現(xiàn)此類現(xiàn)象。如下圖所示。本文將實(shí)現(xiàn)爬取網(wǎng)頁(yè)中類似的動(dòng)態(tài)加載的數(shù)據(jù)。

1. 那么什么是動(dòng)態(tài)加載的數(shù)據(jù)?

我們通過(guò)requests模塊進(jìn)行數(shù)據(jù)爬取無(wú)法每次都是可見(jiàn)即可得，有些數(shù)據(jù)是通過(guò)非瀏覽器地址欄中的url請(qǐng)求得到的。而是通過(guò)其他請(qǐng)求請(qǐng)求到的數(shù)據(jù)，那么這些通過(guò)其他請(qǐng)求請(qǐng)求到的數(shù)據(jù)就是動(dòng)態(tài)加載的數(shù)據(jù)。(猜測(cè)有可能是js代碼當(dāng)咱們?cè)L問(wèn)此頁(yè)面時(shí)就會(huì)發(fā)送得get請(qǐng)求，到其他url中獲取數(shù)據(jù))

2. 如何檢測(cè)網(wǎng)頁(yè)中是否存在動(dòng)態(tài)加載得數(shù)據(jù)?

在當(dāng)前頁(yè)面中打開(kāi)抓包工具，捕獲到地址欄中的url對(duì)應(yīng)的數(shù)據(jù)包，在該數(shù)據(jù)包的response選項(xiàng)卡搜索我們想要爬取的數(shù)據(jù)，如果搜索到了結(jié)果則表示數(shù)據(jù)不是動(dòng)態(tài)加載的，否則表示數(shù)據(jù)為動(dòng)態(tài)加載的。如圖所示：

或者鼠標(biāo)右鍵單擊要爬取的頁(yè)面顯示網(wǎng)頁(yè)源代碼搜索我們想要爬取的數(shù)據(jù)，如果搜索到了結(jié)果則表示數(shù)據(jù)不是動(dòng)態(tài)加載的，否則表示數(shù)據(jù)為動(dòng)態(tài)加載的。如圖所示：

3. 如果數(shù)據(jù)為動(dòng)態(tài)加載，那么我們?nèi)绾尾东@到動(dòng)態(tài)加載的數(shù)據(jù)？

在實(shí)現(xiàn)爬取動(dòng)態(tài)加載的數(shù)據(jù)信息時(shí)，首先需要在瀏覽器的網(wǎng)絡(luò)監(jiān)視器中根據(jù)動(dòng)態(tài)加載的技術(shù)選擇網(wǎng)絡(luò)請(qǐng)求的類型，然后通過(guò)逐個(gè)篩選的方式查詢預(yù)覽信息中的關(guān)鍵數(shù)據(jù)，并獲取對(duì)應(yīng)的請(qǐng)求地址，最后進(jìn)行信息的解析工作即可。具體步驟如下：

在瀏覽器中快捷鍵F12打開(kāi)開(kāi)發(fā)者工具，然后選擇Network(網(wǎng)絡(luò)監(jiān)視器)并在網(wǎng)絡(luò)類型中選擇JS，再按快捷鍵F5刷新，如下圖所示。

在請(qǐng)求信息的列表中，依次單擊每個(gè)請(qǐng)求信息，然后在對(duì)應(yīng)的Preview(請(qǐng)求結(jié)果預(yù)覽)中核對(duì)是否為需要獲取的動(dòng)態(tài)加載數(shù)據(jù)，如下圖所示。

動(dòng)態(tài)加載的數(shù)據(jù)信息核對(duì)完成后，單擊Headers獲取當(dāng)前的網(wǎng)絡(luò)請(qǐng)求地址以及所需參數(shù)，如下圖所示。

根據(jù)以上步驟獲取到的請(qǐng)求地址，發(fā)送網(wǎng)絡(luò)請(qǐng)求并從返回的信息中提取商品價(jià)格信息。筆者在代碼中使用到了反序列化，關(guān)于json序列化和反序列化可以點(diǎn)擊 此處 進(jìn)行學(xué)習(xí)，代碼如下：

import requestsimport json# 獲取商品價(jià)格的請(qǐng)求地址url = 'https://c0.3.cn/stock?skuId=12464037&cat=1713,3259,3333&venderId=1000077923&area' '=4_113_9786_0&buyNum=1&choseSuitSkuIds=&extraParam={%22originid%22:%221%22}&ch=1&fqsp=0&' 'pduid=1573698619147398205303&pdpin=jd_635f3b795bb1c&coord=&detailedAdd=&callback=jQuery6495921'jQuery_id = url.split('=')[-1] + '('# 頭部信息headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) ' 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36'}# 發(fā)送網(wǎng)絡(luò)請(qǐng)求response = requests.get(url, headers=headers)if response.status_code == 200: goods_dict = json.loads(response.text.replace(jQuery_id, '')[:-1]) # 反序列化 print(f'當(dāng)前售價(jià)為: {goods_dict[’stock’][’jdPrice’][’op’]}') print(f'定價(jià)為: {goods_dict[’stock’][’jdPrice’][’m’]}') print(f'會(huì)員價(jià)為: {goods_dict[’stock’][’jdPrice’][’tpp’]}')else: print('請(qǐng)求失??！')

筆者在寫博文的時(shí)候，價(jià)格發(fā)生了變化，運(yùn)行結(jié)果如下圖所示：

注意：爬取動(dòng)態(tài)加載數(shù)據(jù)信息時(shí)，需要根據(jù)不同的網(wǎng)頁(yè)使用不同的方式進(jìn)行數(shù)據(jù)的提取。如果在運(yùn)行源碼時(shí)出現(xiàn)了錯(cuò)誤，請(qǐng)根據(jù)操作步驟獲取新的請(qǐng)求地址即可。

到此這篇關(guān)于Python實(shí)現(xiàn)爬取網(wǎng)頁(yè)中動(dòng)態(tài)加載的數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Python 爬取網(wǎng)頁(yè)動(dòng)態(tài)數(shù)據(jù)內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！