基本環境配置

相關模塊pip安裝即可

確定目標網頁數據

哦豁，這個價格..................看到都覺得腦闊疼

通過開發者工具，可以直接找到網頁返回的數據~

每一個二手房的數據，都在網頁的 li 標簽里面，咱們可以獲取網頁返回的數據，然后通過解析，就可以獲取到自己想要的數據了~

獲取網頁數據

import requestsheaders = { ’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’}response = requests.get(url=url, headers=headers)

解析網頁數據

import parselselector = parsel.Selector(response.text)lis = selector.css(’.sellListContent li’)dit = {}for li in lis: title = li.css(’.title a::text’).get() dit[’標題’] = title positionInfo = li.css(’.positionInfo a::text’).getall() info = ’-’.join(positionInfo) dit[’開發商’] = info houseInfo = li.css(’.houseInfo::text’).get() dit[’房子信息’] = houseInfo followInfo = li.css(’.followInfo::text’).get() dit[’發布周期’] = followInfo Price = li.css(’.totalPrice span::text’).get() dit[’售價/萬’] = Price unitPrice = li.css(’.unitPrice span::text’).get() dit[’單價’] = unitPrice csv_writer.writerow(dit) print(dit)

保存數據

import csvf = open(’二手房信息.csv’, mode=’a’, encoding=’utf-8-sig’, newline=’’)csv_writer = csv.DictWriter(f, fieldnames=[’標題’, ’開發商’, ’房子信息’, ’發布周期’, ’售價/萬’, ’單價’])csv_writer.writeheader()csv_writer.writerow(dit)f.close()

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持好吧啦網。