前言

隨著手app的發展逐漸強大，我們手機應用每天的生活也是非常的多。那我們怎么知道他的數據是怎么形成的，通過電腦端如何爬取。相信大家也有這樣的問題。下面我將講解這些操作流程。

一、操作流程

首先我們要有

二、fidder4抓包

1.fidder配置

首先我們先下載fidder，打開Fiddler，點擊Tools => Options 打開配置選項，切換到第二個標簽頁HTTPS，先在這里打勾

然后就是點下面如圖所示的單選框，點擊Actions，運行第一個Trust Root Certificate。后面會有一個框，記得點擊確定。

打開Fiddler，點擊Tools => Options… 打開配置選項，切換到第三個標簽頁Connections，修改如圖所示的地方，端口號可任意修改，這里使用我自定的9999，請記住自己設置的端口號，后面有需要使用的地方。

2.模擬器配置

我們為什么使用模擬器，因為由于Fidder抓包，要在局域網環境下，我們大部分電腦都是以寬帶連接，所以我這里就以模擬器講解抓包，后續我會更新一期fidder手機抓包。

這里們先打模擬器，設置模擬器的代理。我們先查看自己的本機IP，通過cmd命令輸入ipconfig即可查看本機的ip，我的本機IP是192.168.1.2

這里打開模擬器的設置，找到我們WLAN用點擊，我們看到我們的wifi,用鼠標點擊時間長一點，它會出現設置的，下面我用視頻給大家看一下

我們本機ip進行代理哦

3.模擬器證書安裝

我們用模擬器打開瀏覽器，輸入我們本機ip加端口，就是 192.168.1.2:9999

點擊這個下載證書，下載完成后安裝證書，命名隨便命名。密碼自己要記入。上述如果都做成功了，應該就沒什么問題了。

三、fidder4解析視頻網站

這是我們模擬器里的app，app名字我會在下面評論發出。

這里的所和上面的正好相對應，這里相信我們大家都找到了，我們可以把fidder抓包到的數據在這里，這個是我們的數據網址https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=1我們通過模擬器視頻往下滑，可以知道它是分頁的，那樣會有好多小姐姐視頻哦，https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=2這里就是第二頁的數據，這個時候就可以通過pycharm進行解析了。

pycharm編寫app代碼

import requestsimport jsondef Demo(page): url=’https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page={}’.format(page) header={ ’User-Agent’:’XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@’ } response = requests.get(url,headers=header,verify=False).json() data=response[’content’][’list’]#由于網站是json數據我們可以通過json解析，然后在進行數據的爬取 for i in data: title =i[’title’] #這里爬取的是視頻標題 playurl=i[’playurl’]#這里是爬取是的視頻的url Video(title,playurl)def Video(title,playurl): header = { ’User-Agent’: ’XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@’ } response = requests.get(playurl,headers=header,verify=False) # 文件寫入異常機制 try: #由于寫入可以會有點出錯，我們要加一個異常處理機制，這樣可以提高我們的程序性能。 with open(’VIdeo/{}.mp4’.format(title),’ab’) as f: f.write(response.content) except Exception as e: print(e)for i in range(1,11): Demo(i)

總結

以上就是今天要講的內容，本文簡單的對fidder配置與模擬器的證書安裝，通過fidder監視app傳輸的數據進行解析，我們知道此網址有分頁功能 ，最后我們通過pycharm編寫程序，這些操作看似繁鎖，其實看懂了，就很簡單。

到此這篇關于Python爬蟲之App爬蟲視頻下載的實現的文章就介紹到這了,更多相關Python App爬蟲視頻下載內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網！