問題描述

我爬取的是中國裁判文書網,之前還是好好的,我發送請求,服務器返回200,然后我處理body中的數據

但是一個星期之前,突然所有的請求都返回202,然后response body里也是空的,完全拿不到數據,我在回調函數中阻塞等待while(response.status == 202)就sleep也沒用,status并不會變化

該怎么辦呢?

我使用了crwalera的ip代理服務,之前有段時間也是202,但是過了一天就好了,但這次已經持續了一個星期了,很奇怪

我覺得就是目標網站負載太大,所以采用異步的方式發送數據,但是我在scrapy里有怎么正確地收到他的數據呢?

問題解答

這種情況通常是違規抓取，服務端進行了防抓取限制。如果是合法抓取的話，可以和內容方面溝通，看看是不是有誤傷，如果是非法抓取，還建議不要這樣做了，嚴重的話可能有被起訴的風險

被防采集了，可以試試換ip或尋找防采的限制漏洞