文章詳情頁
python - 使用scrapy框架爬百度圖片被墻
瀏覽：193日期：2022-06-30 14:19:37
問題描述
請求地址url是通過firefox查看得到的json的地址，用瀏覽器可以打開，但是用scrapy爬的時候就被ban了求解決辦法。
https://image.baidu.com/searc...
問題解答
回答1：在 settings.py 將 ROBOTSTXT_OBEY = False 試試。
回答2：不要加hearders試試
回答3：贊成樓上，如果還會被墻。可采用scrapy+selenium+phantomjs的方式。
相關文章：
1. boot2docker無法啟動2. 關docker hub上有些鏡像的tag被標記““This image has vulnerabilities””3. docker-compose中volumes的問題4. docker安裝后出現Cannot connect to the Docker daemon.5. nignx - docker內nginx 80端口被占用6. java - SSH框架中寫分頁時service層中不能注入分頁類7. javascript - mock.js可以存儲數據嗎8. docker api 開發的端口怎么獲取？9. docker images顯示的鏡像過多，狗眼被亮瞎了，怎么辦？10. golang - 用IDE看docker源碼時的小問題
排行榜
網公網安備