文章詳情頁
javascript - superagent爬取網站出現重定向問題
瀏覽:193日期:2023-09-08 13:27:07
問題描述
用superagent爬網頁,遇到重定向,拿不到重定向后的響應體,該如何解決,如何獲取重定向后的網頁
我想獲取501頁面的res,但是他跳轉到37018頁面,導致我拿到501頁面的空res。
測試了爬取不到的網頁,發現有2種情況
一開始進入網頁響應碼是200,過一小會刷新變成304
一進入響應碼從301重定向到200,過一小會刷新變成304
測試了能爬取到的網頁,發現有2種情況
一進入響應碼從301重定向到200,過一小會刷新變成304
一開始進入網頁響應碼是200,過一小會刷新變成304
啊,我擦,那就沒什么區別啦,小白不知道這跟我爬不到內容有沒有關系,orz
再再補充
問題不在重定向,而在于我的正則表達式匹配問題
問題解答
回答1:你都不看官方文檔的嗎?
Following redirects
By default up to 5 redirects will be followed, however you may specifythis with the res.redirects(n) method:
request .get(’/some.png’) .redirects(2) .end(callback);
標簽:
JavaScript
上一條:javascript - Promise 封裝ajax想順序執行ajax,但是發現并沒有按照順序執行,高手指點下一條:javascript - node安裝 webpack的Dev-server 失敗怎么整
相關文章:
1. docker-compose中volumes的問題2. 關docker hub上有些鏡像的tag被標記““This image has vulnerabilities””3. boot2docker無法啟動4. docker網絡端口映射,沒有方便點的操作方法么?5. docker安裝后出現Cannot connect to the Docker daemon.6. javascript - mock.js可以存儲數據嗎7. java - SSH框架中寫分頁時service層中不能注入分頁類8. nignx - docker內nginx 80端口被占用9. 求救一下,用新版的phpstudy,數據庫過段時間會消失是什么情況?10. mac里的docker如何命令行開啟呢?
排行榜

網公網安備