文章詳情頁
javascript - superagent爬取網站出現重定向問題
瀏覽:202日期:2023-09-08 13:27:07
問題描述
用superagent爬網頁,遇到重定向,拿不到重定向后的響應體,該如何解決,如何獲取重定向后的網頁
我想獲取501頁面的res,但是他跳轉到37018頁面,導致我拿到501頁面的空res。
測試了爬取不到的網頁,發現有2種情況
一開始進入網頁響應碼是200,過一小會刷新變成304
一進入響應碼從301重定向到200,過一小會刷新變成304
測試了能爬取到的網頁,發現有2種情況
一進入響應碼從301重定向到200,過一小會刷新變成304
一開始進入網頁響應碼是200,過一小會刷新變成304
啊,我擦,那就沒什么區別啦,小白不知道這跟我爬不到內容有沒有關系,orz
再再補充
問題不在重定向,而在于我的正則表達式匹配問題
問題解答
回答1:你都不看官方文檔的嗎?
Following redirects
By default up to 5 redirects will be followed, however you may specifythis with the res.redirects(n) method:
request .get(’/some.png’) .redirects(2) .end(callback);
標簽:
JavaScript
上一條:javascript - Promise 封裝ajax想順序執行ajax,但是發現并沒有按照順序執行,高手指點下一條:javascript - node安裝 webpack的Dev-server 失敗怎么整
相關文章:
1. node.js - mongodb查找子對象的名稱為某個值的對象的方法2. javascript - QQ第三方登錄的問題3. 測試自動化html元素選擇器元素ID或DataAttribute [關閉]4. 運行python程序時出現“應用程序發生異?!钡膬却驽e誤?5. spring-mvc - spring-session-redis HttpSessionListener失效6. 在mac下出現了兩個docker環境7. 利用IPMI遠程安裝centos報錯!8. mysql - 查詢 修改數據庫優化問題吧9. 正在使用electron和node.js做桌面應用,需要實時監聽是否有網絡連接,node或者electron是否可以做到10. java - Spring boot 讀取 放在 jar 包外的,log4j 配置文件,系統有創建日志文件,不寫入日志信息。
排行榜

網公網安備