文章詳情頁
python - 爬取某網站時需要瀏覽器刷新一次才能返回真實的頁面數據？
瀏覽：191日期：2022-08-10 17:31:34
問題描述
請求所需參數全部帶上了，并且已帶上cookies,已修改header，拿到的數據是提示刷新的HTML，如圖：
原網頁是動態加載的瀑布流，即往不斷下拉就不斷有內容呈現出來，靜候大神，目前采用scrapy框架，暫時還不想上selenium+phantomjs，太重了
問題解答
回答1：動態加載的數據你應該找ajax api請求，而不是在網頁找，工欲善其事必先利其器，善用 F12。
回答2：這種情況比抓取一個代理ip網頁，使用cookie但是報錯好解決多了＝＝，你完全可以判斷當前頁面內容然后進行模擬刷新～ 重要的是保持會話。
如果還不行的話，可以加referer再試一試
相關文章：
1. node.js - mongodb查找子對象的名稱為某個值的對象的方法2. javascript - QQ第三方登錄的問題3. 測試自動化html元素選擇器元素ID或DataAttribute [關閉]4. 運行python程序時出現“應用程序發生異常”的內存錯誤？5. spring-mvc - spring-session-redis HttpSessionListener失效6. 在mac下出現了兩個docker環境7. 利用IPMI遠程安裝centos報錯！8. mysql - 查詢 修改數據庫優化問題吧9. 正在使用electron和node.js做桌面應用，需要實時監聽是否有網絡連接，node或者electron是否可以做到10. java - Spring boot 讀取 放在 jar 包外的，log4j 配置文件，系統有創建日志文件，不寫入日志信息。
排行榜
網公網安備