文章詳情頁
網(wǎng)頁爬蟲 - 關(guān)于python beautifullsoup解析網(wǎng)頁內(nèi)容丟失的問題？
瀏覽：192日期：2022-09-23 08:23:07
問題描述
待解析頁面的部分代碼如第一幅圖所示，我自己寫的代碼及運行結(jié)果如第二幅圖所示。看到已經(jīng)有答主提問解析頁面丟失是因為用的是lxml的解析方式，我想說我一直用的是html.parser的方式。希望各位大神不吝賜教~
問題解答
回答1：你們從來都不考慮javascript動態(tài)加載的嗎？
回答2：題主，如果你用Chrome F12看的話，里面是會有動態(tài)加載的內(nèi)容的，而這些內(nèi)容你直接請求頁面的url是拿不到的。建議你點右鍵查看網(wǎng)頁源代碼，對照著F12里面的內(nèi)容來看，源代碼里沒有的內(nèi)容，就去查看Network里的其他請求，看有沒有你需要的數(shù)據(jù)。
相關(guān)文章：
1. 關(guān)docker hub上有些鏡像的tag被標(biāo)記““This image has vulnerabilities””2. boot2docker無法啟動3. docker-compose中volumes的問題4. java - SSH框架中寫分頁時service層中不能注入分頁類5. docker安裝后出現(xiàn)Cannot connect to the Docker daemon.6. javascript - mock.js可以存儲數(shù)據(jù)嗎7. nignx - docker內(nèi)nginx 80端口被占用8. docker api 開發(fā)的端口怎么獲取？9. dockerfile - 為什么docker容器啟動不了？10. node.js - antdesign怎么集合react-redux對input控件進(jìn)行初始化賦值
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備