文章詳情頁
python - scrapy抓取知網(wǎng)response的內(nèi)容重復(fù)
瀏覽：188日期：2022-06-27 08:47:44
問題描述
遍歷請(qǐng)求翻頁的url
for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)
結(jié)果response請(qǐng)求成功 但是每次內(nèi)容都一樣的沒變化都是第一次請(qǐng)求時(shí)的內(nèi)容，但是用postman分別請(qǐng)求分頁的url就沒有這問題。= = 是被ban了嗎 之前就不會(huì)這樣
問題解答
回答1：那就要分析一下用postman或者瀏覽器訪問時(shí)請(qǐng)求的header頭和用scrapy請(qǐng)求頭有什么區(qū)別
回答2：被反爬識(shí)別到了
回答3：看下控制臺(tái)打印的log，看看是否正確抓取了下一頁2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一個(gè)x(http:xx/page/x)是否是變化的
相關(guān)文章：
1. golang - 用IDE看docker源碼時(shí)的小問題2. html - css氣泡，實(shí)現(xiàn)“倒三角（不知道算不算三角了）”可透明的。3. phpstudy8.1沒集成mysql-front4. java - 如何點(diǎn)擊按鈕，重新運(yùn)行（我是初學(xué)者）？5. 運(yùn)行python程序時(shí)出現(xiàn)“應(yīng)用程序發(fā)生異常”的內(nèi)存錯(cuò)誤？6. 我何時(shí)應(yīng)該在Java中使用JFrame.add（component）和JFrame.getContentPane（）。add（component）7. 利用IPMI遠(yuǎn)程安裝centos報(bào)錯(cuò)！8. 前端 - @media query 使用出現(xiàn)的問題？9. html5和Flash對(duì)抗是什么情況？10. javascript - 請(qǐng)指條明路，angular的$event，在select中卻是undefined？
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備