文章詳情頁
python - scrapy 爬取pages比實際進入items的多得多？
瀏覽：160日期：2022-07-23 10:55:26
問題描述
2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
為什么我使用scrapy爬取的時候訪問pages要比實際進入items的的多的多?就是爬了半天items里沒有幾條數據入庫的有什么辦法解決么？
問題解答
回答1：重定向了，你看到了吧，重定向就得請求兩個頁面啊。還有就是看有不有頁面解析發生了錯誤。
相關文章：
1. golang - 用IDE看docker源碼時的小問題2. javascript - 請指條明路，angular的$event，在select中卻是undefined？3. 前端 - @media query 使用出現的問題？4. 我何時應該在Java中使用JFrame.add（component）和JFrame.getContentPane（）。add（component）5. html - css氣泡，實現“倒三角（不知道算不算三角了）”可透明的。6. 運行python程序時出現“應用程序發生異常”的內存錯誤？7. docker - 如何修改運行中容器的配置8. 利用IPMI遠程安裝centos報錯！9. phpstudy8.1沒集成mysql-front10. html5和Flash對抗是什么情況？
排行榜
網公網安備