文章詳情頁(yè)
python - scrapy 爬取pages比實(shí)際進(jìn)入items的多得多？
瀏覽：153日期：2022-07-23 10:55:26
問(wèn)題描述
2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
為什么我使用scrapy爬取的時(shí)候訪問(wèn)pages要比實(shí)際進(jìn)入items的的多的多?就是爬了半天items里沒(méi)有幾條數(shù)據(jù)入庫(kù)的有什么辦法解決么？
問(wèn)題解答
回答1：重定向了，你看到了吧，重定向就得請(qǐng)求兩個(gè)頁(yè)面啊。還有就是看有不有頁(yè)面解析發(fā)生了錯(cuò)誤。
上一條：算法 - python ahocorasick 從本地文件讀取文本，進(jìn)行關(guān)鍵字匹配，匹配失敗下一條：運(yùn)行python程序時(shí)出現(xiàn)“應(yīng)用程序發(fā)生異常”的內(nèi)存錯(cuò)誤？
相關(guān)文章：
1. docker-compose中volumes的問(wèn)題2. boot2docker無(wú)法啟動(dòng)3. 關(guān)docker hub上有些鏡像的tag被標(biāo)記““This image has vulnerabilities””4. docker安裝后出現(xiàn)Cannot connect to the Docker daemon.5. java - SSH框架中寫(xiě)分頁(yè)時(shí)service層中不能注入分頁(yè)類(lèi)6. nignx - docker內(nèi)nginx 80端口被占用7. dockerfile - 為什么docker容器啟動(dòng)不了？8. 關(guān)于docker下的nginx壓力測(cè)試9. node.js - antdesign怎么集合react-redux對(duì)input控件進(jìn)行初始化賦值10. docker容器呢SSH為什么連不通呢？
排行榜
熱門(mén)標(biāo)簽
網(wǎng)公網(wǎng)安備