文章詳情頁
python - scrapy 處理 文章 分頁的內容
瀏覽：189日期：2022-08-03 16:15:10
問題描述
如一篇文章有2-3頁，然后想把這些內容頁爬下來，拼接成一頁，然后再放入數據庫。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一頁的內容。大概怎么寫呢？
問題解答
回答1：找到分頁接口url
回答2：找到那個下一頁的鏈接，加入到爬取url列表中
回答3：可以在rules里面寫正則自動掃描符合的url
相關文章：
1. javascript - 最近用echarts做統計圖時遇到兩個問題！！2. 淺談Vue使用Cascader級聯選擇器數據回顯中的坑3. node.js - less-loader 使用Mixins出錯4. 利用IPMI遠程安裝centos報錯！5. android - TextInputLayout的空白顯示問題6. 為什么redis中incr一個“0” 會報錯？7. celery+redis 怎么看redis里面的內容8. android - 使用百度sdk調用SDKInitializer.initialize(this)時報錯？9. android - 使用MTP連接的時候如何使自己的app加入選擇列表10. android - 優酷的安卓及蘋果app還在使用flash技術嗎？
排行榜
網公網安備