文章詳情頁
python - 在編寫scrapy爬蟲的時候rules中allow的書寫問題
瀏覽：185日期：2022-08-01 16:58:44
問題描述
在編寫爬取58同城二手手機出售的信息的時候，rules里的allow應(yīng)該怎么寫？它里面給出的下一頁或者第二頁第三頁等等的鏈接給出的都是縮減的鏈接，那么rules里的allow應(yīng)該要怎么寫呢？有哪位高手可以指點一二嘛？謝謝~
問題解答
回答1：縮減的鏈接可以用urljoin()組合啊
相關(guān)文章：
1. docker 下面創(chuàng)建的IMAGE 他們的 ID 一樣？這個是怎么回事？？？？2. 運行python程序時出現(xiàn)“應(yīng)用程序發(fā)生異常”的內(nèi)存錯誤？3. node.js - mongodb查找子對象的名稱為某個值的對象的方法4. html5 - datatables 加載不出來數(shù)據(jù)。5. javascript - QQ第三方登錄的問題6. 前端 - @media query 使用出現(xiàn)的問題？7. javascript - 在 model里定義的 引用表模型時，model為undefined。8. 利用IPMI遠程安裝centos報錯！9. 測試自動化html元素選擇器元素ID或DataAttribute [關(guān)閉]10. html5和Flash對抗是什么情況？
排行榜
熱門標簽
網(wǎng)公網(wǎng)安備