關(guān)于python爬蟲的問題
問題描述
我使用post爬取網(wǎng)頁(yè)表格數(shù)據(jù),網(wǎng)站如下http://www.ipe.org.cn/Industr...,現(xiàn)在遇到了2個(gè)問題,其中一個(gè)問題是違規(guī)類型中<input type='checkbox' name='violation' data-role='all' checked='' value='0'>,該網(wǎng)頁(yè)已經(jīng)設(shè)定了checked,已經(jīng)有默認(rèn)值,而我只想要violation=1的數(shù)據(jù),不知道該怎么辦第二個(gè)問題是在選擇國(guó)家,省份,城市過程<select name='select' onchange='setProvince_0();'>我無法直接用name 以及value選擇我想要的表單數(shù)據(jù)
跪求各位大神的解答
問題解答
回答1:他是有API用來返回?cái)?shù)據(jù)的,你可以抓取一下,點(diǎn)擊篩選之后的數(shù)據(jù)流。大概是這個(gè)api,http://www.ipe.org.cn/data_as...,post方式,里面有一個(gè)參數(shù)叫itemType就是你想要的違規(guī)類型。然后對(duì)應(yīng)的國(guó)家,省份,城市等信息都在api中有體現(xiàn),自己跟一下就知道了。然后根據(jù)需求,構(gòu)造請(qǐng)求你需要的數(shù)據(jù),剩下的就是解析了。。。。
相關(guān)文章:
1. javascript - vue生成一維碼?求助?。。。?!急2. docker-compose中volumes的問題3. java - SSH框架中寫分頁(yè)時(shí)service層中不能注入分頁(yè)類4. docker安裝后出現(xiàn)Cannot connect to the Docker daemon.5. boot2docker無法啟動(dòng)6. javascript - mock.js可以存儲(chǔ)數(shù)據(jù)嗎7. 如何使用git對(duì)word文檔進(jìn)行版本控制?8. java - Spring事務(wù)回滾問題9. nignx - docker內(nèi)nginx 80端口被占用10. docker網(wǎng)絡(luò)端口映射,沒有方便點(diǎn)的操作方法么?

網(wǎng)公網(wǎng)安備