問題描述

比如一個網(wǎng)站有下一頁，我要怎么能把所有下一頁爬完呢，用遞歸嗎，遞歸深度不會有限制嗎，初學(xué)，希望得到指點

問題解答

遞歸，消息隊列，儲存已經(jīng)爬取的頁面（redis, 數(shù)據(jù)庫)

如果你指的所有數(shù)據(jù)是一個小域名下的所有數(shù)據(jù)，并且你并不想細(xì)究原理，那就去學(xué)scrapy。

如果你指的所有數(shù)據(jù)是全網(wǎng)數(shù)據(jù)，并且想搞明白爬取時是廣度優(yōu)先還是深度優(yōu)先等等原理，那首先你得有10000+服務(wù)器。

如果是同一個網(wǎng)站，用遞歸爬去呀，同一個網(wǎng)站怎么會爬不完

如果網(wǎng)站的結(jié)構(gòu)是簡單重復(fù)的，可以先分析頁碼url的規(guī)律，然后直接從第一頁拿到總頁數(shù)，然后手動構(gòu)造出其他頁的url。

首先大致說下爬取的思路,如果頁面鏈接很簡單,類似 www.xxx.com/post/1.html這種有規(guī)律可循的頁面,可以寫遞歸或者循環(huán)去爬取

如果頁面鏈接是未知的,可以獲取爬取的頁面去解析標(biāo)簽的鏈接,然后繼續(xù)爬取,在這一過程中,你需要將已經(jīng)爬取過的鏈接存下來,爬新鏈接的時候去尋找一下是否之前爬取過,然后也是通過遞歸去爬取

爬取思路 通過url爬取->解析爬取內(nèi)容中新的url->通過url爬取->....->當(dāng)爬取到一定數(shù)量或者很長一段時間沒有新鏈接的時候跳出遞歸

最后在python界有一個很厲害的爬蟲框架scrapy,基本上把爬蟲常用套路全部都封裝好了,稍微學(xué)習(xí)下就會了傳送門

import java.io.File;import java.io.IOException;import java.io.InputStream;import java.net.URL;import java.net.URLConnection;import org.apache.commons.io.FileUtils;public class SpiderDemo { public static void main(String[] args) throws IOException {//URL url = new URL('http://www.zhongguoxinyongheimingdan.com');//URLConnection connection = url.openConnection();//InputStream in = connection.getInputStream();//File file = new File('F://a.txt');//FileUtils.copyInputStreamToFile(in, file);File srcDir = new File('F://a.txt');String str = FileUtils.readFileToString(srcDir, 'UTF-8');String[] str1 = str.split('href='http://www.leifengta.com.cn/wenda/);for (int i = 3; i < str1.length-1; i++) { URL url = new URL('http://www.zhongguoxinyongheimingdan.com'+str1[i].substring(1, 27)); File f = new File('F://abc//'+str1[i].substring(2, 22)); if(!f.exists()){ f.mkdir();File desc1 = new File(f,str1[i].substring(1, 22)+'.txt'); URLConnection connection = url.openConnection(); InputStream in = connection.getInputStream(); FileUtils.copyInputStreamToFile(in, desc1); String str2 = FileUtils.readFileToString(desc1, 'UTF-8'); String[] str3 = str2.split('' src='http://www.leifengta.com.cn/wenda/10676.html'); for(int j = 1;j<str3.length-2;j++){URL url1 = new URL(str3[j].substring(0, 81));URLConnection connection1 = url1.openConnection();connection1.setDoInput(true);InputStream in1 = connection1.getInputStream();File desc2 = new File(f,str3[j].substring(44,76)+'.jpg');FileUtils.copyInputStreamToFile(in1, desc2); } } }} }

簡單的代碼 把中國信用黑名單網(wǎng)站的所有照片保存到 本地 網(wǎng)站本身簡單！不過當(dāng)場這個網(wǎng)站奔潰了 也是醉了！