我們都知道可以用爬蟲來找尋一些想要的數(shù)據(jù)，除了可以使用python進行操作，我們最近學習的java同樣也支持爬蟲的運行，本篇小編就教大家用java爬蟲來進行網(wǎng)頁的解析，具體內容請往下看：

1、springboot項目，引入jsoup

<dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.10.2</version></dependency>

2、準備解析對象

Content.javapackage com.asia.pojo;import lombok.AllArgsConstructor;import lombok.Data;import lombok.NoArgsConstructor;@Data@NoArgsConstructor@AllArgsConstructorpublic class Content { private String title; private String img; private String price;}

3、爬蟲工具類

HtmlParseUtil.javapackage com.asia.utils;import java.net.URL;import java.net.URLDecoder;import java.util.ArrayList;import java.util.List;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;import com.asia.pojo.Content;public class HtmlParseUtil {public static void main(String[] args) throws Exception {new HtmlParseUtil().parseJD('西瓜').forEach(System.out::println);}public List<Content> parseJD(String keywords) throws Exception {String url = 'https://search.jd.com/Search?keyword=' + URLDecoder.decode(keywords, 'GBK');// 解析網(wǎng)頁.（Jsoup返回Document就是瀏覽器的Document對象）Document document = Jsoup.parse((new URL(url)), 30000);Element element = document.getElementById('J_goodsList');Elements elements = element.getElementsByTag('li');List<Content> list = new ArrayList<Content>();for (Element el : elements) {String src = el.getElementsByTag('img').eq(0).attr('data-lazy-img');String price = el.getElementsByClass('p-price').eq(0).text();String name = el.getElementsByClass('p-name').eq(0).text();list.add(new Content(name, src, price));}return list;}}

到此這篇關于Java中用爬蟲進行解析的實例方法的文章就介紹到這了,更多相關Java中如何使用爬蟲進行解析內容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持好吧啦網(wǎng)！