午夜剧场伦理_日本一道高清_国产又黄又硬_91黄色网战_女同久久另类69精品国产_妹妹的朋友在线

您的位置:首頁技術(shù)文章
文章詳情頁

SpringBoot中使用Jsoup爬取網(wǎng)站數(shù)據(jù)的方法

瀏覽:23日期:2023-05-13 17:14:21

爬取數(shù)據(jù)

導(dǎo)入jar包

<properties> <java.version>1.8</java.version> <elasticsearch.version>7.6.1</elasticsearch.version> </properties> <dependencies> <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.2</version> </dependency> <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.62</version> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-thymeleaf</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <scope>runtime</scope> <optional>true</optional> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-configuration-processor</artifactId> <optional>true</optional> </dependency> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <optional>true</optional> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> <exclusions><exclusion> <groupId>org.junit.vintage</groupId> <artifactId>junit-vintage-engine</artifactId></exclusion> </exclusions> </dependency> </dependencies>

新建實(shí)體類

@Data@NoArgsConstructor@AllArgsConstructorpublic class Content { private String title; private String img; private String price;}

編寫爬蟲工具類

public class HtmlParseUtil { public static void main(String[] args) throws Exception { new HtmlParseUtil().parseDDJJ('包').forEach(System.out::println); } public List<Content> parseDDJJ(String keywords) throws Exception { //爬取url地址 String url = 'https://search.xxxx.com/Search?keyword='+keywords; //解析網(wǎng)頁,30s內(nèi)未爬取成功,打印錯誤 Document document = Jsoup.parse(new URL(url),30000); //獲取每一本書籍的id Element element = document.getElementById('DJ_goodsList'); //獲取所有的li標(biāo)簽 Elements elements = element.getElementsByTag('li'); ArrayList<Content> goodsList = new ArrayList<>(); //遍歷li標(biāo)簽的內(nèi)容 for (Element el : elements) { String img = el.getElementsByTag('img').eq(0).attr('src'); String price = el.getElementsByClass('p-price').eq(0).text(); String title = el.getElementsByClass('p-name').eq(0).text(); Content content = new Content(); content.setTitle(title); content.setPrice(price); content.setImg(img); goodsList.add(content); } return goodsList; }}

可以看到內(nèi)容、圖片、價(jià)格系數(shù)爬取

SpringBoot中使用Jsoup爬取網(wǎng)站數(shù)據(jù)的方法

到此這篇關(guān)于SpringBoot中使用Jsoup爬取網(wǎng)站數(shù)據(jù)的方法的文章就介紹到這了,更多相關(guān)SpringBoot Jsoup爬取內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: Spring
相關(guān)文章:
主站蜘蛛池模板: 超碰在线视屏 | 午夜tv影院 | 精品国自产在线观看 | 欧美成人免费在线 | 中文综合网 | 亚洲午夜激情 | 99热精品在线 | 国产色一区 | 人人射人人干 | 国产精品欧美综合亚洲 | 免费成人小视频 | 国产99久久| 琪琪色av| 91麻豆成人精品国产 | 在线视频97 | 欧美经典一区二区三区 | 中文字幕免费观看视频 | 久久成年人视频 | 婷婷狠狠操 | 国产精品久久久久久久久久久久久久久 | 观看av在线 | 免费毛片a | 黄色在线免费视频 | 伊人久久大香线蕉成人综合网 | 全部免费毛片在线播放高潮 | av男人在线 | 国产成人精品在线 | 日本三级在线视频 | 欧美午夜免费 | 亚洲福利久久 | 大地资源二中文在线影视观看 | 美日韩免费视频 | 国产永久免费观看 | 成年视频在线播放 | 国产精品污www一区二区三区 | 日韩在线观看第一页 | 久久视频这里只有精品 | 18久久 | 久久免费播放视频 | 亚洲欧美日韩精品 | 夜夜操av |