java - 爬蟲爬取圖片問題?
問題描述
剛才修改了下 POM,大家可以重新下載源碼這是我寫的爬蟲的項目地址 項目不報錯,但是問題是下載圖片到本地后經(jīng)常性的是圖片不完整,如下:
這是下載圖片的核心代碼,如下:
@Override public void run() {Response res = null;try { res = Jsoup.connect(src).ignoreContentType(true).timeout(30000).execute(); byte[] bytes = res.bodyAsBytes(); File file = new File(path + name); if (!file.exists()) {RandomAccessFile raf = new RandomAccessFile(file, 'rw');raf.write(bytes);raf.close(); }} catch (IOException e1) { e1.printStackTrace();} }
經(jīng)過資料查詢,感覺是范圍請求 Range的問題或者自己沒發(fā)現(xiàn)的問題?希望大家給看下,謝謝
問題解答
回答1:感覺是響應(yīng)數(shù)據(jù)沒獲取完整,你debug一下看看響應(yīng)的實(shí)際數(shù)據(jù)大小和你保存的數(shù)據(jù)大小是否有出入。
又或者因為還有一部分?jǐn)?shù)據(jù)還在緩沖區(qū)中,沒來得及寫到文件,此時進(jìn)程退出,導(dǎo)致數(shù)據(jù)不完整,關(guān)閉文件流之前執(zhí)行一下flush操作。
相關(guān)文章:
1. 運(yùn)行python程序時出現(xiàn)“應(yīng)用程序發(fā)生異常”的內(nèi)存錯誤?2. 在mac下出現(xiàn)了兩個docker環(huán)境3. 利用IPMI遠(yuǎn)程安裝centos報錯!4. spring-mvc - spring-session-redis HttpSessionListener失效5. javascript - QQ第三方登錄的問題6. 測試自動化html元素選擇器元素ID或DataAttribute [關(guān)閉]7. javascript - node得到req不能得到boolean8. javascript - 最近用echarts做統(tǒng)計圖時遇到兩個問題!!9. java - Spring boot 讀取 放在 jar 包外的,log4j 配置文件,系統(tǒng)有創(chuàng)建日志文件,不寫入日志信息。10. javascript - 在 model里定義的 引用表模型時,model為undefined。

網(wǎng)公網(wǎng)安備