文章詳情頁
python - pyspider爬pdf爬了一小段時間后就不動了
瀏覽:239日期:2022-08-06 15:07:58
問題描述


下載了一小部分之后就不動了,stop之后重新跑也沒有任何反應,有人知道是怎么回事嗎?謝謝大家。
問題解答
回答1:放代碼吧 騷年
回答2:根據 dashboard 最上方的信息
scheduler 到 fetcher 有100條隊列中的任務fetcher 到 processor 也有100條隊列中的任務processor 下游都是空的
因為默認的隊列容量為 100,這說明在 processor 發生了堵塞,那就要看 processor 在干什么,是不是死掉了。
相關文章:
1. node.js - mongodb查找子對象的名稱為某個值的對象的方法2. docker 17.03 怎么配置 registry mirror ?3. docker 下面創建的IMAGE 他們的 ID 一樣?這個是怎么回事????4. 前端 - @media query 使用出現的問題?5. html5 - datatables 加載不出來數據。6. 運行python程序時出現“應用程序發生異常”的內存錯誤?7. 測試自動化html元素選擇器元素ID或DataAttribute [關閉]8. javascript - QQ第三方登錄的問題9. 利用IPMI遠程安裝centos報錯!10. spring-mvc - spring-session-redis HttpSessionListener失效
排行榜

網公網安備