午夜剧场伦理_日本一道高清_国产又黄又硬_91黄色网战_女同久久另类69精品国产_妹妹的朋友在线

您的位置:首頁技術(shù)文章
文章詳情頁

jupyter notebook 使用過程中python莫名崩潰的原因及解決方式

瀏覽:19日期:2022-07-30 14:30:52

最近在使用 Python notebook時老是出現(xiàn)python崩潰的現(xiàn)象,如下圖,誘發(fā)的原因是“KERNELBASE.dll”,異常代碼報“40000015”。

jupyter notebook 使用過程中python莫名崩潰的原因及解決方式

折騰半天,發(fā)現(xiàn)我啟動notebook時是用自定義startup.bat方式方式啟動的,bat文件的內(nèi)容為

start C:Anaconda3python.exe 'C:/Anaconda3/Scripts/jupyter-notebook-script.py'

平時雙擊這個bat文件就行了,如果報這個莫名的錯誤,是因為權(quán)限不對,需要用管理員方式運行,如圖,問題解決!

jupyter notebook 使用過程中python莫名崩潰的原因及解決方式

補(bǔ)充知識:jupyter notebook占用內(nèi)存空間過大打不開的解決辦法(包括但不限于爬蟲造成的)

jupyter notebook由于超過內(nèi)存限制而“鎖死”的解決這兩天用爬蟲爬數(shù)據(jù)的時候由于print了大量的爬取內(nèi)容,讓notebook內(nèi)存溢出停止運行,連帶著localhost:8888也崩潰了。Google Chrome的處理機(jī)制應(yīng)該是殺掉內(nèi)存溢出的頁面,所以localhost:8888刷新一下就恢復(fù)了。

jupyter notebook 使用過程中python莫名崩潰的原因及解決方式

但是!我的code找不回來了!不知道是什么機(jī)制,在文件里看到的大小只有不到45MB,但是一旦從localhost:8888里面打開,(用任務(wù)管理器看的)Chrome占用的內(nèi)存就遠(yuǎn)遠(yuǎn)超過這個數(shù)字,一直飆升到3GB的時候再次彈出來內(nèi)存不足的提示,同時頁面被殺掉。用pycharm嘗試更是失敗,比Chrome還吃內(nèi)存。

jupyter notebook 使用過程中python莫名崩潰的原因及解決方式

在經(jīng)歷了各種嘗試,上網(wǎng)搜了也沒有發(fā)現(xiàn)相關(guān)情況之后,自己偶然發(fā)現(xiàn)了解決辦法:

如何打開源文件:

在ipynb文件的地方選擇打開方式,用Chrome瀏覽器打開,頁面的觀感類似于網(wǎng)頁源碼,內(nèi)容是json格式的。

我能想到的幾種解決辦法:

第一種是笨辦法(核心思想:只要能夠打開源文件就可以把需要的東西復(fù)制下來),把重要的代碼復(fù)制出來,比如到txt文件里面,再把格式用的一些字符去掉,如果代碼量不是很多可以這樣做;

這是一定能成功的辦法,就是麻煩了一些,就不多說了。

第二種是重新構(gòu)造一個json文件(核心思想:既然我已經(jīng)知道ipynb本質(zhì)是json就可以仿造構(gòu)建一個可以打開的ipynb),導(dǎo)致問題的只是一個block,所以把有問題的block之外的所有block信息復(fù)制到一個txt文件,再重命名成ipynb,用jupyter notebook解析出來即可(甚至還可以直接繼續(xù)運行);

實際可行性:我是用的第二種辦法,實測可行,簡單快捷。要注意的是一定要把最末尾的ipynb格式信息復(fù)制上。知道ipynb構(gòu)造之后,覺得自己也能寫個網(wǎng)頁打開ipynb的程序了(大誤)

第三種思想是用Python直接讀取ipynb文件,然后小心地把重要代碼和結(jié)果還原。(核心思想:不管后綴名是什么,只要里面是json格式就可以用Python的json包load),這種方法一定要注意的一點是,要觀察好json文件里面的構(gòu)造,不要全部print!不要全部print!之前怎么死的還不長記性嗎?只要一print之前內(nèi)存溢出的block就全部玩兒完,就又有了一個被鎖死的ipynb文件。

理論可行性:文件本身的大小只有幾十MB,輕輕松松就能存下,內(nèi)存溢出可能是因為print的內(nèi)容在網(wǎng)頁中占用的資源成倍增加。我沒有嘗試這么做,因為隨時需要存檔備份,小心臟受不了。

看到這兒基本上問題就應(yīng)該解決了,下面補(bǔ)充一點問題來源和教訓(xùn)

前因后果:為什么會內(nèi)存溢出

這是一個“雄心勃勃”的爬蟲,要爬的東西很多,所以會長時間運行。由于微博的反爬做的很好,我不確定什么時候會被屏蔽,同時需要debug嘛,所以就隔一段時間print爬到的網(wǎng)頁。另外為了觀察進(jìn)度還用了tqdm(非常好用,墻裂推薦),是為print的另一部分內(nèi)容。時間積累了很久(大概兩天多)就卡崩潰了。

經(jīng)驗教訓(xùn):

1、執(zhí)行正式文件的時候還是最好備份一下,這次出問題我的結(jié)果是保存在文件里面的,是code打不開了,由于是孤本所以還是有點慌的(主要是跟微博斗智斗勇那么多天不想再搞了)

2、可以試著在文件里面寫入日志,簡單的就print也沒關(guān)系,這種長時間運行的程序還是需要考慮周全一點

附一個ipynb文件源文件格式示例:

內(nèi)容是hello world!

{“cells”: [{“cell_type”: “code”,“execution_count”: 1,“metadata”: {},“outputs”: [{“name”: “stdout”,“output_type”: “stream”,“text”: [“hello world!n”]}],“source”: [“print(‘hello world!’)”]},{“cell_type”: “code”,“execution_count”: null,“metadata”: {},“outputs”: [],“source”: []}],“metadata”: {“kernelspec”: {“display_name”: “Python 3”,“l(fā)anguage”: “python”,“name”: “python3”},“l(fā)anguage_info”: {“codemirror_mode”: {“name”: “ipython”,“version”: 3},“file_extension”: “.py”,“mimetype”: “text/x-python”,“name”: “python”,“nbconvert_exporter”: “python”,“pygments_lexer”: “ipython3”,“version”: “3.7.3”}},“nbformat”: 4,“nbformat_minor”: 2}

以上這篇jupyter notebook 使用過程中python莫名崩潰的原因及解決方式就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持好吧啦網(wǎng)。

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: av色哟哟 | 日韩欧美在线观看视频 | 成年人在线视频观看 | 欧美在线黄色 | 国产91精品一区二区 | 蜜臀av粉嫩av懂色av | 69av在线视频| 欧美另类videoxo高潮 | 亚洲综合五月天 | 国产无遮挡又黄又爽在线观看 | 国产真实乱人偷精品 | 黄色免费小网站 | 国产精品成人一区二区 | xxx久久久| 视频一区中文字幕 | 欧美野外猛男的大粗鳮 | 高清视频一区二区三区 | 一区二区三区av | 亚洲自拍偷拍网站 | 第九区2中文字幕 | 91精品一区 | 中文久草 | 一级黄色大毛片 | 免费看毛片网站 | 日韩中文字幕免费在线观看 | 天天爆操 | 国产四虎 | 国产97在线视频 | 成人免费xxxxxx视频 | 亚洲色图另类小说 | 成人a级片| 女同一区二区 | 久久久久久高清 | 日韩精品一二三四区 | 日韩视频在线一区二区 | 四虎成人精品永久免费av九九 | 日日干日日草 | 亚洲女人天堂av | 欧美a在线| 国产在线麻豆 | 黄色成人在线播放 |