午夜剧场伦理_日本一道高清_国产又黄又硬_91黄色网战_女同久久另类69精品国产_妹妹的朋友在线

您的位置:首頁技術文章
文章詳情頁

python多維數組分位數的求取方式

瀏覽:144日期:2022-08-04 14:11:54

在python中計算一個多維數組的任意百分比分位數,只需用np.percentile即可,十分方便

import numpy as npa = [154, 400, 1124, 82, 94, 108]print np.percentile(a,95) # gives the 95th percentile

補充拓展:如何解決hive同時計算多個分位數的問題

眾所周知,原生hive沒有計算中位數的函數(有的平臺會有),只有計算分位數的函數percentile

在數據量不大的時候,速度尚可。但是數據量一上來之后,完全計算不出來。

那么如何解決這個問題呢,我們可以使用 row_number() over()通過兩次排序來解決同時計算多個分位數,速度飛快。

比如我們需要計算mkt_mcc_storeidx表下以mkt_label,mccgroup,month分組,value_mccgroup的分位數

第一步:利用row_number() over()給value_mccgroup在分組里排序,記錄下排名

python多維數組分位數的求取方式

第二步:計算mkt_label,mccgroup,month分組下的數據總數

python多維數組分位數的求取方式

第三步:join前兩步的結果,取rank=你需要計算的分位數位置,想計算多少個分位數就計算多少個

python多維數組分位數的求取方式

第四步:再排一次序,這次數據量就已經少了很多了,畢竟每組里面只有幾個數據,記錄排名

python多維數組分位數的求取方式

第五步:得到具體的分位數

python多維數組分位數的求取方式

第六步:行轉成列,所有分位數計算完畢

python多維數組分位數的求取方式

后來查看了下SQL代碼的執行樹,發現percentile利用了map來存數據,怪不得這么耗內存,其實時間久并不是算的時間久,是因為內存不夠了,系統一直在回收內存

python多維數組分位數的求取方式

而rank over 僅僅就是個排序而已

python多維數組分位數的求取方式

以上這篇python多維數組分位數的求取方式就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 色综合国产 | 精品国产乱码一区二区 | 国产三级麻豆 | 欧美一级一级 | av网站在线免费看 | 欧美激情16p | 日本中文字幕在线 | 91久久久久国产一区二区 | 国产夫绿帽单男3p精品视频 | 国久久久 | 深夜福利在线视频 | 精品久久国产字幕高潮 | 国产精品成人va在线观看 | 久久久免费精品视频 | 成年人在线观看免费视频 | 国产第八页 | 精品一区二区三区av | 日韩免费精品视频 | 亚洲综合视频网 | 麻豆黄色网 | 亚洲色图10p| 色姑娘av| 欧美三级在线 | 国产三级精品视频 | 日日摸日日干 | 日本国产一区二区三区 | 第一福利av | 最新中文字幕 | 成人在线免费视频观看 | 久久久久久草 | 免费在线观看的av | 日韩资源在线观看 | 美女超碰 | 亚洲玖玖爱 | 九九九久久久久久 | 国产一区二区三区网站 | аⅴ天堂中文在线网 | 日韩欧美在线观看 | 日本国产欧美 | 四虎视屏 | 国产成人a亚洲精品 |