問題描述

現(xiàn)在項(xiàng)目中有張流水表結(jié)構(gòu)大概如下id sdkVersion jarVersion countryCode imei createTime

以前的需求是按sdkVersion,jarVersion,countryCode的分組求總數(shù)和imei排重后的總數(shù)，大致sql如下:

select sdkVersion,jarVersion,countryCode,count(*),count(distinct imei) from xxx where createTime = ’xxxx-xx-xx’group by sdkVersion,jarVersion,countryCode

查出前一天的所有數(shù)據(jù)然后匯總到一張表里，結(jié)構(gòu)大概如下

id sdkVersion jarVersion countryCode count(*) count(distinct imei) createTime

然后現(xiàn)在的需求是要任意緯度的組合查詢,就是可以group by sdkVersiongroup by jarVersiongroup by countryCodegroup by sdkVersion,countryCode等等各種組合，如果按以前的每日匯總方案的話就要為不同的緯度組合建立很多個表，有什么好的方案可以解決這種問題？或者是用專門的統(tǒng)計框架可以解決的？

問題解答

樓主可以去看看PipelineDB流式數(shù)據(jù)庫

apache kylin, 亞秒級olap

每日匯總的話，實(shí)時性要求并不高，500W 記錄也還在可以處理的范圍內(nèi)，視圖 + 定時計劃，可以滿足要求，不需要建多表。題主最好能說明一下有什么瓶頸或者痛點(diǎn)，畢竟 mysql 是個成熟產(chǎn)品，換用新銳技術(shù)有一定風(fēng)險。

寫存儲過程,每天定時跑就行了