問題描述

先說說我的想法吧：同時(shí)監(jiān)控淘寶上很多物品的價(jià)格，然后獲取價(jià)格走勢(shì)（這個(gè)我打算自己寫爬蟲獲取，然后存在數(shù)據(jù)庫里），但是問題來了

我該怎么存儲(chǔ)數(shù)據(jù)，使我能分析哪些物品在最近2天或7天的價(jià)格波動(dòng)最大（最好是任意天數(shù)），這個(gè)地方該怎么實(shí)現(xiàn)比較好。總不能說每天我都要遍歷一次數(shù)據(jù)庫來求價(jià)格的差值吧，能不能有經(jīng)驗(yàn)的大師指點(diǎn)下。

問題解答

總不能說每天我都要遍歷一次數(shù)據(jù)庫來求價(jià)格的差值吧 是覺得開銷過大嗎？那就把熱點(diǎn)數(shù)據(jù)放Cache，過了這段熱點(diǎn)時(shí)間就持久化到數(shù)據(jù)庫。

熱點(diǎn)數(shù)據(jù)可以是但不限于：

這幾天剛采集的數(shù)據(jù)

最常常分析的日期段，比如2天、7天、1個(gè)月

這個(gè)和java沒關(guān)系吧

數(shù)據(jù)分析的方法和java不是強(qiáng)相關(guān)的，java從某種角度說只是一種工具，可以將你的想法交給計(jì)算完成，可以實(shí)現(xiàn)你與計(jì)算機(jī)的交流，有基于java相關(guān)的haoop生態(tài)，可以了解一哈

需要分析的變動(dòng)快的 --> 熱數(shù)據(jù) --> redis , 放在內(nèi)存；長期的歷史數(shù)據(jù) --> 冷數(shù)據(jù) --> mysql / oracle ，放在磁盤。