時間序列數(shù)據(jù)庫架構(gòu)課件

,11/15/2018,#,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,2018/11/15,#,時間序列數(shù),據(jù)庫架構(gòu),技術(shù)創(chuàng),新,變革未來,時序數(shù)據(jù)介紹,目錄,時序數(shù)據(jù)的存儲和分析,時序數(shù)據(jù)庫,時序數(shù)據(jù)庫的改進,時序數(shù)據(jù)庫展望,目錄,時序數(shù)據(jù)庫的應(yīng)用場景,面向分析的時序數(shù)據(jù)存儲,時序數(shù)據(jù)庫的時序算法,時序數(shù)據(jù)庫的計算引擎,時序數(shù)據(jù)庫展望,時序數(shù)據(jù)就是在時間上,分,布的,一,系列,數(shù),值,例子：,股票價格,廣告數(shù)據(jù),氣溫變化,網(wǎng)站的,PV/UV,個人健康數(shù)據(jù),工業(yè)傳感器數(shù)據(jù),服務(wù)器系統(tǒng)監(jiān)控數(shù)據(jù)，,比如,：,cpu,和內(nèi)存占用率,車聯(lián)網(wǎng),IoT,領(lǐng)域帶來了海量的時間序列數(shù)據(jù),成千上萬的設(shè)備,數(shù)以百萬計的傳感器,每秒產(chǎn)生百萬條數(shù)據(jù),24x7全年無休,多維度查詢,/,聚合,最新數(shù)據(jù)實時可查,IoT,中的時間序列數(shù)據(jù)處理,采樣,傳輸,存儲,分析,IoT,領(lǐng)域中的時間序列數(shù)據(jù),時間序列數(shù)據(jù)的一個例子,單值模型,多值模型,時間序列數(shù)據(jù)的一個,更,復(fù)雜,的,例子,現(xiàn)實世界的復(fù)雜之處：,未必是總是定時采樣,時間線可能高度發(fā)散,主鍵和,sche,m,a,修改,分布式系統(tǒng)和片鍵,數(shù)據(jù)類型,需要對每個數(shù)據(jù)點的值做過濾,HiTSDB,存儲架構(gòu),過去,倒排索引,高壓縮比緩存,HiTSDB,存儲架構(gòu),優(yōu)勢和不足,優(yōu)勢,倒排索引可以很,方,便,的,篩選,設(shè)備,高壓縮比緩存具,有,很,高,的寫,入和讀取能力,方便的時間切片,無,schema，,靈,活,方,便,的,支持,各種數(shù)據(jù)模型,不足,在非定時,采樣場景,下,可能導(dǎo),致,數(shù)據(jù)稀疏,值沒有索,引，因此,值,過濾只,能,線性過濾,schema,改,動導(dǎo)致時間,線,變,動,廣播,查,限,制,了,QPS,HiTSDB,存儲架構(gòu),演進,問題應(yīng)對之道：,Adaptive,Schema,，,主鍵和片鍵,壓縮塊按照，引入,meta,index,，,記,錄每個壓縮塊的時間段,參考列存的思路，值索引到壓縮塊,多值索引和空間切分,時序數(shù)據(jù)加工和分析,降采樣和插值,降采樣算法,：min/max/avg,插值算法：補零,/,線性,/,貝塞爾曲線,聚合計算,邏輯聚合：min/max,算術(shù)聚合,：sum/count/avg,統(tǒng) 計：,histogram/percentile/Standard,Deviation,時間軸計算,變化率,：rate,異常檢測,定義問題,固定兩個維度，只考慮一個維度的數(shù)據(jù),T:,only,consider,time,dim，,單一對象單一,metric（,即,單個時間序列,）：spikes,&,dips,、趨勢,變,化、,范,圍,變,化,M:,only,consider,metric，,找,出,不,符,合,metric,之,間相互 關(guān)系的數(shù)據(jù),O:,only,consider,object，,找,出,與眾,不,同,的,對象,固定一個維度，只考慮兩個維度的數(shù)據(jù),MT：,固定對象，,考,慮,多,個時,間,序,列,（,每,個對,應(yīng),一個,metric)，,并,找,出,其,相,互,變化,方,式,不,同的,作,為,異,常,MO,：不考慮時間,特,性,，,考慮,多,個,對,象且,每,個,對,象,都可以,用多個,metric,表,示,，,如何,從,中,找,出,不,同的,對,象,TO：,多個對象單,一,metric，,找,出變,化,趨,勢,不同,的,對象,異常檢測,面向問題,內(nèi)置函數(shù),高壓縮比緩存直接作為窗口 緩存,對于滿足數(shù)據(jù)局部性的問題,，直接在高壓縮比緩存上運 行,結(jié)果直接寫回,定時調(diào)度,vs,數(shù)據(jù)觸發(fā),外置計算,定時查詢,vs,流式讀取,使用同樣的查詢語言執(zhí)行 查詢或定義數(shù)據(jù)源,數(shù)據(jù)庫內(nèi)置時間窗口,數(shù)據(jù)流的觸發(fā)機制,預(yù)計算,vs,后計算,數(shù)據(jù)存儲量低,查詢性能高,需要手工編寫,計算過,程,新的計算無法,立即查,看,結(jié),果,靈活性差,不保存原始數(shù)據(jù),數(shù)據(jù)存儲量大,查,詢,/,聚合性能,瓶,頸,任何查詢都可,以,隨,時,獲,得,結(jié)果,使,用,DSL,進行,查,詢,靈活性好,保存原始數(shù)據(jù),混合架構(gòu),一點細節(jié),持續(xù)查詢,異構(gòu)計算,展望,未來架構(gòu),存儲層,類似,lambda,架,構(gòu),，,基于,一,系,列,不,可,修改,的,文件,針對不同的場景提,供,不,同,的存,儲,格式,計算層,流式架構(gòu)，基于內(nèi),存,的,異,構(gòu)計,算,，,自,動填,充,熱,數(shù),據(jù),數(shù)據(jù)分片，支持高,QPS,讀取,索 引,全局的索引,vs,文件局部索引,大數(shù)據(jù),可以直接在大量的,文,件,上,跑,MR,，也,可,以,通,過高,壓縮,比,緩存以流的方式訂,閱,數(shù)據(jù),展望,時序數(shù)據(jù)平臺,大數(shù)據(jù),SQ,L,生態(tài),邊緣融合,