運(yùn)營商Mesos云平臺(tái)實(shí)踐課件

《運(yùn)營商Mesos云平臺(tái)實(shí)踐課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《運(yùn)營商Mesos云平臺(tái)實(shí)踐課件（30頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、,8/1/2018,#,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),2018/8/1,#,運(yùn)營商,Mesos,云,平臺(tái)實(shí),踐,技術(shù)創(chuàng)新，變革未來,運(yùn)營商Mesos云平臺(tái)實(shí)踐技術(shù)創(chuàng)新，變革未來,1,內(nèi)容,為什,么,使用,MESOS,基于,MESOS,的,DCOS,實(shí)現(xiàn),實(shí)踐經(jīng)驗(yàn),內(nèi)容,2,云計(jì)算驅(qū)動(dòng)企,業(yè)IT,架構(gòu)演進(jìn),企 業(yè) IT,架 構(gòu) 演 進(jìn),（圖片來自互聯(lián)網(wǎng)）,“煙囪”式,IT,系統(tǒng)架構(gòu),云化,IT,架構(gòu),打破豎井、應(yīng)用和平臺(tái)解耦 打破供應(yīng)商綁定,加強(qiáng)企業(yè)自身核心能力掌控,敏捷建設(shè)、聚焦支撐業(yè)務(wù),統(tǒng)一管理建設(shè)運(yùn)營，提升運(yùn)維效率、提升資源利用率，降低

2、,TCO,云計(jì)算驅(qū)動(dòng)企業(yè)IT架構(gòu)演進(jìn)企 業(yè) IT,3,亞馬遜,的,A,W,S,服務(wù)：,以虛,擬,化,為基,礎(chǔ),，提供,IaaS,、,PaaS,及跨服務(wù),功,能層和服 務(wù)訪,問,工具。,Google,云計(jì)算平臺(tái)：,基于操,作,系統(tǒng) 層面輕量級(jí)隔離技術(shù),的,數(shù)據(jù)中心操作 系統(tǒng),（Borg/Omega），,在數(shù)以萬記 的,P,C服務(wù)器上進(jìn)行集中的資,源,分配和 調(diào)度。,典型的云計(jì)算平臺(tái),（圖片來自互聯(lián)網(wǎng)）,亞馬遜的AWS服務(wù)：以虛擬化為基礎(chǔ)，提供IaaS、PaaS,4,浙江移動(dòng)云化的階段,對數(shù)據(jù)中心內(nèi) 部整體目標(biāo)架 構(gòu),沒有統(tǒng)一的,規(guī)劃設(shè)計(jì),標(biāo)準(zhǔn)化的,硬件和 軟件體系,業(yè)務(wù)基礎(chǔ)架構(gòu)建,設(shè)以月為單位,

3、通過核心云構(gòu)件 實(shí)現(xiàn),進(jìn)程級(jí)資源 共享,業(yè)務(wù)基礎(chǔ)架構(gòu)建,設(shè)以分鐘為單位,實(shí)現(xiàn),數(shù)據(jù)中心級(jí),彈性伸縮,傳統(tǒng)孤島,標(biāo)準(zhǔn)化,IaaS,資源池化,PaaS,和應(yīng)用,資源池化,DCOS,化,虛擬化,服務(wù)化,智能化,孤島,X8,6,化,通過服務(wù)化實(shí)現(xiàn) 共享的,平臺(tái)架構(gòu),業(yè)務(wù)基礎(chǔ)架構(gòu)建,設(shè)以日為單位,實(shí)現(xiàn),集群級(jí),彈性 伸縮,通過虛擬化實(shí)現(xiàn) 共享的,基礎(chǔ)架構(gòu),業(yè)務(wù)基礎(chǔ)架構(gòu)建,設(shè)以周為單位,實(shí)現(xiàn),虛擬機(jī)級(jí),彈 性伸縮,簡化,高效,靈活,動(dòng)態(tài)復(fù)用,浙江移動(dòng)云化的階段對數(shù)據(jù)中心內(nèi) 部整體目標(biāo)架 構(gòu)沒有統(tǒng)一的,5,存在的問題,靜態(tài)部署,只能大切小不能小聚大,不能維持應(yīng)用環(huán)境的自動(dòng)化封裝,應(yīng)用的快速部署開通受到極大制

4、約,傳統(tǒng)虛擬化只能實(shí)現(xiàn)虛機(jī)級(jí)彈性伸縮，效果極其有限,資源利用率低,基于Iaa,S,層的云化先天不足：,存在的問題靜態(tài)部署基于IaaS層的云化先天不足：,6,DCOS,第三代,PaaS,的核心,PaaS,1.0,Google,App,Engine,、SAE等,早期的,PaaS,概念,，提供軟件開發(fā)平 臺(tái)和運(yùn)行環(huán)境,PaaS,2.0,Cloud,Foundry,、,OpenShift等,允許用戶運(yùn)行自己的,PaaS，,將平臺(tái)進(jìn)行標(biāo),準(zhǔn)化、服務(wù)化。,PaaS,3.0,以分布式集群資源調(diào) 度（,Mes,o,s,、,Y,ar,n,）為基礎(chǔ)，結(jié)合容器（,Docker）,技術(shù)構(gòu)建,支持多種計(jì)算框架，,具備敏

5、捷開發(fā)、快速 部署和彈性伸縮特性,第三,代,PaaS,的核心是,DCOS（DataCenter,Operating,System）,DCOS 第三代PaaS的核心 PaaS 1.0Go,7,數(shù)據(jù)中,心,操作系統(tǒng),DCOS,數(shù)據(jù)中心操作系統(tǒng),（DataCenter,Operating,System，,簡稱,DCOS,）,是為整個(gè)數(shù)據(jù),中,心提,供,分布 式調(diào)度與協(xié)調(diào)功能，實(shí)現(xiàn)數(shù)據(jù)中心,級(jí),彈性,伸,縮能,力,的軟,件,堆棧,，,它將,所,有數(shù),據(jù),中心,的,資源,當(dāng),做一 臺(tái)大型計(jì)算機(jī)來調(diào)度，可以視作這,個(gè),大型,主,機(jī)的,操,作系,統(tǒng),。,（以,Mesos,為例）,Linux,OS,DCOS,

6、Resource,Management,Linux,Kernel,Mesos,Process,Management,Linux,Kernel,Docker,Job,Scheduling,init.d,cron,Marathon,Chronos,Inter-Process,Com,m,u,n,i,c,ation,Pipe,Socket,RabbitMQ,File,System,ext4,HDFS,Ceph,（圖片來自互聯(lián)網(wǎng)）,數(shù)據(jù)中心操作系統(tǒng)DCOS數(shù)據(jù)中心操作系統(tǒng)（DataCente,8,D,C,O,S,的特征,數(shù)據(jù)中心操作系統(tǒng)終極目標(biāo)是提供一個(gè)通用的,標(biāo),準(zhǔn)化運(yùn)維系,統(tǒng),高效率可靠,安,全地

7、管 理數(shù)據(jù)中心，同時(shí)簡化應(yīng)用程序的開發(fā)、部署難,度,，協(xié)調(diào)各類,資,源，確保各,類,資源隨著 應(yīng)用的需求動(dòng)態(tài)調(diào)度,數(shù)據(jù)中心級(jí)的彈性伸縮,自動(dòng)化調(diào)度、故障自愈,細(xì)粒度的資源分配,高資源利用率,敏捷開發(fā)、快速部署,DCOS的特征數(shù)據(jù)中心操作系統(tǒng)終極目標(biāo)是提供一個(gè)通用的標(biāo)準(zhǔn)化,9,D,C,O,S,解決方案,典型案例,Google：,Borg/Omega,Twitter,、,Apple、,Netflix：,Mesos,解決方案,Mesos,：,Mesos,由加州大學(xué)伯克利分校AMPLab開,發(fā),，后在,Twitter,廣,泛,使,用,，成,熟,度 高。,Mesosphere,公司,DCOS，,以Mes

8、os為核心，支,持,多領(lǐng),域,的分,布,式集,群,調(diào)度,框,架：,Marathon,、,Chronos,和,Hadoop,、Spark等的,集群調(diào)度框架，,實(shí),現(xiàn)系,統(tǒng),的資,源,彈,性,調(diào)度。,Apache,Hadoop,YARN：,一,種,新的,Hadoop,資,源管理,器,，它,是,一個(gè)通,用,資源,管,理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理,和,調(diào)度,。,Kubernetes：,是Google多年大規(guī)模容器管理技術(shù)的開源版本，面,世,以來,就,受到,各,大巨 頭及初創(chuàng)公司,的,青睞，社區(qū)活躍。,Docker,Machine,+,Compose,+,Swarm：,Docker,公司的容器

9、編,排,工具。,傳統(tǒng),PaaS,產(chǎn)品,：,CloudFoundry/OpenShift,等傳,統(tǒng),PaaS,解,決方,案,。,DCOS解決方案典型案例,10,Why,Mesos,Mesos,Yarn,Kubernetes,Docker,Swarm,CF/OpenShift,調(diào)度級(jí)別,二級(jí)調(diào)度,（Do,m,inant,Resource Fairness）,二級(jí)調(diào)度,（,F,I,FO,，Ca,p,a,c,ity,Scheduler，F(xiàn)air Scheduler）,二級(jí)調(diào)度（基于,Predicates,和,P,r,ioriti,e,s兩階段 算法）,一級(jí)調(diào)度,（提供,Strategy,和,Filte

10、r,兩種調(diào)度策略）,CF,一級(jí)調(diào)度,（基于,H,ighes,t,-,s,c,ori,n,g調(diào) 度策略）,/,O,pen,S,h,i,f,t使用,Kubernetes,生態(tài)活躍,活躍,活躍,非?；钴S,活躍,一般,適用場景,通用性高，混合場 景,大數(shù)據(jù)生態(tài)場景,目前較單一,較單一,較單一,成熟度,高,高,中,低,中,應(yīng)用與平 臺(tái)耦合度,低,中,中,低,高,應(yīng)用案例 分析,Twitter,、,Apple,、,Airbnb,、,Yelp,、,N,etfli,x,、e,b,a,y,、,Verizon,Hadoop,生態(tài)圈應(yīng)用,目前快速發(fā)展中，生產(chǎn)環(huán)境應(yīng)用較 少,很少,較少，,P,a,a,S整體解 決方案

11、，應(yīng)用與平 臺(tái)的耦合度較高,根據(jù)對適合構(gòu),建,D,C,O,S,的各種技術(shù)架構(gòu)的評(píng)估，選擇,以,Me,sos,為基礎(chǔ)的方案。優(yōu),點(diǎn)是成熟度高、兩級(jí)調(diào)度框架、適合多種應(yīng)用場景、混合部署、應(yīng)用與平臺(tái)耦合度低,Why MesosMesosYarnKubernetesDo,11,中國移動(dòng)浙江公,司,DCOS,建設(shè)歷程,2014年3月開,始,關(guān)注,Docker,容,器,化技術(shù),，2014,年8,月,啟動(dòng),Docker,應(yīng),用,的技術(shù) 驗(yàn)證,2014年,11,月將核心系,統(tǒng)CRM,的,一,個(gè)完整集群,遷,移到容器運(yùn),行，Docker,正式,投入生產(chǎn),2015年8月，,提,出數(shù)據(jù)中心,操,作系統(tǒng)的設(shè),想,，建

12、設(shè),DCOS,驗(yàn)證網(wǎng)，,使,用,Mesos+Marathon+Docker,方案,2015年,11,月4,日,中國移動(dòng)浙,江,公司,DCOS,驗(yàn)證網(wǎng)上線,，11,月,11,日支,撐,手機(jī)營 業(yè)廳“雙11”活動(dòng),2015年12月10上線CRM應(yīng)用,中國移動(dòng)浙江公司DCOS建設(shè)歷程2014年3月開始關(guān)注Doc,12,內(nèi)容,為什,么,使用MESOS,基于,MESOS,的,DCOS,實(shí)現(xiàn),實(shí),踐,經(jīng)驗(yàn),內(nèi)容,13,關(guān)鍵技,術(shù),選,型-,資源調(diào)度,（圖片來自互聯(lián)網(wǎng)）,Mesos,關(guān)鍵技術(shù)選型-資源調(diào)度（圖片來自互聯(lián)網(wǎng)）Mesos,14,關(guān)鍵技,術(shù),選,型-,任務(wù)調(diào)度,Mesos僅負(fù)責(zé),分,布式集群資,源

13、,分配,Marathon,做任務(wù)調(diào)度,，,故障轉(zhuǎn)移,（圖片來自互聯(lián)網(wǎng)）,Marathon,關(guān)鍵技術(shù)選型-任務(wù)調(diào)度Mesos僅負(fù)責(zé)分布式集群資源分配,15,關(guān)鍵技,術(shù),選,型,應(yīng)用封裝,（圖片來自互聯(lián)網(wǎng)）,容器,server,Hypervisor,Guest,OS,Bin/libs,Guest,OS,Bin/libs,app,app,虛擬機(jī),server,Host,OS,Docker Engine,Bin/libs,a,p,p,Bin/libs,a,p,p,Docker,關(guān)鍵技術(shù)選型 應(yīng)用封裝（圖片來自互聯(lián)網(wǎng)）容器server,16,關(guān)鍵技,術(shù),選,型,-,服務(wù)發(fā)現(xiàn)與注冊,HAProxy,業(yè)務(wù),

14、負(fù),載,的分發(fā),Marathon,將服務(wù)通,過,Confd,注冊到,HAProxy,Marathon,Etcd,Confd,HAProxy,思路來自：劉天,斯,構(gòu),建,一個(gè),高,可用,及,自動(dòng),發(fā),現(xiàn)的,Docker,基礎(chǔ)架構(gòu),-HECD,-服務(wù)發(fā)現(xiàn)與注冊HAProxy業(yè)務(wù)負(fù)載的分發(fā),17,D,C,O,S,架構(gòu)圖,Mesos Cluster,(Master),Mesos,Master,Mesos,MasterMesos,Master,Marathon,MarathonMarathon,Zookeeper,ZookeeperZookeeper,Etcd,EtcdEtcd,Git,服務(wù)器,應(yīng)用包、

15、鏡像,Jenkins,Docker Co,nt,a,in,e,r,Docker Co,nt,a,in,e,r,Docker,C,o,n,tain,e,r,Mesos,SlaveMesos,SlaveMesos,Slave,Mesos Cluster,(Slave),Distributed,File,System(Ceph,、,HDFS),Docker Regi,s,try,LB,H,AP,r,o,x,y,Confd,HAPro,x,y,Confd,部署,彈性調(diào)度,構(gòu)建,構(gòu)建,/,上傳,P,ush,P,ull,服務(wù)發(fā)現(xiàn),代,碼,DCOS架構(gòu)圖Mesos Cluster(Master)G,18,D

16、COS,功能架構(gòu)圖,Etcd,Etcd,Etcd,服務(wù)發(fā)現(xiàn) 服務(wù)注冊,應(yīng)用容器化,(Docker,封裝),應(yīng),用（Docker）,應(yīng)用,（Docker）,Confd/HAproxy,節(jié)點(diǎn),節(jié)點(diǎn),節(jié)點(diǎn),節(jié)點(diǎn),MESOS,MARATHON,zookeeper,物理機(jī)或虛擬機(jī),資源調(diào)度 任務(wù)調(diào)度,DCOS,管理平臺(tái),監(jiān)控管理模塊,彈性擴(kuò)縮容調(diào)度模塊,資源配置模塊,統(tǒng)一日志中心,鑒權(quán)模塊,持續(xù)集成平臺(tái),Dashboard,Confd/HAproxy,Confd/HAproxy,DCOS功能架構(gòu)圖EtcdEtcdEtcd應(yīng)用容器化應(yīng)用（D,19,D,C,O,S,物理部署,MESOS-slave,Zookeeper,Etcd,、,Confd,H,AP,r,o,xy,L,o,ad,balance,S,t,a,t,e,ch,anges,S,t,a,t,e,ch,anges,r,e,l,o,ad,t,a,s,k,浙江移動(dòng),DCOS,平臺(tái)采用93,個(gè)主,機(jī),節(jié)點(diǎn),，,其中,平,臺(tái)部,分,由,5,個(gè)節(jié)點(diǎn),構(gòu),成Mesos,Master,Cluster，8,個(gè)節(jié)點(diǎn)構(gòu)成,Haproxy,Cluster，80個(gè)計(jì)