運營商Mesos云平臺實踐課件

,8/1/2018,#,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,2018/8/1,#,運營商,Mesos,云,平臺實,踐,技術(shù)創(chuàng)新，變革未來,運營商Mesos云平臺實踐技術(shù)創(chuàng)新，變革未來,1,內(nèi)容,為什,么,使用,MESOS,基于,MESOS,的,DCOS,實現(xiàn),實踐經(jīng)驗,內(nèi)容,2,云計算驅(qū)動企,業(yè)IT,架構(gòu)演進,企 業(yè) IT,架 構(gòu) 演 進,（圖片來自互聯(lián)網(wǎng)）,“煙囪”式,IT,系統(tǒng)架構(gòu),云化,IT,架構(gòu),打破豎井、應(yīng)用和平臺解耦 打破供應(yīng)商綁定,加強企業(yè)自身核心能力掌控,敏捷建設(shè)、聚焦支撐業(yè)務(wù),統(tǒng)一管理建設(shè)運營，提升運維效率、提升資源利用率，降低,TCO,云計算驅(qū)動企業(yè)IT架構(gòu)演進企 業(yè) IT,3,亞馬遜,的,A,W,S,服務(wù)：,以虛,擬,化,為基,礎(chǔ),，提供,IaaS,、,PaaS,及跨服務(wù),功,能層和服 務(wù)訪,問,工具。,Google,云計算平臺：,基于操,作,系統(tǒng) 層面輕量級隔離技術(shù),的,數(shù)據(jù)中心操作 系統(tǒng),（Borg/Omega），,在數(shù)以萬記 的,P,C服務(wù)器上進行集中的資,源,分配和 調(diào)度。,典型的云計算平臺,（圖片來自互聯(lián)網(wǎng)）,亞馬遜的AWS服務(wù)：以虛擬化為基礎(chǔ)，提供IaaS、PaaS,4,浙江移動云化的階段,對數(shù)據(jù)中心內(nèi) 部整體目標(biāo)架 構(gòu),沒有統(tǒng)一的,規(guī)劃設(shè)計,標(biāo)準(zhǔn)化的,硬件和 軟件體系,業(yè)務(wù)基礎(chǔ)架構(gòu)建,設(shè)以月為單位,通過核心云構(gòu)件 實現(xiàn),進程級資源 共享,業(yè)務(wù)基礎(chǔ)架構(gòu)建,設(shè)以分鐘為單位,實現(xiàn),數(shù)據(jù)中心級,彈性伸縮,傳統(tǒng)孤島,標(biāo)準(zhǔn)化,IaaS,資源池化,PaaS,和應(yīng)用,資源池化,DCOS,化,虛擬化,服務(wù)化,智能化,孤島,X8,6,化,通過服務(wù)化實現(xiàn) 共享的,平臺架構(gòu),業(yè)務(wù)基礎(chǔ)架構(gòu)建,設(shè)以日為單位,實現(xiàn),集群級,彈性 伸縮,通過虛擬化實現(xiàn) 共享的,基礎(chǔ)架構(gòu),業(yè)務(wù)基礎(chǔ)架構(gòu)建,設(shè)以周為單位,實現(xiàn),虛擬機級,彈 性伸縮,簡化,高效,靈活,動態(tài)復(fù)用,浙江移動云化的階段對數(shù)據(jù)中心內(nèi) 部整體目標(biāo)架 構(gòu)沒有統(tǒng)一的,5,存在的問題,靜態(tài)部署,只能大切小不能小聚大,不能維持應(yīng)用環(huán)境的自動化封裝,應(yīng)用的快速部署開通受到極大制約,傳統(tǒng)虛擬化只能實現(xiàn)虛機級彈性伸縮，效果極其有限,資源利用率低,基于Iaa,S,層的云化先天不足：,存在的問題靜態(tài)部署基于IaaS層的云化先天不足：,6,DCOS,第三代,PaaS,的核心,PaaS,1.0,Google,App,Engine,、SAE等,早期的,PaaS,概念,，提供軟件開發(fā)平 臺和運行環(huán)境,PaaS,2.0,Cloud,Foundry,、,OpenShift等,允許用戶運行自己的,PaaS，,將平臺進行標(biāo),準(zhǔn)化、服務(wù)化。,PaaS,3.0,以分布式集群資源調(diào) 度（,Mes,o,s,、,Y,ar,n,）為基礎(chǔ)，結(jié)合容器（,Docker）,技術(shù)構(gòu)建,支持多種計算框架，,具備敏捷開發(fā)、快速 部署和彈性伸縮特性,第三,代,PaaS,的核心是,DCOS（DataCenter,Operating,System）,DCOS 第三代PaaS的核心 PaaS 1.0Go,7,數(shù)據(jù)中,心,操作系統(tǒng),DCOS,數(shù)據(jù)中心操作系統(tǒng),（DataCenter,Operating,System，,簡稱,DCOS,）,是為整個數(shù)據(jù),中,心提,供,分布 式調(diào)度與協(xié)調(diào)功能，實現(xiàn)數(shù)據(jù)中心,級,彈性,伸,縮能,力,的軟,件,堆棧,，,它將,所,有數(shù),據(jù),中心,的,資源,當(dāng),做一 臺大型計算機來調(diào)度，可以視作這,個,大型,主,機的,操,作系,統(tǒng),。,（以,Mesos,為例）,Linux,OS,DCOS,Resource,Management,Linux,Kernel,Mesos,Process,Management,Linux,Kernel,Docker,Job,Scheduling,init.d,cron,Marathon,Chronos,Inter-Process,Com,m,u,n,i,c,ation,Pipe,Socket,RabbitMQ,File,System,ext4,HDFS,Ceph,（圖片來自互聯(lián)網(wǎng)）,數(shù)據(jù)中心操作系統(tǒng)DCOS數(shù)據(jù)中心操作系統(tǒng)（DataCente,8,D,C,O,S,的特征,數(shù)據(jù)中心操作系統(tǒng)終極目標(biāo)是提供一個通用的,標(biāo),準(zhǔn)化運維系,統(tǒng),高效率可靠,安,全地管 理數(shù)據(jù)中心，同時簡化應(yīng)用程序的開發(fā)、部署難,度,，協(xié)調(diào)各類,資,源，確保各,類,資源隨著 應(yīng)用的需求動態(tài)調(diào)度,數(shù)據(jù)中心級的彈性伸縮,自動化調(diào)度、故障自愈,細粒度的資源分配,高資源利用率,敏捷開發(fā)、快速部署,DCOS的特征數(shù)據(jù)中心操作系統(tǒng)終極目標(biāo)是提供一個通用的標(biāo)準(zhǔn)化,9,D,C,O,S,解決方案,典型案例,Google：,Borg/Omega,Twitter,、,Apple、,Netflix：,Mesos,解決方案,Mesos,：,Mesos,由加州大學(xué)伯克利分校AMPLab開,發(fā),，后在,Twitter,廣,泛,使,用,，成,熟,度 高。,Mesosphere,公司,DCOS，,以Mesos為核心，支,持,多領(lǐng),域,的分,布,式集,群,調(diào)度,框,架：,Marathon,、,Chronos,和,Hadoop,、Spark等的,集群調(diào)度框架，,實,現(xiàn)系,統(tǒng),的資,源,彈,性,調(diào)度。,Apache,Hadoop,YARN：,一,種,新的,Hadoop,資,源管理,器,，它,是,一個通,用,資源,管,理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理,和,調(diào)度,。,Kubernetes：,是Google多年大規(guī)模容器管理技術(shù)的開源版本，面,世,以來,就,受到,各,大巨 頭及初創(chuàng)公司,的,青睞，社區(qū)活躍。,Docker,Machine,+,Compose,+,Swarm：,Docker,公司的容器編,排,工具。,傳統(tǒng),PaaS,產(chǎn)品,：,CloudFoundry/OpenShift,等傳,統(tǒng),PaaS,解,決方,案,。,DCOS解決方案典型案例,10,Why,Mesos,Mesos,Yarn,Kubernetes,Docker,Swarm,CF/OpenShift,調(diào)度級別,二級調(diào)度,（Do,m,inant,Resource Fairness）,二級調(diào)度,（,F,I,FO,，Ca,p,a,c,ity,Scheduler，F(xiàn)air Scheduler）,二級調(diào)度（基于,Predicates,和,P,r,ioriti,e,s兩階段 算法）,一級調(diào)度,（提供,Strategy,和,Filter,兩種調(diào)度策略）,CF,一級調(diào)度,（基于,H,ighes,t,-,s,c,ori,n,g調(diào) 度策略）,/,O,pen,S,h,i,f,t使用,Kubernetes,生態(tài)活躍,活躍,活躍,非?；钴S,活躍,一般,適用場景,通用性高，混合場 景,大數(shù)據(jù)生態(tài)場景,目前較單一,較單一,較單一,成熟度,高,高,中,低,中,應(yīng)用與平 臺耦合度,低,中,中,低,高,應(yīng)用案例 分析,Twitter,、,Apple,、,Airbnb,、,Yelp,、,N,etfli,x,、e,b,a,y,、,Verizon,Hadoop,生態(tài)圈應(yīng)用,目前快速發(fā)展中，生產(chǎn)環(huán)境應(yīng)用較 少,很少,較少，,P,a,a,S整體解 決方案，應(yīng)用與平 臺的耦合度較高,根據(jù)對適合構(gòu),建,D,C,O,S,的各種技術(shù)架構(gòu)的評估，選擇,以,Me,sos,為基礎(chǔ)的方案。優(yōu),點是成熟度高、兩級調(diào)度框架、適合多種應(yīng)用場景、混合部署、應(yīng)用與平臺耦合度低,Why MesosMesosYarnKubernetesDo,11,中國移動浙江公,司,DCOS,建設(shè)歷程,2014年3月開,始,關(guān)注,Docker,容,器,化技術(shù),，2014,年8,月,啟動,Docker,應(yīng),用,的技術(shù) 驗證,2014年,11,月將核心系,統(tǒng)CRM,的,一,個完整集群,遷,移到容器運,行，Docker,正式,投入生產(chǎn),2015年8月，,提,出數(shù)據(jù)中心,操,作系統(tǒng)的設(shè),想,，建設(shè),DCOS,驗證網(wǎng)，,使,用,Mesos+Marathon+Docker,方案,2015年,11,月4,日,中國移動浙,江,公司,DCOS,驗證網(wǎng)上線,，11,月,11,日支,撐,手機營 業(yè)廳“雙11”活動,2015年12月10上線CRM應(yīng)用,中國移動浙江公司DCOS建設(shè)歷程2014年3月開始關(guān)注Doc,12,內(nèi)容,為什,么,使用MESOS,基于,MESOS,的,DCOS,實現(xiàn),實,踐,經(jīng)驗,內(nèi)容,13,關(guān)鍵技,術(shù),選,型-,資源調(diào)度,（圖片來自互聯(lián)網(wǎng)）,Mesos,關(guān)鍵技術(shù)選型-資源調(diào)度（圖片來自互聯(lián)網(wǎng)）Mesos,14,關(guān)鍵技,術(shù),選,型-,任務(wù)調(diào)度,Mesos僅負(fù)責(zé),分,布式集群資,源,分配,Marathon,做任務(wù)調(diào)度,，,故障轉(zhuǎn)移,（圖片來自互聯(lián)網(wǎng)）,Marathon,關(guān)鍵技術(shù)選型-任務(wù)調(diào)度Mesos僅負(fù)責(zé)分布式集群資源分配,15,關(guān)鍵技,術(shù),選,型,應(yīng)用封裝,（圖片來自互聯(lián)網(wǎng)）,容器,server,Hypervisor,Guest,OS,Bin/libs,Guest,OS,Bin/libs,app,app,虛擬機,server,Host,OS,Docker Engine,Bin/libs,a,p,p,Bin/libs,a,p,p,Docker,關(guān)鍵技術(shù)選型 應(yīng)用封裝（圖片來自互聯(lián)網(wǎng)）容器server,16,關(guān)鍵技,術(shù),選,型,-,服務(wù)發(fā)現(xiàn)與注冊,HAProxy,業(yè)務(wù),負(fù),載,的分發(fā),Marathon,將服務(wù)通,過,Confd,注冊到,HAProxy,Marathon,Etcd,Confd,HAProxy,思路來自：劉天,斯,構(gòu),建,一個,高,可用,及,自動,發(fā),現(xiàn)的,Docker,基礎(chǔ)架構(gòu),-HECD,-服務(wù)發(fā)現(xiàn)與注冊HAProxy業(yè)務(wù)負(fù)載的分發(fā),17,D,C,O,S,架構(gòu)圖,Mesos Cluster,(Master),Mesos,Master,Mesos,MasterMesos,Master,Marathon,MarathonMarathon,Zookeeper,ZookeeperZookeeper,Etcd,EtcdEtcd,Git,服務(wù)器,應(yīng)用包、鏡像,Jenkins,Docker Co,nt,a,in,e,r,Docker Co,nt,a,in,e,r,Docker,C,o,n,tain,e,r,Mesos,SlaveMesos,SlaveMesos,Slave,Mesos Cluster,(Slave),Distributed,File,System(Ceph,、,HDFS),Docker Regi,s,try,LB,H,AP,r,o,x,y,Confd,HAPro,x,y,Confd,部署,彈性調(diào)度,構(gòu)建,構(gòu)建,/,上傳,P,ush,P,ull,服務(wù)發(fā)現(xiàn),代,碼,DCOS架構(gòu)圖Mesos Cluster(Master)G,18,DCOS,功能架構(gòu)圖,Etcd,Etcd,Etcd,服務(wù)發(fā)現(xiàn) 服務(wù)注冊,應(yīng)用容器化,(Docker,封裝),應(yīng),用（Docker）,應(yīng)用,（Docker）,Confd/HAproxy,節(jié)點,節(jié)點,節(jié)點,節(jié)點,MESOS,MARATHON,zookeeper,物理機或虛擬機,資源調(diào)度 任務(wù)調(diào)度,DCOS,管理平臺,監(jiān)控管理模塊,彈性擴縮容調(diào)度模塊,資源配置模塊,統(tǒng)一日志中心,鑒權(quán)模塊,持續(xù)集成平臺,Dashboard,Confd/HAproxy,Confd/HAproxy,DCOS功能架構(gòu)圖EtcdEtcdEtcd應(yīng)用容器化應(yīng)用（D,19,D,C,O,S,物理部署,MESOS-slave,Zookeeper,Etcd,、,Confd,H,AP,r,o,xy,L,o,ad,balance,S,t,a,t,e,ch,anges,S,t,a,t,e,ch,anges,r,e,l,o,ad,t,a,s,k,浙江移動,DCOS,平臺采用93,個主,機,節(jié)點,，,其中,平,臺部,分,由,5,個節(jié)點,構(gòu),成Mesos,Master,Cluster，8,個節(jié)點構(gòu)成,Haproxy,Cluster，80個計