OracleExadata技術(shù)架構(gòu)和主要特點(diǎn).ppt

《OracleExadata技術(shù)架構(gòu)和主要特點(diǎn).ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《OracleExadata技術(shù)架構(gòu)和主要特點(diǎn).ppt（34頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

EXADATA技術(shù)架構(gòu)和主要特點(diǎn) 高擴(kuò)展 高可靠 OLTP 智能存儲(chǔ) ShareDisk和ShareNothing架構(gòu)分析 ShareDisk和ShareNothing是兩種主要的數(shù)據(jù)庫(kù)架構(gòu)Exadata提供一種混合式的數(shù)據(jù)庫(kù)架構(gòu) 能夠有效解決兩者的沖突 吸取兩種架構(gòu)長(zhǎng)處 既可以滿(mǎn)足OLTP的高并發(fā) 高可用特點(diǎn) 又可以滿(mǎn)足OLAP的大數(shù)據(jù)量處理要求 ShareDisk把數(shù)據(jù)傳輸?shù)綉?yīng)用代碼端 ShareNothing把應(yīng)用代碼移到數(shù)據(jù)端運(yùn)行 當(dāng)應(yīng)用代碼量很大 高并發(fā) 相關(guān)數(shù)據(jù)量比較小時(shí) ShareDisk更加適合這種典型的OLTP應(yīng)用 主要特點(diǎn) 高并發(fā) 高可用性 由于數(shù)據(jù)共享 當(dāng)節(jié)點(diǎn)故障可以透明切換到其他數(shù)據(jù)庫(kù)節(jié)點(diǎn)運(yùn)行作業(yè) 當(dāng)相關(guān)數(shù)據(jù)量很大 而應(yīng)用代碼并發(fā)量很小時(shí) ShareNothing更加適合這種典型的OLAP應(yīng)用 主要特點(diǎn) 大數(shù)據(jù)量處理 低并發(fā) 低可用性 由于數(shù)據(jù)非共享 當(dāng)節(jié)點(diǎn)故障 其他節(jié)點(diǎn)要接管故障節(jié)點(diǎn)數(shù)據(jù) 主要指標(biāo) 架構(gòu)優(yōu)勢(shì) Exadata架構(gòu)概述 智能存儲(chǔ)層 ShareNothing 數(shù)據(jù)庫(kù)處理層 ShareDisk 超高速并發(fā)網(wǎng)絡(luò)層 高擴(kuò)展 高可靠 OLTP 智能存儲(chǔ) 主要指標(biāo) 架構(gòu)優(yōu)勢(shì) 全新的技術(shù)架構(gòu) ShareNothing與ShareDisk的結(jié)合 Exadata智能存儲(chǔ)服務(wù)器 ShareNothingArchitecture 在存儲(chǔ)部件中實(shí)現(xiàn)數(shù)據(jù)密集型處理進(jìn)行表及索引掃描 過(guò)濾查詢(xún)無(wú)關(guān)數(shù)據(jù)數(shù)據(jù)庫(kù)服務(wù)器承擔(dān)計(jì)算密集型處理 ShareDiskArchitecture 求和 統(tǒng)計(jì) 數(shù)據(jù)轉(zhuǎn)換 等 數(shù)據(jù)密集型處理智能存儲(chǔ)池 計(jì)算密集型處理數(shù)據(jù)庫(kù)服務(wù)池 Infiniband高速互聯(lián)的數(shù)據(jù)交換 全雙工系統(tǒng)架構(gòu) 完全消除單點(diǎn)故障 高擴(kuò)展 高可靠 OLTP 智能存儲(chǔ) 主要指標(biāo) 架構(gòu)優(yōu)勢(shì) EXADATA概述 為所有的數(shù)據(jù)管理系統(tǒng)提供超級(jí)的性能 適用于數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的最好的數(shù)據(jù)庫(kù)服務(wù)器 BestforDataWarehousing 基于10 x壓縮表的Smartscan基于內(nèi)存數(shù)據(jù)的并行查詢(xún)整體上比11 1版本快5倍適用于OLTP系統(tǒng)的最好的數(shù)據(jù)庫(kù)服務(wù)器 BestforOLTP 唯一基于網(wǎng)格技術(shù)擴(kuò)展的數(shù)據(jù)庫(kù)Smartflashcache可達(dá)到20 x 1MIOPS 快的IOPS 或者節(jié)省20 x的磁盤(pán)對(duì)于歸檔數(shù)據(jù)可達(dá)到50 x的壓縮率安全 容錯(cuò)適用于混合負(fù)載的最好的數(shù)據(jù)庫(kù)服務(wù)器 BestforConsolidation 唯一的支持所有負(fù)載類(lèi)型的databasemachine多個(gè)數(shù)據(jù)庫(kù) 多個(gè)應(yīng)用 多個(gè)用戶(hù)環(huán)境都能提供可預(yù)測(cè)的響應(yīng)時(shí)間 高擴(kuò)展 高可靠 OLTP 智能存儲(chǔ) 主要指標(biāo) 架構(gòu)優(yōu)勢(shì) Exadata數(shù)據(jù)庫(kù)一體機(jī) 網(wǎng)格技術(shù)之大成高性能 低成本 冗余 線性擴(kuò)展超級(jí)性能 開(kāi)箱即用 Exadata智能存儲(chǔ)服務(wù)器網(wǎng)格14x高性能低成本存儲(chǔ)服務(wù)器100TBrawSAS盤(pán)or336TBrawSATA盤(pán)5TB 閃存 flashstorage RACDB數(shù)據(jù)庫(kù)服務(wù)器網(wǎng)格8x高性能低成本DB服務(wù)器每個(gè)服務(wù)器包括2x4核Xeons 72GBRAMInfiniBand網(wǎng)絡(luò)每路40Gb sec的高可用網(wǎng)絡(luò) 高擴(kuò)展 高可靠 OLTP 智能存儲(chǔ) 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) Exadata數(shù)據(jù)庫(kù)一體機(jī) Exadata智能存儲(chǔ)服務(wù)器網(wǎng)格21GB sec磁盤(pán)數(shù)據(jù)掃描50GB sec內(nèi)存數(shù)據(jù)掃描1百萬(wàn) 隨機(jī)I Os sec 8KDB塊 數(shù)據(jù)庫(kù)服務(wù)器網(wǎng)格幾百萬(wàn)級(jí)事務(wù)處理能力 每分鐘幾千萬(wàn)級(jí)查詢(xún)能力 每分鐘幾十億級(jí)記錄掃描能力 每分鐘InfiniBand網(wǎng)絡(luò)880Gb sec累計(jì)IO帶寬 ExtremePerformance超級(jí)性能 高擴(kuò)展 高可靠 OLTP 智能存儲(chǔ) 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) Exadata產(chǎn)品能力 1 Rawcapacitycalculatedusing1GB 1000 x1000 x1000bytesand1TB 1000 x1000 x1000 x1000bytes 2 UserData Actualspaceforend userdata computedaftersinglemirroring ASMnormalredundancy andafterallowingspacefordatabasestructuressuchastemp logs undo andindexes Actualuserdatacapacityvariesbyapplication UserDatacapacitycalculatedusing1TB 1024 1024 1024 1024bytes Ref 高擴(kuò)展 高可靠 OLTP 智能存儲(chǔ) 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) Exadata存儲(chǔ)服務(wù)器硬件構(gòu)成 做為MPP網(wǎng)格的單元部件 每個(gè)2U單元提供高達(dá)1 5GB sec原始數(shù)據(jù)帶寬 withDisk 高達(dá)75 000IOPS withFlash 高達(dá)3 6GB sec原始數(shù)據(jù)帶寬 withFlash 智能存儲(chǔ)服務(wù)器構(gòu)成2x4核Xeon E5540處理器 Nehalem架構(gòu) 24GBRAM雙口4xQDR 40Gb s InfiniBand接口卡磁盤(pán)選項(xiàng)12x600GBSAS盤(pán) 合計(jì)7 2TB 12x2TBSATA盤(pán) 合計(jì)24TB 4x96GBSunFlashPCIeCards 合計(jì)384GB 軟件預(yù)裝OracleExadata智能存儲(chǔ)服務(wù)器軟件OracleEnterpriseLinuxDrivers Utilities來(lái)源于Oralce的統(tǒng)一支持服務(wù)3year 24x7 4HrOn siteresponse 高擴(kuò)展 高可靠 OLTP 智能存儲(chǔ) 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) ExadataSmartStorage智能存儲(chǔ)服務(wù)器突破數(shù)據(jù)處理帶寬瓶頸及隨機(jī)IO瓶頸 Exadata以三種途徑解決數(shù)據(jù)處理帶寬瓶頸大規(guī)模智能存儲(chǔ)網(wǎng)格并發(fā)計(jì)算MPP數(shù)據(jù)處理帶寬與數(shù)據(jù)量成正比存儲(chǔ)層負(fù)責(zé)數(shù)據(jù)密集型處理SmartScan數(shù)據(jù)庫(kù)SQL負(fù)荷被分布到存儲(chǔ)層實(shí)現(xiàn) 利用大量存在的存儲(chǔ)層CPU處理本存儲(chǔ)節(jié)點(diǎn)內(nèi)的數(shù)據(jù)混合型列壓縮HCC 數(shù)據(jù)量降低10倍以上HCC在降低存儲(chǔ)成本的同時(shí) 增加了查詢(xún)性能通過(guò)ExadataSmartFlashCache解決隨機(jī)IO瓶頸隨機(jī)I Os速度提升20倍以上 ExadataStorageCells 高擴(kuò)展 高可靠 OLTP 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) Exadata的存儲(chǔ)端數(shù)據(jù)庫(kù)處理邏輯 ExadataStorageServer在存儲(chǔ)端進(jìn)行數(shù)據(jù)密集型處理智能掃描SmartScanROW使用 where 謂詞篩選行COLUMN列篩選JOIN聯(lián)接篩選增量備份篩選混合型列壓縮技術(shù)自動(dòng)透明的存儲(chǔ)索引掃描加密數(shù)據(jù)通?？蓪l(fā)送到數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)減少10倍無(wú)需更改應(yīng)用程序處理是自動(dòng)和透明的即使在查詢(xún)期間單元或磁盤(pán)發(fā)生故障 高擴(kuò)展 高可靠 OLTP 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) 傳統(tǒng)數(shù)據(jù)庫(kù)掃描處理技術(shù) 基于傳統(tǒng)存儲(chǔ)技術(shù) 全部的數(shù)據(jù)庫(kù)智能存在于數(shù)據(jù)庫(kù)主機(jī) 來(lái)源于存儲(chǔ)的數(shù)據(jù)大部分被數(shù)據(jù)庫(kù)主機(jī)所丟棄 大量的廢棄數(shù)據(jù)占用了寶貴的數(shù)據(jù)庫(kù)主機(jī)資源 IO 內(nèi)存和CPU 嚴(yán)重影響其它任務(wù)執(zhí)行 處理緩慢 I Os執(zhí)行 返回1TB數(shù)據(jù) DB主機(jī)篩選1TB數(shù)據(jù) 得到1000行客戶(hù)要求的數(shù)據(jù) 計(jì)算并返回給客戶(hù)端 返回?cái)?shù)據(jù)行 SELECTcustomer nameFROMcallsWHEREamount 200 DB主機(jī)確定表的存儲(chǔ)分區(qū) 發(fā)起I Os請(qǐng)求 高擴(kuò)展 高可靠 OLTP 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) Oracle數(shù)據(jù)庫(kù)網(wǎng)格 SmartScan處理技術(shù)Exadata為什么快10 100 x倍 問(wèn)題 昨天的銷(xiāo)售業(yè)績(jī)?nèi)绾?Exadata智能存儲(chǔ)層 SUM Selectsum sales whereDate 24 Sept SmartScan在TB級(jí)數(shù)據(jù)中掃描匹配請(qǐng)求的數(shù)據(jù) 構(gòu)建并發(fā)SmartScan請(qǐng)求 僅僅返回滿(mǎn)足條件的數(shù)據(jù) 高擴(kuò)展 高可靠 OLTP 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) Exadata混合列壓縮 數(shù)據(jù)按列存儲(chǔ) 然后壓縮針對(duì)數(shù)據(jù)倉(cāng)庫(kù)的查詢(xún)模式 為提高速度進(jìn)行了優(yōu)化 通常壓縮比可達(dá)10倍 掃描成比例增長(zhǎng)針對(duì)不常訪問(wèn)數(shù)據(jù)的歸檔模式 為減小空間進(jìn)行了優(yōu)化 通?？蛇_(dá)15倍壓縮 對(duì)某些數(shù)據(jù)可達(dá)50倍壓縮 高擴(kuò)展 高可靠 OLTP 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) 壓縮的行 混合列 CompressionUnit1 Column1 Column2 Column3 CompressionUnit2 很好的隨機(jī)行訪問(wèn)特性非常好的TableScan5x 40 x壓縮 行壓縮vs列數(shù)據(jù)庫(kù)vs混合列壓縮 高擴(kuò)展 高可靠 OLTP 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) 實(shí)際環(huán)境壓縮比OracleProductionE BusinessSuiteTables 壓縮比率 Query 14 6XArchive 22 6XVarybyapplicationandtable 52 高擴(kuò)展 高可靠 OLTP 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) Exadata存儲(chǔ)索引無(wú)需任何開(kāi)銷(xiāo)即可透明地消除I O Exadata存儲(chǔ)索引在內(nèi)存中保存表數(shù)據(jù)的匯總信息存儲(chǔ)列的MIN和MAX值通常每MB磁盤(pán)空間建立一個(gè)索引項(xiàng)如果MIN和MAX值不匹配查詢(xún)的 where 子句 則不訪問(wèn)磁盤(pán)I O完全地自動(dòng)化和透明 MinB 1MaxB 5 Table Index MinB 3MaxB 8 Select fromTablewhereB 2 僅第一組記錄匹配 高擴(kuò)展 高可靠 OLTP 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) Exadata存儲(chǔ)索引示例表SALES 對(duì)常用列自動(dòng)收集的摘要存儲(chǔ)在ExadataStorageServer的內(nèi)存 高擴(kuò)展 高可靠 OLTP 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) Exadata存儲(chǔ)索引示例表SALES 存儲(chǔ)索引將無(wú)關(guān)datachunk忽略掉提供類(lèi)似分區(qū)修剪的功能NetezzareliesuponZoneMaps WHEREship datebetween 01 SEP 2009 and 31 SEP 2009 排除datachunk 2 x 高擴(kuò)展 高可靠 OLTP 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) 對(duì)大型掃描的優(yōu)化 1TB 壓縮 10TB的用戶(hù)數(shù)據(jù)需要10TB的IO 100GB 分區(qū)修剪 20GB 存儲(chǔ)索引 5GB 智能掃描 在DatabaseMachine上實(shí)現(xiàn)亞秒級(jí) 數(shù)據(jù)減少10倍 掃描加快2000倍 高擴(kuò)展 高可靠 OLTP 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) OLTP應(yīng)用特點(diǎn)與傳統(tǒng)存儲(chǔ)的局限性 OLTP注重?cái)?shù)據(jù)的計(jì)算 記錄的插入 刪除與修改 以及簡(jiǎn)單的查詢(xún)和統(tǒng)計(jì) 它的主要任務(wù)是進(jìn)行事務(wù)處理 所關(guān)注的是事務(wù)處理的及時(shí)性 完整性和正確性 衡量OLTP性能主要看TPS和響應(yīng)時(shí)間影響OLTP性能的主要是存儲(chǔ)系統(tǒng)的IOPS性能傳統(tǒng)高端存儲(chǔ)架構(gòu)的特點(diǎn)導(dǎo)致IOPS性能的不足 典型高端陣列只能達(dá)到100k IOPS 數(shù)據(jù)庫(kù)與存儲(chǔ)之間互不了解 無(wú)法進(jìn)行智能優(yōu)化處理 高擴(kuò)展 高可靠 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) OLTP 解決磁盤(pán)隨機(jī)I O瓶頸 磁盤(pán)可存儲(chǔ)大量數(shù)據(jù)但每秒的隨機(jī)I O 200 300I Os 8K塊 Flash閃存技術(shù)可存儲(chǔ)少量數(shù)據(jù) 但遠(yuǎn)大于DRAM 但卻能提供每秒幾萬(wàn)級(jí)的I O理想解決方案 兩者結(jié)合保存大容量數(shù)據(jù)于磁盤(pán)保存大比例常用數(shù)據(jù)于閃存 5 10 在磁盤(pán)和flash間透明傳遞數(shù)據(jù)采用flashcards 而非閃存Disk避免控制器瓶頸在智能存儲(chǔ)服務(wù)器中部署Flashcards高帶寬 低延時(shí)數(shù)據(jù)庫(kù)邏輯感知 300I OperSec TensofThousandsofI O sperSecond 高擴(kuò)展 高可靠 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) OLTP ExadataFlash閃存提供隨機(jī)I O的超級(jí)性能 數(shù)據(jù)庫(kù)一體機(jī)提供總計(jì)5TB的閃存每智能存儲(chǔ)服務(wù)器配置4塊高速閃存卡SmartFlashCache緩存熱數(shù)據(jù) 但不是采用簡(jiǎn)單的LRU算法 庫(kù)邏輯感知基于數(shù)據(jù)庫(kù)數(shù)據(jù)使用邏輯 知道那些數(shù)據(jù)應(yīng)該緩存 那些不應(yīng)該緩存允許基于應(yīng)用表進(jìn)行指定優(yōu)化 如提示高優(yōu)先級(jí)駐留于緩存 OracleistheFirstFlashOptimizedDatabase 高擴(kuò)展 高可靠 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) OLTP ExadataSmartFlashCache超級(jí)性能表現(xiàn) DatabaseMachine可實(shí)現(xiàn) 20 倍隨機(jī)I Os 75Kvs 3 6Kpercell 超過(guò)1百萬(wàn)I OsperSec2 倍大數(shù)據(jù)量順序I O 50GB svs 21GB s 50GB sec10倍更快的響應(yīng)時(shí)間 1ms極大地降低成本10倍更少的磁盤(pán)I O需求更低的功耗 隨機(jī)I Os速度比1000塊盤(pán)的企業(yè)級(jí)陣列 200KIOPS 快5倍 高擴(kuò)展 高可靠 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) OLTP 內(nèi)存中并行執(zhí)行 SQL語(yǔ)句 確定所查詢(xún)表的大小 高擴(kuò)展 高可靠 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) OLTP 內(nèi)存中并行執(zhí)行 數(shù)據(jù)庫(kù)11 2版引入了對(duì)內(nèi)存緩存 DRAMcached 數(shù)據(jù)的并行查詢(xún)處理 利用整個(gè)數(shù)據(jù)庫(kù)集群的內(nèi)存容量進(jìn)行查詢(xún) 1TBTPC H世界紀(jì)錄的基礎(chǔ)一個(gè)SunOracleDatabaseMachine機(jī)架可用DRAM400GB進(jìn)行緩存Exadata混合列存儲(chǔ)可使4TBdatainDRAM QphH 1TBTPC H 比專(zhuān)用內(nèi)存數(shù)據(jù)倉(cāng)庫(kù)更快 DRAM比磁盤(pán)有100 x帶寬 高擴(kuò)展 高可靠 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) OLTP ExadataOLTP 與傳統(tǒng)SMP架構(gòu)對(duì)比 2架冗余ExadataV2 1xP595 IBM最快的單機(jī)SMP 8xIBMDS8300Turbo 10 7M 2 3M 相似的DB服務(wù)器性能相似的I O能力BothwithFlash相似的存儲(chǔ)容量 高擴(kuò)展 高可靠 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) OLTP 避免磁盤(pán)或Cell的單點(diǎn)故障ASMMirroringandFailureGroups ASMmirroringisusedprotectagainstdiskfailuresASMfailuregroupsareusedtoprotectagainstcellfailures ExadataCell ExadataCell ASMDiskGroup 高擴(kuò)展 架構(gòu)優(yōu)勢(shì) 主要指標(biāo) 智能存儲(chǔ) OLTP 高可靠 線性擴(kuò)展性及高可用性 擴(kuò)展性Scalable通過(guò)增加連線即可實(shí)現(xiàn)8個(gè)標(biāo)準(zhǔn)架線性擴(kuò)展更大的擴(kuò)展需要額外的外部InfiniBand交換機(jī)可線性擴(kuò)展到幾百個(gè)存儲(chǔ)服務(wù)器若干PB級(jí)數(shù)據(jù)庫(kù) 高可用性RedundantandFaultTolerant可抵御任何單元的故障跨存儲(chǔ)單元的數(shù)據(jù)鏡像 高可靠 高性能 智能存儲(chǔ) 架構(gòu)優(yōu)勢(shì) 高擴(kuò)展 主要指標(biāo) 無(wú)限的擴(kuò)展能力 ScaleUpandScaleOut SASrawcapacityperrack 100TBSATArawcapacityperrack 336TBPeakthroughputperrack 18GB s Scaleto14cellsinonerack Addrackstoscalefurther Eachcellconnectsto2InfiniBandswitchesforRedundancyThisdelivers4xthebandwidth InfiniBandlinksacrossracksforfullconnectivity 高可靠 高性能 智能存儲(chǔ) 架構(gòu)優(yōu)勢(shì) 高擴(kuò)展 主要指標(biāo) GiantEagle5TB零售數(shù)據(jù)倉(cāng)庫(kù) 1 2ExadataDB主機(jī) 13IBMP570CPUs EMCCLARiiON和DMX存儲(chǔ)陣列 現(xiàn)存系統(tǒng) 平均16倍的性能提升 2008OracleCorporation ProprietaryandConfidential 32 GiantEagleExadata加速詳情3倍到50倍的性能提升 16xAverageSpeedup Oracle s財(cái)務(wù)數(shù)據(jù)倉(cāng)庫(kù)平均30倍的性能提升 337個(gè)查詢(xún) 小時(shí) HPOracleDatabaseMachine 10 7個(gè)查詢(xún) 小時(shí) Netapp存儲(chǔ)陣列