OracleExadata技術架構和主要特點.ppt

《OracleExadata技術架構和主要特點.ppt》由會員分享，可在線閱讀，更多相關《OracleExadata技術架構和主要特點.ppt（34頁珍藏版）》請在裝配圖網上搜索。

EXADATA技術架構和主要特點 高擴展 高可靠 OLTP 智能存儲 ShareDisk和ShareNothing架構分析 ShareDisk和ShareNothing是兩種主要的數據庫架構Exadata提供一種混合式的數據庫架構 能夠有效解決兩者的沖突 吸取兩種架構長處 既可以滿足OLTP的高并發(fā) 高可用特點 又可以滿足OLAP的大數據量處理要求 ShareDisk把數據傳輸到應用代碼端 ShareNothing把應用代碼移到數據端運行 當應用代碼量很大 高并發(fā) 相關數據量比較小時 ShareDisk更加適合這種典型的OLTP應用 主要特點 高并發(fā) 高可用性 由于數據共享 當節(jié)點故障可以透明切換到其他數據庫節(jié)點運行作業(yè) 當相關數據量很大 而應用代碼并發(fā)量很小時 ShareNothing更加適合這種典型的OLAP應用 主要特點 大數據量處理 低并發(fā) 低可用性 由于數據非共享 當節(jié)點故障 其他節(jié)點要接管故障節(jié)點數據 主要指標 架構優(yōu)勢 Exadata架構概述 智能存儲層 ShareNothing 數據庫處理層 ShareDisk 超高速并發(fā)網絡層 高擴展 高可靠 OLTP 智能存儲 主要指標 架構優(yōu)勢 全新的技術架構 ShareNothing與ShareDisk的結合 Exadata智能存儲服務器 ShareNothingArchitecture 在存儲部件中實現數據密集型處理進行表及索引掃描 過濾查詢無關數據數據庫服務器承擔計算密集型處理 ShareDiskArchitecture 求和 統(tǒng)計 數據轉換 等 數據密集型處理智能存儲池 計算密集型處理數據庫服務池 Infiniband高速互聯(lián)的數據交換 全雙工系統(tǒng)架構 完全消除單點故障 高擴展 高可靠 OLTP 智能存儲 主要指標 架構優(yōu)勢 EXADATA概述 為所有的數據管理系統(tǒng)提供超級的性能 適用于數據倉庫應用的最好的數據庫服務器 BestforDataWarehousing 基于10 x壓縮表的Smartscan基于內存數據的并行查詢整體上比11 1版本快5倍適用于OLTP系統(tǒng)的最好的數據庫服務器 BestforOLTP 唯一基于網格技術擴展的數據庫Smartflashcache可達到20 x 1MIOPS 快的IOPS 或者節(jié)省20 x的磁盤對于歸檔數據可達到50 x的壓縮率安全 容錯適用于混合負載的最好的數據庫服務器 BestforConsolidation 唯一的支持所有負載類型的databasemachine多個數據庫 多個應用 多個用戶環(huán)境都能提供可預測的響應時間 高擴展 高可靠 OLTP 智能存儲 主要指標 架構優(yōu)勢 Exadata數據庫一體機 網格技術之大成高性能 低成本 冗余 線性擴展超級性能 開箱即用 Exadata智能存儲服務器網格14x高性能低成本存儲服務器100TBrawSAS盤or336TBrawSATA盤5TB 閃存 flashstorage RACDB數據庫服務器網格8x高性能低成本DB服務器每個服務器包括2x4核Xeons 72GBRAMInfiniBand網絡每路40Gb sec的高可用網絡 高擴展 高可靠 OLTP 智能存儲 架構優(yōu)勢 主要指標 Exadata數據庫一體機 Exadata智能存儲服務器網格21GB sec磁盤數據掃描50GB sec內存數據掃描1百萬 隨機I Os sec 8KDB塊 數據庫服務器網格幾百萬級事務處理能力 每分鐘幾千萬級查詢能力 每分鐘幾十億級記錄掃描能力 每分鐘InfiniBand網絡880Gb sec累計IO帶寬 ExtremePerformance超級性能 高擴展 高可靠 OLTP 智能存儲 架構優(yōu)勢 主要指標 Exadata產品能力 1 Rawcapacitycalculatedusing1GB 1000 x1000 x1000bytesand1TB 1000 x1000 x1000 x1000bytes 2 UserData Actualspaceforend userdata computedaftersinglemirroring ASMnormalredundancy andafterallowingspacefordatabasestructuressuchastemp logs undo andindexes Actualuserdatacapacityvariesbyapplication UserDatacapacitycalculatedusing1TB 1024 1024 1024 1024bytes Ref 高擴展 高可靠 OLTP 智能存儲 架構優(yōu)勢 主要指標 Exadata存儲服務器硬件構成 做為MPP網格的單元部件 每個2U單元提供高達1 5GB sec原始數據帶寬 withDisk 高達75 000IOPS withFlash 高達3 6GB sec原始數據帶寬 withFlash 智能存儲服務器構成2x4核Xeon E5540處理器 Nehalem架構 24GBRAM雙口4xQDR 40Gb s InfiniBand接口卡磁盤選項12x600GBSAS盤 合計7 2TB 12x2TBSATA盤 合計24TB 4x96GBSunFlashPCIeCards 合計384GB 軟件預裝OracleExadata智能存儲服務器軟件OracleEnterpriseLinuxDrivers Utilities來源于Oralce的統(tǒng)一支持服務3year 24x7 4HrOn siteresponse 高擴展 高可靠 OLTP 智能存儲 架構優(yōu)勢 主要指標 ExadataSmartStorage智能存儲服務器突破數據處理帶寬瓶頸及隨機IO瓶頸 Exadata以三種途徑解決數據處理帶寬瓶頸大規(guī)模智能存儲網格并發(fā)計算MPP數據處理帶寬與數據量成正比存儲層負責數據密集型處理SmartScan數據庫SQL負荷被分布到存儲層實現 利用大量存在的存儲層CPU處理本存儲節(jié)點內的數據混合型列壓縮HCC 數據量降低10倍以上HCC在降低存儲成本的同時 增加了查詢性能通過ExadataSmartFlashCache解決隨機IO瓶頸隨機I Os速度提升20倍以上 ExadataStorageCells 高擴展 高可靠 OLTP 架構優(yōu)勢 主要指標 智能存儲 Exadata的存儲端數據庫處理邏輯 ExadataStorageServer在存儲端進行數據密集型處理智能掃描SmartScanROW使用 where 謂詞篩選行COLUMN列篩選JOIN聯(lián)接篩選增量備份篩選混合型列壓縮技術自動透明的存儲索引掃描加密數據通常可將發(fā)送到數據庫服務器的數據減少10倍無需更改應用程序處理是自動和透明的即使在查詢期間單元或磁盤發(fā)生故障 高擴展 高可靠 OLTP 架構優(yōu)勢 主要指標 智能存儲 傳統(tǒng)數據庫掃描處理技術 基于傳統(tǒng)存儲技術 全部的數據庫智能存在于數據庫主機 來源于存儲的數據大部分被數據庫主機所丟棄 大量的廢棄數據占用了寶貴的數據庫主機資源 IO 內存和CPU 嚴重影響其它任務執(zhí)行 處理緩慢 I Os執(zhí)行 返回1TB數據 DB主機篩選1TB數據 得到1000行客戶要求的數據 計算并返回給客戶端 返回數據行 SELECTcustomer nameFROMcallsWHEREamount 200 DB主機確定表的存儲分區(qū) 發(fā)起I Os請求 高擴展 高可靠 OLTP 架構優(yōu)勢 主要指標 智能存儲 Oracle數據庫網格 SmartScan處理技術Exadata為什么快10 100 x倍 問題 昨天的銷售業(yè)績如何 Exadata智能存儲層 SUM Selectsum sales whereDate 24 Sept SmartScan在TB級數據中掃描匹配請求的數據 構建并發(fā)SmartScan請求 僅僅返回滿足條件的數據 高擴展 高可靠 OLTP 架構優(yōu)勢 主要指標 智能存儲 Exadata混合列壓縮 數據按列存儲 然后壓縮針對數據倉庫的查詢模式 為提高速度進行了優(yōu)化 通常壓縮比可達10倍 掃描成比例增長針對不常訪問數據的歸檔模式 為減小空間進行了優(yōu)化 通?？蛇_15倍壓縮 對某些數據可達50倍壓縮 高擴展 高可靠 OLTP 架構優(yōu)勢 主要指標 智能存儲 壓縮的行 混合列 CompressionUnit1 Column1 Column2 Column3 CompressionUnit2 很好的隨機行訪問特性非常好的TableScan5x 40 x壓縮 行壓縮vs列數據庫vs混合列壓縮 高擴展 高可靠 OLTP 架構優(yōu)勢 主要指標 智能存儲 實際環(huán)境壓縮比OracleProductionE BusinessSuiteTables 壓縮比率 Query 14 6XArchive 22 6XVarybyapplicationandtable 52 高擴展 高可靠 OLTP 架構優(yōu)勢 主要指標 智能存儲 Exadata存儲索引無需任何開銷即可透明地消除I O Exadata存儲索引在內存中保存表數據的匯總信息存儲列的MIN和MAX值通常每MB磁盤空間建立一個索引項如果MIN和MAX值不匹配查詢的 where 子句 則不訪問磁盤I O完全地自動化和透明 MinB 1MaxB 5 Table Index MinB 3MaxB 8 Select fromTablewhereB 2 僅第一組記錄匹配 高擴展 高可靠 OLTP 架構優(yōu)勢 主要指標 智能存儲 Exadata存儲索引示例表SALES 對常用列自動收集的摘要存儲在ExadataStorageServer的內存 高擴展 高可靠 OLTP 架構優(yōu)勢 主要指標 智能存儲 Exadata存儲索引示例表SALES 存儲索引將無關datachunk忽略掉提供類似分區(qū)修剪的功能NetezzareliesuponZoneMaps WHEREship datebetween 01 SEP 2009 and 31 SEP 2009 排除datachunk 2 x 高擴展 高可靠 OLTP 架構優(yōu)勢 主要指標 智能存儲 對大型掃描的優(yōu)化 1TB 壓縮 10TB的用戶數據需要10TB的IO 100GB 分區(qū)修剪 20GB 存儲索引 5GB 智能掃描 在DatabaseMachine上實現亞秒級 數據減少10倍 掃描加快2000倍 高擴展 高可靠 OLTP 架構優(yōu)勢 主要指標 智能存儲 OLTP應用特點與傳統(tǒng)存儲的局限性 OLTP注重數據的計算 記錄的插入 刪除與修改 以及簡單的查詢和統(tǒng)計 它的主要任務是進行事務處理 所關注的是事務處理的及時性 完整性和正確性 衡量OLTP性能主要看TPS和響應時間影響OLTP性能的主要是存儲系統(tǒng)的IOPS性能傳統(tǒng)高端存儲架構的特點導致IOPS性能的不足 典型高端陣列只能達到100k IOPS 數據庫與存儲之間互不了解 無法進行智能優(yōu)化處理 高擴展 高可靠 架構優(yōu)勢 主要指標 智能存儲 OLTP 解決磁盤隨機I O瓶頸 磁盤可存儲大量數據但每秒的隨機I O 200 300I Os 8K塊 Flash閃存技術可存儲少量數據 但遠大于DRAM 但卻能提供每秒幾萬級的I O理想解決方案 兩者結合保存大容量數據于磁盤保存大比例常用數據于閃存 5 10 在磁盤和flash間透明傳遞數據采用flashcards 而非閃存Disk避免控制器瓶頸在智能存儲服務器中部署Flashcards高帶寬 低延時數據庫邏輯感知 300I OperSec TensofThousandsofI O sperSecond 高擴展 高可靠 架構優(yōu)勢 主要指標 智能存儲 OLTP ExadataFlash閃存提供隨機I O的超級性能 數據庫一體機提供總計5TB的閃存每智能存儲服務器配置4塊高速閃存卡SmartFlashCache緩存熱數據 但不是采用簡單的LRU算法 庫邏輯感知基于數據庫數據使用邏輯 知道那些數據應該緩存 那些不應該緩存允許基于應用表進行指定優(yōu)化 如提示高優(yōu)先級駐留于緩存 OracleistheFirstFlashOptimizedDatabase 高擴展 高可靠 架構優(yōu)勢 主要指標 智能存儲 OLTP ExadataSmartFlashCache超級性能表現 DatabaseMachine可實現 20 倍隨機I Os 75Kvs 3 6Kpercell 超過1百萬I OsperSec2 倍大數據量順序I O 50GB svs 21GB s 50GB sec10倍更快的響應時間 1ms極大地降低成本10倍更少的磁盤I O需求更低的功耗 隨機I Os速度比1000塊盤的企業(yè)級陣列 200KIOPS 快5倍 高擴展 高可靠 架構優(yōu)勢 主要指標 智能存儲 OLTP 內存中并行執(zhí)行 SQL語句 確定所查詢表的大小 高擴展 高可靠 架構優(yōu)勢 主要指標 智能存儲 OLTP 內存中并行執(zhí)行 數據庫11 2版引入了對內存緩存 DRAMcached 數據的并行查詢處理 利用整個數據庫集群的內存容量進行查詢 1TBTPC H世界紀錄的基礎一個SunOracleDatabaseMachine機架可用DRAM400GB進行緩存Exadata混合列存儲可使4TBdatainDRAM QphH 1TBTPC H 比專用內存數據倉庫更快 DRAM比磁盤有100 x帶寬 高擴展 高可靠 架構優(yōu)勢 主要指標 智能存儲 OLTP ExadataOLTP 與傳統(tǒng)SMP架構對比 2架冗余ExadataV2 1xP595 IBM最快的單機SMP 8xIBMDS8300Turbo 10 7M 2 3M 相似的DB服務器性能相似的I O能力BothwithFlash相似的存儲容量 高擴展 高可靠 架構優(yōu)勢 主要指標 智能存儲 OLTP 避免磁盤或Cell的單點故障ASMMirroringandFailureGroups ASMmirroringisusedprotectagainstdiskfailuresASMfailuregroupsareusedtoprotectagainstcellfailures ExadataCell ExadataCell ASMDiskGroup 高擴展 架構優(yōu)勢 主要指標 智能存儲 OLTP 高可靠 線性擴展性及高可用性 擴展性Scalable通過增加連線即可實現8個標準架線性擴展更大的擴展需要額外的外部InfiniBand交換機可線性擴展到幾百個存儲服務器若干PB級數據庫 高可用性RedundantandFaultTolerant可抵御任何單元的故障跨存儲單元的數據鏡像 高可靠 高性能 智能存儲 架構優(yōu)勢 高擴展 主要指標 無限的擴展能力 ScaleUpandScaleOut SASrawcapacityperrack 100TBSATArawcapacityperrack 336TBPeakthroughputperrack 18GB s Scaleto14cellsinonerack Addrackstoscalefurther Eachcellconnectsto2InfiniBandswitchesforRedundancyThisdelivers4xthebandwidth InfiniBandlinksacrossracksforfullconnectivity 高可靠 高性能 智能存儲 架構優(yōu)勢 高擴展 主要指標 GiantEagle5TB零售數據倉庫 1 2ExadataDB主機 13IBMP570CPUs EMCCLARiiON和DMX存儲陣列 現存系統(tǒng) 平均16倍的性能提升 2008OracleCorporation ProprietaryandConfidential 32 GiantEagleExadata加速詳情3倍到50倍的性能提升 16xAverageSpeedup Oracle s財務數據倉庫平均30倍的性能提升 337個查詢 小時 HPOracleDatabaseMachine 10 7個查詢 小時 Netapp存儲陣列