XXX門戶網(wǎng)站性能測試報告.doc

《XXX門戶網(wǎng)站性能測試報告.doc》由會員分享，可在線閱讀，更多相關(guān)《XXX門戶網(wǎng)站性能測試報告.doc（27頁珍藏版）》請在裝配圖網(wǎng)上搜索。

XXX門戶網(wǎng)站性能測試報告  目錄 第一章 概述 4 第二章 測試活動 4 2.1測試用具 4 2.2測試范圍 4 2.3測試目標 5 2.4測試方法 5 2.4.1基準測試 5 2.4.2并發(fā)測試 6 2.4.3穩(wěn)定性測試 6 2.5性能指標 6 2.6性能測試流程 6 第三章 性能測試環(huán)境 7 3.1服務(wù)器環(huán)境 7 3.2客戶端環(huán)境 8 3.3網(wǎng)絡(luò)結(jié)構(gòu) 9 第四章 測試方案 9 4.1基準測試 9 4.2并發(fā)測試 11 4.3穩(wěn)定性測試 13 第五章 測試結(jié)果描述 14 5.1性能測試觀察指標 14 5.2性能測試通過指標 15 用戶體驗性能 15 5.3測試結(jié)果 15 第六章 測試報告系統(tǒng)測試公范圍：基準測試階段，并發(fā)測試階段， 穩(wěn)定性測試，浪涌式測試。 15 6.1基準測試性能分析 16 6.2并發(fā)測試性能分析 21 6.3穩(wěn)定性性能測試分析 24  摘要 本文檔主要描述XXXX門戶網(wǎng)站檢索和頁面瀏覽性能測試中的測試內(nèi)容、測試方法、測試策略等。 修改歷史 日期 版本 作者 修改內(nèi)容 評審號 更改請求號 2016-01-14 1.0 測試組 新建。 性能測試 2016-01-14 1.0 測試組 修改 性能測試回歸 2016-01-14 1.0 測試組 更新 注釋：評審號為評審記錄表的編號。更改請求號為文檔更改控制工具自動生成的編號。  第一章 概述 由于當前對系統(tǒng)要接受業(yè)務(wù)量的沖擊，面臨的系統(tǒng)穩(wěn)定、成熟性方面的壓力。系統(tǒng)的性能問題必將成為焦點問題，海量數(shù)據(jù)量的“沖擊”，系統(tǒng)能穩(wěn)定在什么樣的性能水平，面臨業(yè)務(wù)增加時，系統(tǒng)抗壓如何等這些問題需要通過一個較為真實的性能模擬測試來給出答案，通過測試和分析為系統(tǒng)性能的提升提供一些重要參考數(shù)據(jù)，以供后期系統(tǒng)在軟硬件方面的改善和完善。 本《性能測試報告》即是基于上述考慮，參考當前的一些性能測試方法而編寫的，用以指導即將進行的該系統(tǒng)性能測試。 第二章 測試活動 2.1測試用具 本次性能測試主要采用HP公司的Loadrunner11作為性能測試工具。Load runner主要提供了3個性能測試組件：Virtual User Generator, Controller,Analysis。 l 使用Virtual User Generator修改和優(yōu)化腳本。 l 使用Controller進行管理，控制并發(fā)的模擬并發(fā)數(shù)，記錄測試結(jié)果。 l 使用Analysis進行統(tǒng)計和分析結(jié)果。 2.2測試范圍 此次性能測試實施是對xxxxxx門戶網(wǎng)站系統(tǒng)性能進行測試評估的過程，我們將依據(jù)系統(tǒng)將來的實際運行現(xiàn)狀，結(jié)合系統(tǒng)的設(shè)計目標和業(yè)務(wù)特點，遵循著發(fā)生頻率高、對系統(tǒng)或數(shù)據(jù)庫性能影響大、關(guān)鍵和核心業(yè)務(wù)等原則選取需要進行測試的業(yè)務(wù)，模擬最終用戶的操作行為，構(gòu)建一個與生產(chǎn)環(huán)境相近的壓力場景，對系統(tǒng)實施壓力測試，以此評判系統(tǒng)的實際性能表現(xiàn)。 根據(jù)與相關(guān)設(shè)計，開發(fā)人員的溝通和交流，本次測試主要就是針對大量用戶在使用XXX門戶網(wǎng)站進行信息查詢，而選取的典型事務(wù)就是用戶使用檢索進行關(guān)鍵字搜索以及界面瀏覽和反饋回搜索結(jié)果，這是用戶使用最頻繁，反應最多的地方，也是本系統(tǒng)當前以及以后業(yè)務(wù)的一個重要壓力點所在。所以本次測試只選取檢索業(yè)務(wù)的性能情況和界面瀏覽進行記錄和分析。 2.3測試目標 本次測試是針對XXXX網(wǎng)站檢索和頁面瀏覽在迎接大業(yè)務(wù)量的壓力下而進行的，主要需要獲得如下的測試指標。 1、系統(tǒng)的穩(wěn)定負載能力：即在正常的響應時間中，系統(tǒng)能夠支持的最多的客戶端的數(shù)量，例如：找到用戶可容忍的基本響應時間為5秒時，系統(tǒng)的支持用戶數(shù)。 2、系統(tǒng)的極限負載能力：即在某個較長的響應時間，客戶主觀上已無法容忍的情況下，系統(tǒng)能夠支持的最多的客戶端的數(shù)量。 3、系統(tǒng)的無故障運行時間：即在得出系統(tǒng)的最合理的響應時間和支持響應的客戶端數(shù)量該前提下，無故障運行時間，暫定8--12小時。 2.4測試方法 總體方法：使用美科利公司（Mercury）的性能測試軟件Load Runner，對現(xiàn)行的系統(tǒng)檢索，頁面預覽進行腳本錄制、測試回放、逐步加壓和跟蹤記錄。測試過程中，由Load Runner的管理平臺調(diào)用各臺測試前臺，發(fā)起檢索查詢請求，并跟蹤記錄服務(wù)器端的運行情況和返回給客戶端的運行結(jié)果。 此次性能測試在http://www.xxxxxx進行，環(huán)境在服務(wù)器軟件、硬件上與生產(chǎn)環(huán)境保持一致，數(shù)據(jù)庫結(jié)構(gòu)和真實環(huán)境數(shù)據(jù)庫結(jié)構(gòu)一致，只是在網(wǎng)絡(luò)帶寬上有一定的區(qū)別，實際外網(wǎng)帶寬會有所不足。 本次將進行基準測試，并發(fā)數(shù)測試，穩(wěn)定性測試3種類型測試，并對主要測試指標進行記錄和分析。 2.4.1基準測試 基準測試在系統(tǒng)無壓力（外界環(huán)境，服務(wù)器無額外服務(wù)運行，無額外監(jiān)控進程運行）的情況下，取得各項事務(wù)和業(yè)務(wù)的系統(tǒng)并發(fā)用戶數(shù)和平均響應時間作為分析衡量標準，用于初步診斷系統(tǒng)是否存在性能瓶頸。 2.4.2并發(fā)測試 沒有明確的系統(tǒng)性能指標前提下，用Load runner模擬多用戶同時向服務(wù)器發(fā)起交易請求，運行過程中每個用戶沒有思考時間（Think Time）的情況下持續(xù)提交交易請求，向系統(tǒng)施加壓力。 2.4.3穩(wěn)定性測試 重點測試支付系統(tǒng)在業(yè)務(wù)高峰期壓力下運行的穩(wěn)定性。 2.5性能指標 在本次性能測試，由于沒有具體和明確的性能指標，所以各類測試指標包括測試中應該達到的某些性能指標和相關(guān)服務(wù)器的性能指標，都應該受到以下三個基本條件的約束。 業(yè)務(wù)執(zhí)行的平均響應時間（期望值：<= 5s） CPU利用率小于75% 內(nèi)存Paging rate狀態(tài)未持續(xù)處于高位運行 2.6性能測試流程 通過自動化測試工具模擬最終用戶向服務(wù)器發(fā)起業(yè)務(wù)請求，進行性能測試。通過測試工具對測試過程中系統(tǒng)各點進行監(jiān)控，每一次測試結(jié)束后工具自動生成結(jié)果報告供分析使用。 2.7測試術(shù)語 1) 系統(tǒng)的響應時間：即在各種負載壓力情況下，系統(tǒng)的響應時間，也就是從客戶端交易發(fā)起，到服務(wù)器端交易應答返回所需要的時間，包括網(wǎng)絡(luò)傳輸時間和服務(wù)器處理時間。 2) 應用系統(tǒng)的吞吐量：即應用系統(tǒng)在單位時間內(nèi)完成的交易量，也就是在單位時間內(nèi)，應用系統(tǒng)針對不同的負載壓力，所能完成的交易數(shù)量。 3) 應用系統(tǒng)的負載能力：即系統(tǒng)所能容忍的最大用戶數(shù)量，也就是在正常的響應時間中，系統(tǒng)能夠支持的最多的客戶端的數(shù)量。 4) 縮略語：Vuser，Transaction，TPS Vuser虛擬用戶Virtual user,模擬真實業(yè)務(wù)邏輯步驟的虛擬用戶,虛擬用戶模擬的操作步驟都被記錄在虛擬用戶腳本里。Vuser 腳本用于描述 Vuser 在場景中執(zhí)行的操作。 Transaction事務(wù) 事務(wù)是性能測試腳本的一個重要特性。要度量服務(wù)器的性能,需要定義事務(wù),每個事務(wù)都包含事務(wù)開始和事務(wù)結(jié)束標記。事務(wù)用來衡量腳本中一行代碼或多行代碼的執(zhí)行所耗費的時間.可以將事務(wù)開始放置在腳本中某行或者多行代碼的前面,將事務(wù)結(jié)束放置在該行或者多行代碼的后面,在該腳本的虛擬用戶運行時,這個事務(wù)將衡量該行或者多行代碼的執(zhí)行花費了多長時間。 TPS每秒事務(wù)數(shù)(Transaction Per Second) 每秒鐘系統(tǒng)能夠處理的交易或事務(wù)的數(shù)量,它是衡量系統(tǒng)處理能力的重要指標。TPS 是 Load Runner 中重要的性能參數(shù)指標。 第三章 性能測試環(huán)境 3.1服務(wù)器環(huán)境 數(shù)據(jù)庫服務(wù)器： 服務(wù)器型號：IBM CPU： 8核Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.60GHz 內(nèi)存：32GB 系統(tǒng)盤：云磁盤 數(shù)據(jù)盤：云磁盤 操作系統(tǒng)： 應用軟件： 3.2客戶端環(huán)境 資源 描述 數(shù)量 Load runner 11 主要性能測試工具 1 Office 2007 用于記錄測試數(shù)據(jù) 2 Windows XP SP3,Windows7 測試客戶端系統(tǒng) 1 IE10，F(xiàn)irefox及其組件 測試客戶端應用軟件 1 PC 測試計算機 2 3.3網(wǎng)絡(luò)結(jié)構(gòu) 網(wǎng)絡(luò)拓撲和結(jié)構(gòu)圖如下： 第四章 測試方案 本次性能測試主要模擬測試的事務(wù)：用戶信息瀏覽檢索 用戶提交查詢關(guān)鍵字數(shù)據(jù)到后臺，系統(tǒng)收到查詢請求并檢索、返回結(jié)果數(shù)據(jù)； l 性能測試觀察指標： 　　Bs結(jié)構(gòu)程序一般會關(guān)注的通用指標如下： 　　Web服務(wù)器指標指標： 　　* Avg Rps: 平均每秒鐘響應次數(shù)=總請求時間 / 秒數(shù)； 　　* Successful Rounds：成功的請求； 　　* Failed Rounds ：失敗的請求； 　　* Successful Hits ：成功的點擊次數(shù)； 　　* Failed Hits ：失敗的點擊次數(shù)； 　　* Hits Per Second ：每秒點擊次數(shù)； 　　* Successful Hits Per Second ：每秒成功的點擊次數(shù)； 　　* Failed Hits Per Second ：每秒失敗的點擊次數(shù)； 　　* Attempted Connections ：嘗試鏈接數(shù)； l 執(zhí)行每個場景時記錄以下相應的數(shù)據(jù)： 業(yè)務(wù)執(zhí)行的平均響應時間 每秒事務(wù)數(shù) 運行的并發(fā)用戶數(shù)目 網(wǎng)絡(luò)吞吐量 4.1基準測試 場景：（歷史數(shù)據(jù)有1000條以上） 1. 使用Load runner模擬50用戶請求交易，每個用戶沒有時間間隔（Think Time）的情況下反復提交交易并返回結(jié)果，直到全部執(zhí)行退出系統(tǒng)。記錄平均事務(wù)響應時間，每秒事務(wù)數(shù)，吞吐量。 2. 記并發(fā)數(shù)改為100，同時加壓，同時結(jié)束壓力，重復上述測試步驟。 3. 并發(fā)數(shù)改為200，重復上述測試步驟。 4. 當響應時間大于期望時間，或者服務(wù)器指標超過預訂設(shè)置時將停止測試。 備注：以上測試均進行3次，來保證測試結(jié)果的有效性和準確性。 4.2并發(fā)測試 場景：（歷史數(shù)據(jù)有1000條以上） 1. 使用Loadrunner模擬50用戶請求交易，每個用戶沒有時間間隔（ThinkTime）的情況下反復提交交易并返回結(jié)果，持續(xù)時間分別為10分鐘， 15分鐘，20分鐘，記錄平均事務(wù)響應時間，每秒事務(wù)數(shù)，吞吐量。 2. 記并發(fā)數(shù)改為100重復上述測試步驟。 3. 并發(fā)數(shù)改為200，重復上述測試步驟。 4. 當響應時間大于期望時間，或者服務(wù)器指標超過預期設(shè)置時將停止測試。 備注：以上測試均進行3次，來保證測試結(jié)果的有效性和準確性。 3次執(zhí)行時間分別為10分鐘，15分鐘，20分鐘。 4.3穩(wěn)定性測試 測試方法：采用業(yè)務(wù)中合理、適度的用戶使用場景，對系統(tǒng)進行時間為8--12 小時的穩(wěn)定性測試。記錄每次服務(wù)的平均響應時間，交易的正確率，考察服務(wù)器是否宕機，交易正確率小于95%等情況。 穩(wěn)定性測試的用例如下： 場景：（歷史數(shù)據(jù)有1000條以上） 1. 使用Loadrunner模擬200個并發(fā)用戶請求交易，每個用戶有一定時間間隔（ThinkTime）1秒的情況下反復點擊頁面和信息檢索并返回結(jié)果，持續(xù)執(zhí)行8--12小時（2016-1-14-20:30---2016-1-15-8:30）共計69688）每秒5次以上的點擊和檢索，記錄平均事務(wù)響應時間，每秒事務(wù)數(shù)，吞吐量。觀察軟件的穩(wěn)定性以及各種性能指標的劣化趨勢，要有效防止資源泄露。 2. 當服務(wù)器出現(xiàn)資源泄露或者系統(tǒng)的資源耗盡等情況，交易正確率小于95%，停止測試。 第五章 測試結(jié)果描述和分析 6.1基準測試性能分析 設(shè)計50、100、200個用戶并發(fā)，沒有持續(xù)加壓時間，直至執(zhí)行完成。獲取系統(tǒng)的各種表現(xiàn)。 50個用戶的測試信息統(tǒng)計： 100個用戶的測試信息統(tǒng)計： 200個用戶的測試信息統(tǒng)計： 1、 事務(wù)平均響應時間 序號 單項事務(wù) 用戶數(shù)響應時間（s） 備注 50 100 200 總流程時間 5.643 5.777 8.594 50個用戶的響應時間： 100個用戶的響應時間： 200個用戶的響應時間： 從以上圖中可以看出，服務(wù)器在50，100個并發(fā)的情況下所有事務(wù)都保持在5s左右，但稍微高于5s，應該有一定的上升空間。最大的問題在于并發(fā)數(shù)200后，處理時間已經(jīng)在5s以上，達到8s。建議：優(yōu)化請求響應模塊以及檢索應用模塊，減少響應時間。 2、 TPS （事務(wù)數(shù)/秒） 50個用戶的每秒事務(wù)數(shù)： 100個用戶的每秒事務(wù)數(shù)： 200個用戶的每秒事務(wù)數(shù)： 從以上每個圖中看到TPS達到峰值1后開始有下降的趨勢，基本上均在1個事物以下，這個數(shù)據(jù)并不理想，我們服務(wù)器的性能還沒有充分發(fā)揮，現(xiàn)有硬件條件下還可以在單位時間內(nèi)處理更多的事務(wù)數(shù)，建議在下一階段進行優(yōu)化提升?；蛘呤蔷W(wǎng)絡(luò)不佳的情況導致該情況的出現(xiàn)。 3、 吞吐量 并發(fā)數(shù) Total Throughput (bytes) Average Throughput (bytes/second) 50 128,707,404 347,858 100 257,386,009 993,768 200 514,838,226 2,394,596 50個用戶的吞吐量： 100個用戶的吞吐量： 200個用戶的吞吐量： 從圖中可以看出總吞吐量隨著用戶的增加成正比的，數(shù)據(jù)交換正常。但是，在對網(wǎng)絡(luò)帶寬，系統(tǒng)架構(gòu)，硬件資源的合理分配后應該能發(fā)揮系統(tǒng)的更大處理能力。 6.2并發(fā)測試性能分析 設(shè)計50、100、200個用戶并發(fā)，分別持續(xù)10分鐘，15分鐘，20分鐘，獲取系統(tǒng)的各種表現(xiàn)。 50個用戶并發(fā)的測試統(tǒng)計信息（以10分鐘為例）： 100個用戶并發(fā)的測試統(tǒng)計信息（以10分鐘為例）： 200個用戶并發(fā)的測試統(tǒng)計信息（以10分鐘為例）： 1、 平均事務(wù)響應時間 測試用例 響應時間(單位：秒) 并發(fā)50持續(xù)5分鐘 14.009 并發(fā)50持續(xù)10分鐘 15.31 并發(fā)50持續(xù)15分鐘 11.178 并發(fā)100持續(xù)5分鐘 16.318 并發(fā)100持續(xù)10分鐘 14.143 并發(fā)100持續(xù)15分鐘 15.675 并發(fā)200持續(xù)5分鐘 24.859 并發(fā)200持續(xù)10分鐘 24.997 并發(fā)200持續(xù)15分鐘 26.349 50個并發(fā)（以10分鐘為例）： 100個并發(fā)（以10分鐘為例）： 200個并發(fā)（以10分鐘為例）： 從圖中看出，并發(fā)用戶數(shù)同時進行5分鐘，響應時間就已經(jīng)在10s以上了，隨著并發(fā)用戶數(shù)和持續(xù)時間的增加，響應時間變得越來越長，當200個并發(fā)的時候已經(jīng)超過20秒，已經(jīng)相對較慢，但是這只是實驗室理論測試數(shù)據(jù)，在實際生產(chǎn)環(huán)境中過高的并發(fā)數(shù)和過長的持續(xù)壓力時間這種極端情況很少。但是并發(fā)持續(xù)了5分鐘這種情況下，我們的響應時間還是應該可以控制在5秒以內(nèi)，使我們系統(tǒng)在較大的業(yè)務(wù)量的情況下可以提供較為滿意的用戶體驗。導致這樣的一種情況主要來自于網(wǎng)絡(luò)不佳造成（該問題并不是由于服務(wù)器端的網(wǎng)絡(luò)不良，而是來自用戶端的網(wǎng)絡(luò)不佳導致） 2、 TPS（事務(wù)數(shù)/秒）（以10分鐘為例） 測試用例 TPS 并發(fā)50持續(xù)10分鐘 3.086 并發(fā)100持續(xù)10分鐘 6.260 并發(fā)200持續(xù)10分鐘 7.184 50個并發(fā)（以10分鐘為例）： 100個并發(fā)（以10分鐘為例）： 200個并發(fā)（以10分鐘為例）： TPS數(shù)值并不理想，它反映了服務(wù)器處理能力一般，沒有充分發(fā)揮應用服務(wù)器的事務(wù)處理能力。建議：在下一個階段需要優(yōu)化。但是這個原因可能是由于網(wǎng)絡(luò)帶寬、前置接入系統(tǒng)處理能力較小，比如：連接數(shù)有所限制，所以最后到達核心應用服務(wù)器事務(wù)數(shù)較小，連鎖導致最終事務(wù)處理能力上不去。 3、 吞吐量（以10分鐘為例） 測試用例 Total Throughput (bytes) Average Throughput (bytes/second) 并發(fā)50持續(xù)10分鐘 3,628,897,747 5,416,265 并發(fā)100持續(xù)10分鐘 7,096,275,509 10,008,851 并發(fā)200持續(xù)10分鐘 8,262,379,069 11,120,295 50個并發(fā)（以10分鐘為例）： 100個并發(fā)（以10分鐘為例）： 200個并發(fā)（以10分鐘為例）： 在運行相同時間的前提條件下，隨著用戶翻倍的增加吞吐量沒有明顯增加。初步懷疑：網(wǎng)絡(luò)帶寬的限制，或者是前置接入系統(tǒng)的處理能力問題，請求并沒有發(fā)送到核心應用服務(wù)器端去及時處理。 6.3穩(wěn)定性性能測試分析 本次測試使用Loadrunner模擬200用戶請求交易，每個用戶沒有時間間隔（ThinkTime）的情況下反復提交交易并返回結(jié)果，持續(xù)執(zhí)行8--12小時。 1、 事務(wù)平均響應時間 總流程 響應時間 8.529 本次穩(wěn)定性測試各個服務(wù)器沒有出現(xiàn)宕機的情況，交易的正確率為99.99%。但是響應時間稍稍有點長了些，可以有進一步調(diào)優(yōu)的空間，一般控制在5s以下為佳（導致響應時間較長主要來自于用戶端網(wǎng)絡(luò)不佳的情況導致并非服務(wù)器端的網(wǎng)絡(luò)不佳）。 第六章 測試結(jié)論 對于最終用戶來說，最關(guān)心的是用戶操作的響應時間。 基于基準測試：用戶在50，100，200個逐步進行檢索業(yè)務(wù)下，用戶響應時間控制在5秒左右，是用戶可以接受的程度。 基于并發(fā)測試：雖然50，100乃至200個并發(fā)響應時間在6--8秒左右，但是這是理論實驗室數(shù)據(jù)，經(jīng)過逐步排查導致這種情況的出來來自于用戶端網(wǎng)絡(luò)不佳導致，并非服務(wù)器端網(wǎng)絡(luò)不佳 基于穩(wěn)定性測試：200個并發(fā)用戶8--12小時長時間進行檢索查詢業(yè)務(wù)，時間均等在6--8秒左右，說明在實際使用過程中，在沒有200個并發(fā)用戶，系統(tǒng)資源不會大量長期占用的前提下，系統(tǒng)響應時間是完全可以在5秒左右的。 綜上所述：本系統(tǒng)在實際使用過程中能基夠滿足用戶的使用，出現(xiàn)個別錯誤和響應較慢主要來自用戶端網(wǎng)絡(luò)不佳（非服務(wù)器端）導致。