軟件測試經(jīng)驗(yàn)分享

,Title Holder,First bullet sentence case,Second bullet sentence case,Third Bullet,Fourth bullet,Page,*,軟件測試經(jīng)驗(yàn)分享,doris,.,1.,上份工作的概述,我,2012,年畢業(yè)開始一直是從事測試工作，對于測試的理解 就是保證產(chǎn)品的質(zhì)量，按時交付產(chǎn)品。,上一份工作的主要內(nèi)容是測試一個數(shù)據(jù)卡 和,App,。上網(wǎng)卡它主要是一個,usb dongle,。和我們的,U,盤形狀有點(diǎn)類似 如下圖，使用,USB,作為總線接口，同時也設(shè)計(jì)有一個保護(hù),USB,的專用蓋帽。它有自動安裝功能，將它插到電腦上會自動彈出一個安裝的光盤，將軟件安裝好以后 就可以使用，它主要用在,Windows,和,Mac,上面。主要的功能就是 撥號上網(wǎng)、發(fā)短信、也有一些輔助的功能如 打電話、搜網(wǎng)、設(shè)置,profile,、流量統(tǒng)計(jì)、在線升級、聲音的設(shè)置等,1.,上份工作的概述,我們的,app,主要是用來控制我們的,Y800,的，,Y800,如下圖，,Y800,設(shè)備里插上,sim,卡然后通過轉(zhuǎn)包轉(zhuǎn)換成,wifi,的形式，相當(dāng)于一個移動,wifi,設(shè)備。最多可以連接,10,個人。,App,的測試環(huán)境包括,Android,和,ios,（,iPhone,和,ipad,），手機(jī)連上,Y800,然后打開,app,可以用來 撥號上網(wǎng)、發(fā)短信、設(shè)置上網(wǎng)時間、設(shè)置使用流量、自動斷開、流量提醒。,2.,學(xué)到的東西,-,負(fù)責(zé)測試一個項(xiàng)目的流程,2.1,開工,2.2,測試組的會議,2.3,寫,Test Plan,2.4,寫測試設(shè)計(jì)和測試用例,2.5,啟動測試,2.6,寫質(zhì)量日報(bào),2.7Test Report,2.8,測試過程中需要注意的點(diǎn),2.,學(xué)到的東西,-,負(fù)責(zé)測試一個項(xiàng)目的流程,2.1,開工,首先是有軟件項(xiàng)目經(jīng)理組織會議討論軟件的需求，參與的人員有開發(fā)測試和,scm,，需求討論完成后分工指派開發(fā)負(fù)責(zé)人和測試負(fù)責(zé)人，并將具體的模塊分給開發(fā)。開發(fā)負(fù)責(zé)人評估開發(fā)時間，確定日期，測試負(fù)責(zé)人評估測試時間，確定日期。作為一名測試人員從這次會議里我們就知道了：,(1),測試需求文檔（開會前軟件項(xiàng)目經(jīng)理也會提前發(fā)給我們）,(2),開發(fā)的參與人員，各自負(fù)責(zé)的模塊，等到測試的時候碰到,bug,可以直接找他們,(3),測試的時間。,2.,學(xué)到的東西,-,負(fù)責(zé)測試一個項(xiàng)目的流程,2.2,測試組的會議,如果這個項(xiàng)目有我作為測試負(fù)責(zé)人，我就要在開工后及時的組織測試組的會議，比如,2013,年,12,月,1,號開工，我們最好也當(dāng)天開個會。主要是討論下測試模塊的分配，要在開發(fā)的這段時間內(nèi)把測試用例寫好。,2.3,寫,Test Plan,開完測試組的會議以后作為測試負(fù)責(zé)人 就要寫個,Test plan,的文檔，文檔的內(nèi)容要包含 編寫的目的、模塊的分配、寫測試設(shè)計(jì)的時間、,Pre-alpha,、,alpha,、,beta,版本的時間節(jié)點(diǎn)、測試資源的申請（如數(shù)據(jù)卡、,sim,卡）、測試環(huán)境、各個版本的發(fā)版準(zhǔn)則 等,2.4,寫測試設(shè)計(jì)和測試用例,根據(jù)開會討論后的分配 每個人負(fù)責(zé)自己的模塊，要寫一下測試設(shè)計(jì) 和測試用例。然后發(fā)出來互相,review,2.,學(xué)到的東西,-,負(fù)責(zé)測試一個項(xiàng)目的流程,2.5,啟動測試,當(dāng)開發(fā)完成大部分功能以后 就要啟動測試 開始,daily build,（每日構(gòu)建）每日構(gòu)建的標(biāo)準(zhǔn)就是這個軟件能夠安裝 重要的功能已經(jīng)實(shí)現(xiàn)。不會,crash,可以跑起來。因?yàn)槲覀兌际怯袝r間點(diǎn)的 所以可以在測試的頭一天把測試郵件給準(zhǔn)備好，新的修改點(diǎn)加到項(xiàng)目管理系統(tǒng)里面（項(xiàng)目管理系統(tǒng)是我們添加項(xiàng)目管理項(xiàng)目和提,bug,的地方）,2.6,寫質(zhì)量日報(bào),開始,daily build,以后我們就開始測試了，作為測試負(fù)責(zé)人要在每天下班前發(fā)送質(zhì)量日報(bào) 給相關(guān)的人。質(zhì)量日報(bào)的內(nèi)容 主要是描述下現(xiàn)在有多少個,P0,、,P1,、,P2,的,bug,，一共的,bug,、今天提交的,bug,已經(jīng)今天,closed,和總共,close bug,以及,bug,的趨勢圖,2.,學(xué)到的東西,-,負(fù)責(zé)測試一個項(xiàng)目的流程,2.7Test Report,當(dāng)一個項(xiàng)目完成了一個里程碑要發(fā)測試報(bào)告，比如說我們完成了,alpha,版本的測試 就要在完成的那天發(fā)下測試報(bào)告，讓大家知道這個進(jìn)度，如果在發(fā)版本的前一天 還有一些,P0,的,bug,沒有解決，要發(fā)郵件提醒開發(fā)。測試報(bào)告主要 包括 軟件的基本信息、修改點(diǎn)的驗(yàn)證。質(zhì)量情況，是否滿足發(fā)版標(biāo)準(zhǔn)、遺留的一些嚴(yán)重問題 和所有,bug,的,bug,列表。,2.8,測試過程中需要注意的點(diǎn),作為測試負(fù)責(zé)人 要經(jīng)常和開發(fā)和軟件項(xiàng)目經(jīng)理溝通，問一下項(xiàng)目進(jìn)展的狀況，有沒有需求變更是自己不知道的，測試的時候碰到一些不概率性的網(wǎng)問題最好保留現(xiàn)場 把開發(fā)叫過來看看。發(fā)郵件的時候要注意檢查下寫的內(nèi)容是否正確 尤其是日期。,3.,學(xué)到的東西,-,測試設(shè)計(jì)和測試用例的編寫,軟件測試中最重要的因素是設(shè)計(jì)和生成有效的測試用例。無論軟件測試進(jìn)行的如何具有創(chuàng)造性、如何完全，也不能保證軟件中不存在任何錯誤在測試的過程中我們依賴的就是我們的測試設(shè)計(jì)和測試用例了。在寫測試用例的時候我們一定要看需求文檔，根據(jù)需求來寫測試用例，由于測試時間的限制我們就要提高測試的效率，可以使用一些有價值的測試方法如 等價類劃分、邊界值。錯誤推斷等。我們當(dāng)時寫測試用例相對簡單些，,dashboard,產(chǎn)品是我們部門一直在做的，所以可以參考以前的一些,case,，然后優(yōu)化下。當(dāng)我們在測試過程中碰到一些新的問題市可以寫把這些,case,加到 我們的測試用例里面，,app,對于我們起步較晚是從,2013,年,8,月左右開始做的，不過功能和,dashboard,有類似的地方，我們就參考以前的測試用例還有上網(wǎng)搜集些資料，如去百度文庫 和,51testing,網(wǎng)站去看下，還有就是互相找些資料分享下去寫測試設(shè)計(jì) 和,case,。,在我的工作中,90%,的是黑盒測試,10%,的是白盒測試。對于黑盒測試，黑盒測試不需要去關(guān)注軟件的整體架構(gòu)及其編碼細(xì)則，只需要通過構(gòu)造一些合理的輸入（操作），來觀察軟件的實(shí)際結(jié)果或現(xiàn)象（輸出），從而判定是否存在問題，需求文檔是黑盒測試的主要依據(jù)。在測試中主要用到的測試方法有 等價類劃分、邊界值分析、因果圖分析、錯誤測試。對于等價類劃分設(shè)計(jì)測試用例主要有兩 個步驟：（,1,）確定等價類（,2,）生成測試用例。舉個例子，一條中文短信可輸入,67,個字，那么它的有效等價類就是,1=X=67,無效等價類就是,X67,，其中,1,和,67,就是邊界值。當(dāng)我們測試的時候,1,和,67,之間的數(shù)字都是等價的，我們可以挑一個測試就可以了。對于邊界值我們要測下,1,和,67,，還要測試下無效的等價類，看看有沒有對他們做限制。,3.,學(xué)到的東西,-,測試設(shè)計(jì)和測試用例的編寫,因果圖是一種形式語音，用自然語言描述的規(guī)格說明可以轉(zhuǎn)換為因果圖。因果圖實(shí)際上是一種數(shù)字邏輯電路，確定其中的因果關(guān)系。舉個例子，比如我選擇,2g manual,搜網(wǎng)，注冊成功后界面上就應(yīng)該顯示,2g,，顯示,3g,就是錯的。還有 比如說我,pin,碼上鎖了，這個時候去發(fā)短信就應(yīng)該是失敗的，如果還能發(fā)送成功就是錯誤的。,錯誤猜測主要是一項(xiàng)依賴 于直覺的非正規(guī)的過程，其基本思想是列舉可能犯得錯誤或錯誤易發(fā)情況。比如我們測試,dashboard,的版本時，有好幾個版本都在,mac,電腦上都會出現(xiàn)安裝后卸載再次安裝失敗的情況，還有,app,測試的時候,set monthly data plan,不生效，或者是發(fā)短信短信列表在,ios,上初始化不出來等問題。對于白盒測試,我主要是測試,Y800,的硬件，我們對于,Y800,的測試是用黑盒和白盒相結(jié)合的測試方法來測的。一開始我們的,app,沒有做好就先用,python,腳本對它測試。測試的時候是在,mac,電腦上，通過,wifi,連接,Y800,，將寫好的腳本放到測試框架里面跑。跑完以后結(jié)果可以直接在框架里面看到。測試的目的是看看那些,API,接口有沒有實(shí)現(xiàn)。這些,API,接口是開發(fā)定義的，是,xml,格式的。一個,api,接口是由,request,和,response,兩部分組成的。里面有一些參數(shù)，,response,里面會有一個判斷返回是否正確的參數(shù),errorcode.,對于一些簡單的,case,我們可以直接看,errorcode,的值來判斷,case,是否跑成功，如果,errorcode=0,則成功，若等于其它值就失敗。我主要負(fù)責(zé)的是短信模塊、較量值以及電池的狀態(tài)，短信的接口有獲得短信列表、發(fā)送短信、獲得短信發(fā)送的狀態(tài)。短信列表里面短信的狀態(tài)、刪除短信、短信的條數(shù)、未讀短信的條數(shù)。,3.,學(xué)到的東西,-,測試設(shè)計(jì)和測試用例的編寫,測試的時候我們一般是有預(yù)設(shè)條件的，就是說我們知道自己的期望結(jié)果，然后如果跑出來的和期望結(jié)果不一致 就說明錯啦。接口和接口之間還有聯(lián)系的我們可以在一個,case,里面調(diào)用其它,case,里面的方法。只要寫的時候按照框架的規(guī)范來就行。比如說我要刪除短信，就首先要獲得短信的列表然后再去刪除。,在測試獲得短信的發(fā)送狀態(tài)的時候也是，發(fā)送的狀態(tài)收,sending,、,failed,、,success,，我們就要先調(diào)用發(fā)短信的接口如下：,對于測試電池電量就要注意它的狀態(tài)是否正確?？偟膩碚f白盒測試也是按照我們的測試用例來寫,case,把他們變成,python,語音，去實(shí)現(xiàn) 用到的方法也是有等價類劃分、邊界值、壓力測試。我覺得白盒測試做壓力測試很好做，但是它測試的比較單一，一般都是一個模塊一個模塊的測試，有些交叉測試的寫起來就比較復(fù)雜。,UI,上面的問題也測試不到。,4.,學(xué)到的東西,-,系統(tǒng)測試概述,4.1,功能測試,4.2,健壯性測試,4.3,矩陣測試,4.4UI,測試,4.5,兼容性測試（,IOT,）,4.6,性能測試,4.7,臨界測試,4.8,可靠性測試,4.,學(xué)到的東西,-,系統(tǒng)測試概述,4.1,功能測試,這是軟件測試工作中最核心和最基本的一項(xiàng)測試，該測試的主要內(nèi)容是檢查軟件是否符合需求定義，并通過構(gòu)造正常的操作來檢查軟件的動作是否正確；在這個測試?yán)?，正確性是最最重要的軟件質(zhì)量要素。,軟件功能按照可見性可以分為兩類：顯性功能和隱性功能。隱性功能就好像是地下黨員，你在共產(chǎn)黨員的花名冊里永遠(yuǎn)找不到他們的名字。,顯性功能：指在菜單里可以看得到的功能,隱性功能：指在菜單里看不到的功能,舉個例子，電話本的顯性功能有增加、編輯、刪除、撥打等，這些功能可以在電話本的菜單里面看得到，姓名列表排序則屬于一個隱性功能，因?yàn)樵陔娫挶镜牟藛卫餂]有這樣一個子菜單，但它卻是一個實(shí)實(shí)在在的功能,在實(shí)際的測試過程中，顯性功能通過菜單遍歷可以很容易地進(jìn)行無遺漏的測試，但是隱性功能卻很容易為我們所忽略！一個有效的解決辦法是去檢查軟件的功能定義列表（,Feature List,），從這個列表里面找出那些隱性的功能。,4.,學(xué)到的東西,-,系統(tǒng)測試概述,4.2,健壯性測試,這項(xiàng)測試主要是檢查軟件對異常操作的容錯能力，異常操作通常要考慮異常輸入操作及異常條件兩個方面,小時候看電影發(fā)現(xiàn)，日本鬼子往往一槍就,over,了，八路軍打一槍頂多流幾滴血，仍然能夠沖鋒陷陣，這說明八路軍的健壯性比日本鬼子的健壯性要強(qiáng),軟件的很多功能的實(shí)現(xiàn)是有很多隱含的條件的，在健壯性測試中，要檢查當(dāng)這些條件不滿足的時候軟件的反應(yīng),我們舉一個,SMS,的例子，當(dāng)我們將一個,3000,條短信的文件放到數(shù)據(jù)卡里面然后重啟,dashboard crash,。,橘生淮南為之橘，橘生淮北為之枳，這說明橘的健壯性太差,4.,學(xué)到的東西,-,系統(tǒng)測試概述,4.3,矩陣測試,矩陣測試是使軟件處于一個特定的狀態(tài)，然后構(gòu)造一個異步事件，檢查當(dāng)這個異步事件發(fā)生時軟件的性能,根據(jù)事件的來源，異步事件可以分為外部事件和內(nèi)部事件,外部事件舉例：,SMS,到達(dá)、來電呼入、非關(guān)機(jī)狀態(tài)拔電池等,內(nèi)部事件舉例：低電告警、自動關(guān)機(jī)等,4.,學(xué)到的東西,