探索性測試及基本用例

 

---

1 測試決策5要素

測試目標(biāo)：所有的重要任務(wù)都完成了，而剩下沒做的事情是比較次要的，我們做到這一點就可以盡早盡可能地降低發(fā)布風(fēng)險。

測試方法：測試是一個不斷抉擇的過程，測試人員必須理解運行測試用例時和分析現(xiàn)有信息所涉及的各種復(fù)雜性。

測試決策5要素：用戶輸入、狀態(tài)、代碼路徑、用戶數(shù)據(jù)、執(zhí)行環(huán)境。

• 用戶輸入
  • 輸入：環(huán)境產(chǎn)生的刺激，該刺激導(dǎo)致被測試的應(yīng)用有所響應(yīng)。主要分原子輸入(輸入一個數(shù)字、按鈕)和抽象輸入（1-25535之間的任何一個原子輸入長度值，類似于等價類劃分）兩類。
  • 考慮各種輸入之間會相互影響：單獨輸入、混合輸入。
  • 輸入值的順序：組合輸入。
  • 核心功能：接收輸入、產(chǎn)生輸出、存儲數(shù)據(jù)、進(jìn)行運算。[正向測試、逆向測試]
  • 錯誤處理程序[error handler]：輸入篩選器、輸入檢查、異常處理代碼。
  • 常規(guī)輸入[字母和數(shù)字]、非常規(guī)輸入[比如輸入ctrl+c、shift+c、esc、ctrl鍵、alt、操作系統(tǒng)的保留字、不同的字符集，本地化的問題]
  • 默認(rèn)輸入[空格、空白、默認(rèn)值]
  • 使用輸出來指導(dǎo)輸入。
• 狀態(tài)：狀態(tài)控件中的一個點，由所有內(nèi)部數(shù)據(jù)結(jié)構(gòu)的取值進(jìn)行決定。
• 代碼路徑：一連串的代碼語句[基于白盒]。
• 用戶數(shù)據(jù)：測試數(shù)據(jù)盡量與上線環(huán)境的數(shù)據(jù)保持一致。
• 執(zhí)行環(huán)境：操作系統(tǒng)、當(dāng)前配置、其他應(yīng)用程序、網(wǎng)絡(luò)拓?fù)洹Ⅱ?qū)動程序、文件系統(tǒng)、網(wǎng)絡(luò)帶寬、性能。

2 缺陷檢測

• 1.自動化測試：通過編寫代碼來測試一個應(yīng)用。（擅長找到的問題：程序崩潰、系統(tǒng)死機、程序掛起、突發(fā)異常、原有能用的功能出現(xiàn)問題）
• 2.手工測試：使用程序的用戶界面，手工輸入數(shù)據(jù)進(jìn)行測試。（缺點:速度慢、沒有規(guī)律、不可反復(fù)使用、發(fā)現(xiàn)問題也不能重視、人員水平?jīng)Q定測試質(zhì)量、使用喜歡的測試用例又缺乏變通）。測試用例的編寫不要太使用細(xì)節(jié)的描述，盡量描述一些用戶使用場景，同時結(jié)合自動化測試工具進(jìn)行使用。
  • 1.需要測試人員編寫代碼。
  • 2.花費太多的時間來開發(fā)測試代碼，而減少了測試項目的時間。
  • 3.自動化測試可以重復(fù)運行。

3 探索性測試

探索性軟件測試模型圖：

3.1 探索性測試的定義

探索性測試：測試學(xué)習(xí)、測試設(shè)計、測試執(zhí)行、測試結(jié)果評估等活動同時進(jìn)行的軟件測試技術(shù)。

• 1.測試學(xué)習(xí)：學(xué)習(xí)任何可以指導(dǎo)測試的知識，可能要學(xué)習(xí)的內(nèi)容包括行業(yè)背景、領(lǐng)域知識、技術(shù)平臺、測試技術(shù)、產(chǎn)品缺陷、項目風(fēng)險等。
• 2.測試設(shè)計：安排測試計劃，擬定測試策略，開發(fā)測試想法，制定測試支持材料。
• 3.測試執(zhí)行 ：執(zhí)行測試并收集結(jié)果。
• 4.測試結(jié)果分析：分析并解讀從測試中學(xué)到的知識，可能的活動包括判定測試是否通過、理解產(chǎn)品實現(xiàn)、發(fā)掘風(fēng)險區(qū)域、評估測試方法是否有效等。

簡單說就是事先不進(jìn)行計劃和設(shè)計的一種特殊類型的測試，由有經(jīng)驗的測試人員根據(jù)實際情況，憑借自身的測試經(jīng)驗和對系統(tǒng)的認(rèn)識來進(jìn)行測試。即完全拋開測試用例，使用定義的比較籠統(tǒng)的測試用例。

探索性測試是一種新的測試思維方式，強調(diào)系統(tǒng)軟件學(xué)習(xí)、測試設(shè)計、測試執(zhí)行的同時進(jìn)行。本質(zhì)上是敏捷，可以很好地應(yīng)用于敏捷項目。

探索性測試目標(biāo)：

• 1.理解應(yīng)用程序如何工作，接口看起來怎樣，實現(xiàn)哪些功能，提供必須信息，給測試人員提供測試切入點。
• 2.展示其全部能力：驗證軟件可以達(dá)到設(shè)計和發(fā)布要求。
• 3.找到缺陷：探索各種軟件的極端情況來發(fā)現(xiàn)潛在的問題，發(fā)現(xiàn)未測過的功能或者包含缺點多的功能。

探索性測試特點：

• 1.在測試過程中不斷學(xué)習(xí)被測系統(tǒng)，在根據(jù)學(xué)習(xí)的內(nèi)容來指導(dǎo)測試，是一循環(huán)過程。
• 2.軟件系統(tǒng)學(xué)習(xí)、測試設(shè)計、測試執(zhí)行同時進(jìn)行。
• 3.探索式測試適用于"敏捷開發(fā)過程"。
• 4.測試人員有可能沒有測試重點。

強調(diào)測試者的主觀能動性，以及測試設(shè)計和測試執(zhí)行的同時性。

3.2 探索性測試方法

探索性測試包含4種方法：自由式探索、基于場景的探索性能測試、基于策略的探索性測試、基于反饋的探索性測試。

3.2.1 探索性測試方法

包含2種方法：局部探索性測試法和全局探索性測試方法。

• 局部探索性測試法：測試人員不需要知道很多信息就可以完成測試任務(wù)，重點：測試經(jīng)驗、專業(yè)知識、軟件在操作環(huán)境下如何構(gòu)建和運行的知識結(jié)合在一起，使我們在測試過程中做出正確的決定。
  • 針對測試對象的局部內(nèi)容進(jìn)行測試的策略，例如一個頁面、一個輸入框等的測試策略。
• 全局探索性測試方法：
• 1.使用測試集用來確定軟件是否已經(jīng)滿足正式發(fā)布所需達(dá)到的質(zhì)量標(biāo)準(zhǔn)。
• 2.測試集中的測試用例都是相互有聯(lián)系的整體。
• 3.確定了如何對軟件進(jìn)行探索式測試的整體方向。

探索性測試主要用的方法：

• 指南測試法：通過閱讀用戶手冊并嚴(yán)格遵守手冊的建議執(zhí)行操作。盡量執(zhí)行手冊中提交的場景，驗證軟件實現(xiàn)的軟件特性，也驗證了用戶手冊的準(zhǔn)確性。[比如博客測試法、專家測試法、競爭對手測試法]
• 賣點測試法：用戶希望使用的功能。
• 地標(biāo)測試法：使用指南測試法和賣點測試法，找到相關(guān)的地標(biāo)。
• 權(quán)限測試法：向軟件提出很多難以回答的問題。
• 快遞測試法：測試人員專注與數(shù)據(jù)，確定哪些存儲起來的數(shù)據(jù)，跟隨他們走遍軟件。
• 深夜測試法：非賣點的功能在夜間或系統(tǒng)非繁忙的時刻執(zhí)行。
• 遍歷測試法：選定一個目標(biāo)，然后使用發(fā)現(xiàn)的最短路徑訪問目標(biāo)包含的所有對象。
• 歷史區(qū)測試類型：惡鄰測試法[80%的測試放在20%的模塊]、博物館測試法、上一版本測試法。
• 娛樂區(qū)測試法：配角測試法、深巷測試法、通宵測試法。
• 旅游區(qū)測試類型：收藏家測試法、長路徑測試法、超模測試法。
• 混合探索式測試技術(shù)：講述用戶故事、描述需求、演示產(chǎn)品功能、演示集成場景、描述設(shè)置和安裝、描述警告和出錯場景。

單個特性測試方法：

 交互特性測試方法：

 系統(tǒng)測試方法：

3.2.2 探索式軟件測試的測試方法

1.頭腦風(fēng)暴法

測試需求：圖片文件上傳，選擇圖片文件，單擊（上傳）按鍵，正式上傳，圖片不得超過5MB。經(jīng)過5個人一個小時的討論，得出19個測試用例。

2 車輪圖測試法

　　車輪圖測試法：結(jié)合ISO 225000的6個要素，及功能性、可靠性、易用性、效率、可維護(hù)性和可移植性進(jìn)行的測試方法。

 

3 wiki法

wiki指的是一種超文本系統(tǒng)，支持面向社群的協(xié)作式寫作，同時也包括一組支持這種協(xié)作。在公司可以建立內(nèi)部的以測試設(shè)計技巧為內(nèi)容的wiki網(wǎng)站，把自己的軟件測試經(jīng)驗書寫在這里，方便其他同事的使用和學(xué)習(xí)。

4 閱讀bug報告和測試日志

　　定期到缺陷管理工具中閱讀別人發(fā)現(xiàn)的缺陷以及閱讀別人書寫的測試日志，是提高自己 測試能力的一個有效手段。由于探索式測試本身就是一種基于經(jīng)驗的測試，每個人都有自己 的測試經(jīng)驗，因而通過閱讀別人的缺陷和日志可以提高自己的測試設(shè)計的水平，也可以更好地了解測試的軟件產(chǎn)品質(zhì)量情況。

5．利用思維導(dǎo)圖工具

　　在進(jìn)行軟件探索式測試的時候，我們也可以借助于思維導(dǎo)圖工具。

3.3 探索性測試的核心優(yōu)勢

核心優(yōu)勢：有助于學(xué)習(xí)，是指學(xué)（獲取知識 ）與習(xí)（應(yīng)用知識）的持續(xù)過程。

軟件測試是一個持續(xù)學(xué)習(xí)并實踐的過程，學(xué)習(xí)范圍主要包括行業(yè)知識、用戶角色、軟件產(chǎn)品、計算平臺、開發(fā)技能、測試技術(shù)、程序缺陷、開發(fā)團(tuán)隊。

• 行業(yè)知識：為什么需要這個軟件？軟件如何幫助使用它的人和團(tuán)體去獲得成功？
• 用戶角色：目標(biāo)用戶是誰，有什么特點，有什么期望，如何幫助他們?nèi)カ@得個人成就？
• 軟件產(chǎn)品：產(chǎn)品是一種解決方案，解決了行業(yè)和用戶所面臨的問題嗎？
• 計算平臺：只有深刻理解理解軟件所依賴的計算平臺（如操作系統(tǒng)、中間件、網(wǎng)絡(luò)協(xié)議），才能更好的進(jìn)行測試。
• 開發(fā)技能：理解項目所使用的具體計算，知曉典型的技術(shù)缺陷，具備測試開發(fā)的能力
• 測試技術(shù)：選擇合適的測試技術(shù)，并能夠熟練地應(yīng)用
• 程序缺陷：研究已知的軟件缺陷，提煉錯誤模式，制定緩解或預(yù)防方案。
• 開發(fā)團(tuán)隊：語境決定策略和實踐。

3.4 如何評估探索性測試的測試效果

評估探索性測試結(jié)果的前提：測試記錄。測試記錄主要包括：測試目標(biāo)、測試范圍、測試策略、缺陷列表、疑問、復(fù)用的測試資源、耗時、時間分配。

• 測試目標(biāo)：本次測試要提供什么信息？
• 測試范圍：本次測試覆蓋了哪些功能、模塊、用戶情景？
• 測試策略：使用何種測試方法？
• 缺陷列表
• 在測試過程中發(fā)現(xiàn)的疑問，值得進(jìn)一步探索。
• 可以復(fù)用的測試資源：被測試軟件配置、測試數(shù)據(jù)、測試腳本等。
• 測程的耗時
• 測程的時間分配：在測試設(shè)計與執(zhí)行、缺陷調(diào)查與報告、測程的啟動與結(jié)束和非測試活動上各花費了多少時間。

測程：在一個固定的時間窗口內(nèi)（60~120分鐘），根據(jù)預(yù)設(shè)的測試目標(biāo)，對軟件Z探索性測試。類似于科學(xué)實驗，主要分三個階段：測試計劃、測試執(zhí)行、測試分析。

• 1.測試計劃：明確測試目標(biāo)，需要獲得什么目標(biāo)？
• 2.測試執(zhí)行：設(shè)計并執(zhí)行測試用例，記錄測試所發(fā)現(xiàn)的一切。
• 3.測試分析：分析并總結(jié)測試所發(fā)現(xiàn)的信息，為下一次測試提供目標(biāo)。

4 傳統(tǒng)的測試和精益與探索式測試區(qū)別

4.1 傳統(tǒng)的測試與探索式測試的區(qū)別

• 1.兩者互補，不是對立關(guān)系。
• 2.傳統(tǒng)的測試通過收集來的各種信息和文檔，編寫出正式的測試用例，測試人員根據(jù)測試用例來執(zhí)行。探索性測試是一種新的測試思維，強調(diào)的是測試過程中要有更多的發(fā)散思維。
• 3.在執(zhí)行正式的測試用例的同時，可以使用探索性測試來讓測試用例更加的豐富和富有變化，提高測試代碼的覆蓋率，找到更多的bug。

在探索式軟件測試中基于測程的管理方法是基本的管理方法：

　　第一個測程：測試開始是測試分析、設(shè)計、執(zhí)行一起進(jìn)行，測試過程中隨時進(jìn)行記錄。比如測試過哪些模塊，使用了哪些方法，遇到了哪些問題。一個測程一般在 0.5～ 3 小時。

一個測程測試完畢后測試工程 師與測試經(jīng)理及其他測試工程師一起討論測試記錄總結(jié)如下內(nèi)容：

1. 需要進(jìn)一步學(xué)習(xí)哪些專業(yè)知識、業(yè)務(wù)知識和其他知識。
2. 系統(tǒng)中這次發(fā)現(xiàn)的哪些問題是有效的缺陷，討論后填寫到缺陷管理軟件中去。
3. 下一次需要重點測試哪些模塊，使用哪些方法和技巧。

　　然后進(jìn)入下一輪測程。　　

4.2  探索式測試與精益

軟件測試的目的有4個方方面：發(fā)現(xiàn)缺陷、增加信心、為領(lǐng)導(dǎo)者做出決策以及預(yù)防缺陷。

精益的思想：在探索式初期采用地毯式淺層測試的策略。初期測試階段是為了探索哪些模塊存在缺陷以及缺陷的嚴(yán)重程度，所以我 們必須采取“地毯式”的方法，把所有模塊都均勻地摸一遍。采用“淺層”測試由于現(xiàn)在是 偵察兵介入，熟悉一下缺陷在軟件中的分布情況，大規(guī)模的測試還沒有開始，所以這個時候 采用“深入”的測試是沒有必要也是不科學(xué)的。通過第一次探索式測試，我們對缺陷在軟件中的分布情況有了八九不離十的了解，可以計劃在下幾次測程計劃中采用不同的測試策略和測試方法進(jìn)行測試。同樣在每次測程結(jié)束，對測試過程的結(jié)果進(jìn)行不斷的總結(jié)與反饋，指定下一次測程的計劃，這種方法其實就是精益思維方式。

　　精益中一些工具在探索式軟件測試中的使用，比如：OODA 環(huán)，OODA包括探索、判斷、決策、行動 4 個活動構(gòu)成的環(huán)。在探索式測試中“觀察”可以理解為觀察前一個測程中的測試結(jié)果，然后通過“判斷”來對測試結(jié)果進(jìn)行分析，結(jié)合公司文化、以前的測試遺產(chǎn)、新發(fā)現(xiàn)的問題和以前的經(jīng)驗來判斷下一個測程的測試“決策”，從而進(jìn)入下一輪探索式測試行動。

 

　　精益企業(yè)產(chǎn)品從產(chǎn)生到衰敗的過程也正體現(xiàn)了探索式軟件測試中發(fā)現(xiàn)缺陷的分布情況，在探索測試初期隨著測試的深入發(fā)現(xiàn)的缺陷越來越多，而到了后期發(fā)現(xiàn)的缺陷逐步呈現(xiàn)出衰退的趨勢。"創(chuàng)新者"與"早期采納者"階段正是那些很容易被發(fā)現(xiàn)的缺陷，探索測試在這個時期正處于深入探索的階 段，通過這個階段的探索，我們可以更加深入地了解產(chǎn)品質(zhì)量情況、缺陷分布、缺陷類型等 信息。"早期大多數(shù)"是指基本上了解了產(chǎn)品本身的一些特征，在這個階段大量的缺陷被發(fā)現(xiàn)出來。"晚期大多數(shù)"為一些隱藏得比較深的缺陷被逐步地發(fā)現(xiàn)。"滯后者"是指一些深層次的、不容易被發(fā)現(xiàn)的，甚至沒有被測試出來的缺陷。

　　探索式測試也可以分為增長期、成長期、成熟期、衰退期、滅亡期。探索式測試的成熟度周期與發(fā)現(xiàn)缺陷的生命周期是一致的。

　　在探索式軟件測試前期，由于對產(chǎn)品不是很了解，我們主要的精力在于理解探索產(chǎn)品中缺陷的分布以及缺陷的類型，這個時候的投資回報率是負(fù)的，隨著對產(chǎn)品質(zhì)量的逐步了解，探索式測試的投資回報率突破零點，并且達(dá)到正回報率，從而取得效益。

 

5 如何實施探索性測試

探索性測試鼓勵測試人員依據(jù)當(dāng)前語境選擇合適的測試流程與技術(shù)。SMART原則提供了指導(dǎo)：

• Specifi(具體的):測試需要一個具體的目標(biāo)。
• Measurable（可度量的）：有明確的指標(biāo)可以評估目標(biāo)是否達(dá)成。
• Attainable(可實現(xiàn)的)：目標(biāo)應(yīng)該是可實現(xiàn)的，要求將一個大目標(biāo)分解成多個小目標(biāo)，且每個小目標(biāo)也是具體的、可度量的、可實現(xiàn)的。而且，追蹤小目標(biāo)的完成情況提供了整體進(jìn)度的可度量性。
• Relevant（相關(guān)的）：符合團(tuán)隊利益。
• Time-boxed(有時間限制的)：為每個目標(biāo)設(shè)定一個合理的最后期限。

測試人員可按SMART原則展開探索性測試：

• 1.測試人員制定測試計劃。分析被測試應(yīng)用，確立若干個具體的測試使命（Mission）,每個使命針對一個可能的產(chǎn)品風(fēng)險。
• 2.測試人員將測試使命分解成一系列測試任務(wù)，每個任務(wù)都有明確的退出條件和時間限制。
• 3.在短暫的測試計劃之后，根據(jù)優(yōu)先級選擇一個任務(wù)，在一個固定的時間窗口中執(zhí)行探索性測試。（測程：一般窗口長度為60-120分鐘，一般90分鐘）
• 4.測試結(jié)束后，休息，放松思維
• 5.反思當(dāng)前測試進(jìn)展，并優(yōu)化測試計劃，追加一個測程，開始新一輪探索性測試。

根據(jù)國外的一些實踐理念，采用session來進(jìn)行測試范圍的確定：主要需要了解幾個關(guān)鍵詞：session、charters、UC。

　　charter:探索性測試過程中使用到的一個非常清晰的任務(wù)列表，指出了要測試什么、怎么測試（測試策略）、要尋找什么樣的bug，有哪些bug，要去檢查什么文檔等。

　　sessions:一個基本的測試工作單元，一般對應(yīng)1-2個UC。探索性測試者所有進(jìn)行的探索性測試都是基于Session的。

• 1.大概花1-2小時時間看PRD和原型（了解目的和產(chǎn)品背景）
• 2.大概花1-2H時間確定下有哪些主要的功能模塊和貢獻(xiàn)性的功能模塊
• 3.與項目組測試人員溝通哪個功能模塊發(fā)現(xiàn)bug最多，哪個最小，哪塊存在的風(fēng)險比較大。
• 4.確定Session的個數(shù)，并指出每個session大概花多長時間，一般是1.5-2H。
• 5.制定探索性測試計劃，包含所有session的名稱和測試時間以及緩沖情況。
• 6.根據(jù)探索性測試計劃，邊學(xué)習(xí)產(chǎn)品需求，邊測試，發(fā)現(xiàn)問題立馬記錄問題描述，最后發(fā)送測試報告。
• 7.與項目組測試人員溝通探索性測試的效果以及該產(chǎn)品存在的風(fēng)險，從用戶易用性角度給該產(chǎn)品總體評價，同時跟蹤確認(rèn)bug的fix情況。

6 基本測試用例[編輯、輸入框、翻頁] 

Base64編碼：基于64個可打印字符來表示二進(jìn)制數(shù)據(jù)的方法，常用于處理文本數(shù)據(jù)的場合，表示、傳輸、存儲一些二進(jìn)制數(shù)據(jù)。在Base64中的字符包括：A-Z,a-z,0-9,+,/ 

6.1 編輯有效、無效的功能

 

6.2 輸入框有效、無效查詢

 

6.3 翻頁功能