什么是產品測試管理？

產品測試管理（簡稱PTM，Product Test Management），是指產品從需求分析到發布維護全生命周期中測試活動的系統性管理過程，其核心是通過規劃、組織、協調和控制測試工作，確保產品質量與穩定性，以滿足客戶需求。如圖所示，以下是一個軟件產品的測試管理過程：

隨著中國國內科技的快速發展，新興領域如機器人、低空飛行器、智能汽車、光伏儲能設備、移動電源等產品不斷推陳出新， 如何做好產品測試驗證工作，是目前最重要的工作之一，小米近期因電芯安全隱患問題，主動召回部分型號充電寶共計146，891臺，并且每臺定價159元全額退款。經查明：原因是部分產品使用了供應商安普瑞斯（APRS）的126280型電芯2.0版本，極少數可能在極端場景下出現過熱或燃燒風險。

從小米召回的案例可以看到， 產品發布前的測試管理工作至關重要。

產品測試管理工作面臨的問題

在不同的領域中，產品測試活動展現著各個專業的風貌，如軟件測試、硬件測試、結構測試等。有的測試需要成百上千人的專業團隊，在高精尖的大型設備輔助下才能完成，如對于火箭發射的測試。有的測試可能僅僅需要一位還在讀本科的實習生，在手機屏幕上動動手指就可完成。對某些被測對象而言，獲得其理想結果和現實結果并不需要特別多的專業知識，這讓測試從表面上看起來“門檻并不高“，然而，測試的從業者、研究者，或者對測試有一定程度認知的研發生產人員，都會同意這樣一個結論：在實際的資源約束下，測試是一項非常困難的工作。共創力咨詢將測試的困難歸結為五個基本問題。如果想較好地實現“評估質量”和“檢出缺陷”的目標，測試者至少要在一定程度上緩解這些問題：

1）測試的標準難以界定，什么樣的測試結果是符合用戶需求的測試；

2）測試的完整性問題，即需要覆蓋哪些測試，如功能、性能、安全、可靠性、可維護性等；

3）測試的選擇性問題，即在時間和資源緊張的情況下，如何對測試場景做出取舍，哪些測試優先進行？

4）測試的可信度問題， 被測對象的質量， 一般是由測試人員在測試的報告中給出結論，如何做到真實可信？

5）測試的準則問題，在產品需求十分抽象，但要求測試用例十分具體的情況下，如何做好測試的設計？

問題一：如何界定測試的標準

如何界定測試的標準呢？根據共創力咨詢長期的咨詢經驗和歸納總結，測試的標準有國際標準、行業標準、企業標準三個層級，有些行業有自已的產品質量標準，如醫療行業有ISO13485、汽車行業有IATF 16949， 如果沒有行業標準， 一般的企業有自已的企業標準。因此，對于測試的驗收標準建議參考下圖： 

也就是講，測試的原始需求不僅要遵從用戶需求，還需要針對一些行業標準進行測試，而不僅僅是開發人員的設計需求規格書。?

問題二：測試的完整性如何定義?

測試的完整性包括采用什么樣的測試類型，以及對需求的覆蓋是否完整兩個維度。根據共創力咨詢在多個咨詢項目中總結的經驗，對于測試類型，每個公司都會根據自己的產品特點形成測試類型庫：

產品測試人員在進行測試設計時會根據產品的需求對測試類型進行選擇，從而形成某個產品型態的測試類型的集合。 

再來看看第二個維度，如何實現對需求的完整覆蓋。這里一般采用的是測試需求跟蹤矩陣，即測試用例與產品需求的映射關系。

問題三：產品測試如何選擇優先測試項？

在絕大多數情況下，為了將測試的成本控制在可接受范圍之內，我們不能在整個測試輸入空間上進行“窮盡”的測試，只能從中選取一部分事件作為測試用例。資源約束決定了用例數量的上限，剩下的關鍵問題就是如何選擇？選擇哪些事件，才能更準確地評估被測對象的質量?選擇哪些事件，才能更有效地檢出缺陷?或者一言蔽之：選擇哪些事件，才能實現最充分的測試? 共創力咨詢建議， 需要重點考慮以下三個要素：

• 測試需求的使用頻率
• 需求對整個系統的影響程度
• 需求失效的可能性

對于回歸測試，在時間和人力十分緊張情況下，可以考慮以下面的順序進行回歸測試：

• 高優先級：主要功能（關鍵特性）、關鍵接口
• 中優先級：局部特性和非關鍵接口方面（局部特性和接口）
• 低優先級：維護和設置功能、界面/約束 。

問題四：如何解決測試的可信度問題？

測試者關于被測對象質量水平的評估結論，決定了被測對象的前途命運，也決定了整個研發生產活動的后續狀態。這一結論的可信性，攸關測試者的信譽。測試者應該清楚地認識到自己在觀察能力上的局限性，避免給出任何武斷的評估結論。

那么我們究竟能夠給出怎樣的質量評估結論?除了合理的測試選擇之外，測試人員還應該采用哪些手段，才能讓測試的質量評估結論更可靠、可信?這就是“測試可信性問題” 。

根據共創力咨詢的經驗，有兩種方法可以提高測試的可信度問題：

1）產品在客戶現場的試用測試， 即產品在發布前，可以安裝到客戶環境下進行Beta測試，客戶對質量的反饋即可反映產品在公司的測試質量情況。

2）第三方送檢測試。即把產品的樣品送到第三方機構如華測檢測、倍測檢測、華通威等第三方檢測機構，即可評估在實驗室的測試的可信度問題。

問題五：如何解決測試的準則問題？

很多時候，被測對象的理想與測試用例預期結果之間的映射關系并不確切。譬如，對一些高度復雜的數值計算程序來說，理想通常被粗略地描述為“給出正確的計算結果”，而測試用例所需要的預期結果，則應該類似于“正確的計算結果是2.718281828459045”;另一方面，在進行預期結果與實際結果的對比時，需要針對每一個信息項進行觀察。如果這些信息項過于龐雜，或者關于某個信息項的觀察過于復雜，那么我們就需要為這個用例的執行付出高昂的成本。如何在質量、成本和效率之間達成一個平衡點，或者執行成本過高時，如何為測試用例找到明確、適當的測試準則? 

共創力咨詢認為，要解決測試成本和質量效率平衡的問題，首先需要進行測試需求分析和設計活動，制訂測試策略，并對測試用例的顆粒度和規模進行決策，明確重要的測試項，而不是“窮盡”測試。 如下圖：

在這個階段，測試系統工程師（TSE）需要完成三件事：

1）TSE召集討論確定測試類型及其子類型

2）明確各測試類型分析思路

3）控制分析的粒度