제목: 진척, 품질, 생산성 등을 측정하기 위한 64개의 테스트 메트릭(64 Test Metrics For Measuring Progress, Quality, Productivity & More!)
저자: Swati Seela 외 1인, QASymphony 블로그
문서유형: 웹문서
출처: https://www.qasymphony.com/blog/64-test-metrics/
테스터와 QA 관리자가 가장 흔히 사용하는 64개의 테스트 메트릭을 소개한 자료
소프트웨어 테스팅 메트릭(Software testing metrics)
- 소프트웨어 테스팅 메트릭은 테스트 활동을 측정하고 모니터 할 수 있는 한 방법이며, 테스트 팀의 테스트 진척과 생산성 그리고 테스트 대상 시스템의 품질에 대한 "통찰(insights)"을 제공한다.
- 이 메트릭이 어떤 결과를 전달하거나 또는 예측을 하는데 활용됨
- 결과 메트릭(Result Metrics): 완성된 어떤 활동/프로세스에 대한 절대적 측정치(an absolute measure). 예, 특정 테스트 스위트의 테스트 케이스들을 실행시키는데 걸린 시간
- 예측 메트릭(Predictive Metrics): 파생된 측정치(derivatives)이며, 좋지 않은 결과에 대한 경고 신호를 조기에 보내는 역할을 한다. 예, 생성된 결함 대비 해결된 결함 차트를 통한 결함 수정율(이 수정율이 의도된 것보다 낮은 경우 테스트 팀의 관심을 끌게 됨)
왜 테스트 메트릭이 중요한가?
테스트 메트릭을 수집하는 목적은 멋진 보고서를 만들기 위해서라기 보다는 이 데이터를 이용해 테스트 프로세스를 개선하는데 있다. 예를 들면, 아래 질문에 대한 구체적인 답을 찾는 일이 포함된다.
- 테스트 하는데 얼마나 오래 걸릴 것인가?
- 테스트 하는데 얼마나 많은 비용이 들 것인가?
- 버그가 얼마나 심각한가?
- 발견된 버그가 얼마나 많이 수정되었는가/종결되었는가/재개되었는가/연기되었는가?
- 얼마나 많은 버그를 테스트 팀이 찾는데 실패했는가?
- 소프트웨어의 얼마 만큼이 테스트 되었는가?
- 테스팅이 적시에 수행될 것인가? 소프트웨어가 적시에 출시될 수 있는가?
- 테스트가 얼마나 양호하게 되었는가? 낮은 질의 테스트 케이스를 사용하지는 않았는가?
- 테스트 노력이 적절했는가? 이 출시에서 더 많은 테스팅을 할 수 있지는 않았는가?
위 질문에 적절한 답을 하기 위해 측정(measurement)을 필요로 한다.
기본 메트릭(The Fundamental Metrics)
- 기본적인 QA 메트릭이 절대 수치(Absolute numbers)와 이 절대 수치로부터 파생된 파생 메트릭(Derivative Metrics)의 두 개 그룹으로 분류될 수 있다.
- 절대 수치는 좋은 시작점이 되기는 하지만 종종 그 자체 만으로는 충분하지 않으며, 우리 테스팅 프로세스에 있는 이슈를 해결하기 위해 어떤 조치가 필요한지 파생 메트릭의 도움을 받아 더 심도 있게 들어갈 수 있다.
절대치(Absolute Numbers)
1. 테스트 케이스의 총 수(Total number of test cases)
2. 통과된 테스트 케이스의 수(Number of test cases passed)
3. 실패한 테스트 케이스의 수(Number of test cases failed)
4. 중단된 테스트 케이스의 수(Number of test cases blocked)
5. 발견된 결함의 수(Number of defects found)
6. 수락된 결함의 수(Number of defects accepted)
7. 거부된 결함의 수(Number of defects rejected)
8. 연기된 결함의 수(Number of defects deferred)
9. 중요 결함의 수(Number of critical defects)
10. 계획된 테스트 시간(Number of planned test hours)
11. 실제 테스트 시간(Number of actual test hours)
12. 출시 후 발견된 버그 수(Number of bugs found after shipping)
파생 메트릭(Derivative Metrics)
테스트 추적과 효율성(Test Tracking and Efficiency)
테스트 추적 및 효율성에 도움이 되는 파생 메트릭으로 아래와 같은 것들이 있다.
테스트 노력(Test Effort)
테스트 노력 메트릭은 테스트 노력이 얼마나 오래, 얼마나 많이 이루어 졌는지에 대한 답을 주며, 향후 테스트 계획을 위한 베이스라인을 수립할 수 있게 해준다. 아래는 몇 가지 테스트 노력 메트릭을 제시한다.
테스트 효과성(Test Effectiveness)
테스트 효과성 메트릭은 “얼마나 양질의 테스트가 되었는가?” 또는 “우리가 높은 품질의 테스트 케이스를 실행시키고 있는가?”라는 질문에 답하며, 버그 발견 능력과 테스트 셋의 품질에 대한 측정을 한다.
테스트 커버리지(Test Coverage)
테스트 커버리지 메트릭은 테스트 노력에 대한 측정을 하며, “애플리케이션이 얼마 만큼 많이 테스트 되었는가?”라는 질문에 답할 수 있도록 돕는다. 몇몇 주요한 테스트 커버리지 메트릭이 아래와 같다.
테스트 경제성 메트릭(Test Economics Metrics)
테스팅 비용에 사람(공수), 기반시설(infrastructure), 도구(tools) 등이 포함됨. 테스팅 프로젝트의 재원이 제한적이므로 얼마나 많은 리소스를 쓸 계획이고 실제로는 얼만큼 썼는지 아는 것이 중요하다. 아래는 현재와 미래의 예산 계획(budget planning)을 도울 수 있는 몇몇 테스트 경제성 메트릭을 제시한다.
테스트 팀 메트릭(Test Team Metrics)
이 메트릭들은 작업 할당이 각 테스트 팀 구성원에게 균등하게 이루어졌는지, 팀원 중 더 명확한 프로세스/프로젝트 지식이 필요한 사람은 없는지 이해하는데 사용될 수 있다. 이 메트릭이 팀원의 지식 공유를 돕기 위해 쓰여야 하며 특정인을 비난하거나 책임을 돌리기 위해 쓰여서는 안된다.
테스트 실행 상태(Test Execution Status)
테스트 실행 스냅샷 차트는 통과된 테스트 실행 수, 실패한 테스트 실행 수, 중단된 테스트 실행 수, 불완전한 테스트 실행 수, 미실행된 테스트 실행 수 등을 통해 테스트 실행 상태(the test run status)를 보여준다. 시각적 지원을 하는 이 차트들이 일일 상태 미팅(daily status meeting)에서 효과적으로 진척 현황을 파악하고 의사소통 하는데 도움을 준다.
테스트 실행 및 결함 발견율 추적(Test Execution/Defect find rate Tracking)
테스팅 실행율과 결함 발견율이 의도한 대로(계획대로) 되는지 이해하는데 도움을 주는 차트. 누적된 결함 집계와 테스트 실행률을 수집해 이론적인 커브(계획 진척율)를 작성하고 이를 실제 값과 비교한다. 이는 계획된 목표를 달성하기 위해서 테스트 프로세스의 변경이 필요한지 조기에 파악하고 위험 신호를 발생시키는걸 가능케한다.
변경 메트릭의 효과성(Effectiveness of Change Metrics)
소프트웨어는 그 빈도가 많은 적든 간에 변경을 거치게 되며, 이런 변경이 기존 시스템의 안전성(stability)에 미치는 영향을 이해하기 위해 변경에 대한 모니터링이 필요하다. 변경은 종종 새로운 결함을 유발하거나, 애플리케이션 안전성을 감소시키거나, 일정 준수를 방해하거나, 품질에 위협을 가할 수 있다. 변경 메트릭은 변경으로 인한 영향을 더 잘 이해할 수 있도록 돕는다.
결함 분포도(Defect Distribution Charts)
결함이 그 타입, 근본 원인, 심각도, 우선순위, 모듈/컴포넌트/기능영역, 플랫폼/환경, 책임 테스터, 테스트 타입 등에 따라 분류될 수 있음. 결함 분포 차트는 결함이 어디에 밀집해 있는지, 최대한의 결함 제거를 위해 어떤 영역을 타겟으로 해야 할지, 어디에 개발 및 테스팅 노력을 쏟아야 할지 등을 이해하는데 도움을 준다.
시간 경과에 따른 결함 분포도
테스트 사이클의 종료 시점이나 또는 진행 중의 어떤 시점에서의 결함 분포가 해당 시점의 결함 데이터 스냅샷을 제공하며, 이는 시간 경과에 따라 결함이 증가하는지/감소하는지/고정적인지 추세를 알게 해 준다.
기타 결함 메트릭
'테스팅 관리 및 통제 > 공수 및 일정 관리' 카테고리의 다른 글
| 책 요약 – 시스템 테스팅 스케쥴링 예 by NAIK (1) | 2022.11.21 |
|---|---|
| 책 요약 – 테스팅 공수 산정 예 by NAIK (0) | 2022.11.07 |
| 문서요약 - 빡빡한 테스팅 일정에서의 테스팅 by Pradhan (0) | 2019.10.24 |