현업에서 적용하는 테스트 보고서 및 메트릭 예 – 마이크로소프트

개발 전 과정 동안 팀 구성원은 자기 자신의 진척 뿐만아니라 전체 팀의 진척을 추적할 필요가 있다.

애자일 개발의 빠른 속도는 유연성(flexibility)과 상황 인식(awareness)을 필요로 하기 때문에, 기민한 리포팅(특정 조회 또는 특정 기준에 따라 데이터를 보여주는 것)이 특히 중요하다.

마이크로소프트 Visual Studio와 Microsoft Team Foundation(MTF)은 갖가지 유연한 리포팅 옵션을 제공한다.

 

대시보드(Dashboards)

• 보기 쉬운 시각 자료 및 차트를 이용하여 프로젝트(또는 프로젝트의 특정 측면)에 대한 동적인 개요를 보여준다.
• 특정 시점의 프로젝트 현황을 한 눈에 파악하기 쉽도록 돕는다.

 

 

테스트 매트릭

번다운(Burndown)

• 특정 기간 동안 완료된 작업 및 남아 있는 작업의 추세를 보여준다.
• 작업 완료 시점 또는 지정된 기간(timeframe) 내에 완료 할 수 있는 작업량을 추정하는 데 도움이 된다.

 

[건강한 번다운 차트 예]

해석: 실제 진척 추세(검정선)가 계속된다면 계획된 일정(빨간선) 보다 이틀 정도 더 일찍 작업을 완수할 것으로 예측됨. 현 시점까지 매우 안정적인 진행 상황을 보임(일관되게 하향 추세인 것으로 보아 범위 추가 같은 일이 발생하지 않았고 작업도 일관된 속도로 완료되고 있음)

 

[건강하지 않은 번다운 차트 예]

해석: 초기에 계획된 작업이 거의 없다가 며칠 후 갑자기 많은 양의 계획이 등장함. 그러나 계획 대비 실제 완료된 작업의 진척이 미비하여 예정된 추세선을 전혀 따라가지 못하고 있음. 아마도 여러 주의 일정 지연이 있을 것으로 예측됨

 

 

속도(Velocity)

• 단위 시간 당 완수해 내는 작업 측정치. 예를 들어, 각 반복(iteration)에서 완성한 작업량

 

 

버그 진행률(Bug Progress)

• 시간 경과에 따른 활성 버그 수와 해결된 버그 수
• 버그 해결을 향한 팀의 진척 상황을 확인하는 데 유용하다.

 

‘버그 상태 보고서(Bug Status Report)’는 버그의 상태(state), 우선순위(priorty) 및 심각도(severity)에 따라 누적 버그 수를 표시한다. 팀이 버그를 찾고 수정하기 시작한 후에는 버그 상태 보고서를 보고 버그 해결 및 종료에 대한 팀의 진행 상황을 추적 할 수 있다.

[버그 상태 보고서 예]

 

‘버그 요약 보고서(Bug Summary Report)’는 다음과 같은 데이터를 표시한다.

•    버그 수
•    우선순위 별 또는 심각도 별 활성(active) 버그
•    할당 별 활성 버그(각 팀 구성원에게 할당된 활성 버그 수 표시)
•    할당 별 해결 버그 (각 팀 구성원이 해결한 버그 수 표시)

 

 

작업 할당(Work Assignment)

• 각 팀 구성원에게 할당된 작업량(시간 단위 또는 또는 작업 개수로 표현)

   

테스트 계획 진행률(Test Plan Progress)

• 테스트 결과에 대한 번다운 차트이다. 즉, 특정 기간 동안 완료된 테스트 작업 및 남은 작업을 보여준다.

  

코드 변동률(Code Churn)

• 팀이 추가, 삭제 또는 변경 한 코드 라인 수를 측정한다.
• 시간 경과에 따라 소스 코드 파일이 변경된 정도를 보여준다.

 

 

스프린트 계획 보고서(Sprint Planning Reports)

스프린트에 앞서 팀은 우선순위와 마일스톤을 결정하기 위해 백로그와 유저스토리를 검토한다.

• 번다운 데이터(Burndown data): 이전 스프린트의 번다운 데이터는 관리가능한(manageable) 데드라인과 마일스톤을 정하는 데 도움을 준다.
• 백로그 및 스토리 보고서(Backlog and story reports): 주의가 필요한 작업이나 문제를 식별하고 우선순위를 정하는 데 도움을 준다.
• 작업 할당 보고서(Work assignment reports): 팀이 역할을 할당하고 워크로드를 균형있게 분배하는 데 도움을 준다.

 

 

스프린트 진행 중의 보고서(Reports During a Sprint)

번다운 데이터(번다운 속도)가 마일스톤에 대한 전반적인 진행 상황을 보여주고, 팀이 목표 달성을 위한 적정  속도에 있는지 여부를 추정하는 데 도움을 준다. 

개별 구성원은 Team Foundation Server의 My Dashboard를 사용하여 다음을 볼 수 있다.

•   할당 된 모든 작업(All assigned tasks)
•   할당 된 버그 및 테스트 케이스(Assigned bugs and test cases)
•   예정된 이벤트(미팅, 데드라인)  
•   최근 진척 상황에 대한 개요

 

 

회고 보고서(Retrospective Report)

스프린트 후, 팀은 데이터를 검토하여 다음 스프린트를 시작하기 전에 변경할 필요가 있는 프로세스가 있는지 확인한다.

팀 생산성을 확인하기 위해 팀 구성원의 진척 추세나 테스트 계획 진척 상황을 살펴본다.

그런 다음 팀은 번다운 및 작업 진행 상황을 살펴보고 다음 스프린트의 목표를 설정한다.

 

 

 

출처: Channel 9 사이트, Software Testing Fundamentals 교육과정 영상에서 발췌

모듈 04 - 소프트웨어 테스트 프로젝트 관리

https://channel9.msdn.com/series/Software-Testing-Fundamentals/04

 

모듈 05 - 버그 관리

https://channel9.msdn.com/series/Software-Testing-Fundamentals/05