사용용이성 테스팅에서 테스터 수 by Myers

출처: The Art of Software Testing, G. J. Myers, 2012년 제3판, 7장 Usability(User) Testing

 

---

 

사용용이성 테스팅에서 얼마나 많은 사용자(테스터)가 필요한가?

사용용이성 테스트 계획(usability test plan)을 세울 때 “몇 명의 테스터가 필요한가?”라는 질문이 나오게 된다. 사용용이성 테스터를 고용하는 것은 개발 프로세스에서 종종 간과되기 쉬우며, 프로젝트에 예상치 못한 값비싼 비용을 추가할 수 있다. 우리가 최소한의 자본 투자로 가장 많은 에러를 식별할 수 있는 적절한 테스터 수를 찾아야 할 필요가 있다.

 

다행히도 지난 15년 동안 사용용이성에 대한 상당한 연구가 진행되었다. 사용용이성 테스팅 전문가인 Jakob Nielsen의 연구에 따르면 테스트에서 발견된 사용용이성 문제(에러)의 수가 아래와 같다.

 

E = 발견된 에러 비율(percent of errors found)

n = 테스터 수(number of testers)

L = 한 사람의 테스터가 발견한 사용성 문제의 백분율(percent of usability problems found by a tester)

 

Nielsen의 연구에서 얻은 합리적인 L 값이 31%이며, 이를 위 공식에 적용하면 그림 7.1과 같은 그래프가 생성된다.

 

그래프를 살펴보면 몇 가지 흥미로운 점을 알 수 있다. 첫째, 우리가 직관적으로 알듯이 애플리케이션의 모든 사용용이성 에러(usability errors)를 찾을 수는 없다. 그래프 곡선이 100%로 수렴할 뿐 절대 도달하지 않기 때문에 100% 에러 발견은 이론적으로 가능하지 않다. 둘째, 필요한 테스터의 수가 그다지 크지 않다. 에러의 약 83%가 단 5명의 테스터에 의해 감지되었음을 그래프가 보여준다.

 

Nielsen의 연구는 1990년대 초 그가 Sun Microsystems에서 시스템 분석가로 있을 때 수행되었다. 사용용이성 테스트에 대한 그의 데이터와 접근방식이 소프트웨어 설계에 관련된 우리에게 구체적인 지침을 제공하지만, 사용용이성 테스팅이 더욱 보편화되고 실제 테스팅을 통해 더 많은 증거가 수집됨에 따라 일부 연구자들은 3~5명의 사용자면 충분하다는 Nielsen의 단언에 의문을 제기하게 되었다.

 

Nielsen 자신도 정확한 테스터 수는 경제적 고려(예산이 지원하는 테스터 수)와 테스트하는 시스템의 타입에 따라 달라진다고 주의를 주고 있다. 예를 들어, 네비게이션 애플리케이션, 뱅킹 및 기타 금융 소프트웨어, 보안 관련 프로그램과 같은 중요 시스템(critical systems)은 중요성이 낮은 소프트웨어보다 사용자에 대한 더 면밀한 조사가 필요할 것이다.

 

사용용이성 테스트 프로그램을 설계하는 개발자에게 중요한 고려사항은 사용자 수와 이들의 개별 성향이 잠재적 사용자의 전체 인구를 충분히 대표하는지 여부이다. 또한 Nielsen이 지적했듯이 일부 프로그램은 다른 프로그램보다 더 복잡하므로 충분히 높은 비율의 에러를 감지하는 것이 더 어려울 수 있다. 그리고 다양한 사용자가, 각자의 다른 배경과 경험으로 인해, 여러 다른 타입의 에러를 감지할 가능성이 높기 때문에, 개별 테스트 상황에 따라 더 많은 수의 테스터가 필요할 수도 있다.