브로셔요약 - 온라인 게임 백엔드 애플리케이션의 기능 및 시스템 테스팅 by Gateway TechnoLabs

제목: 온라인 게임 백엔드 애플리케이션의 기능 및 시스템 테스팅(Functional & System Testing of an Online Gaming Backend Application)

저자: Gateway TechnoLabs, 인도

문서유형: 업체 브로셔(총 4페이지), 2008년

 

인도의 테스팅 아웃소싱 업체가 호주 온라인 게임 업체의 신규 애플리케이션을 테스트한 프로젝트에 대하여 소개한 자료

---

고객 정보

• 여러 해 동안 플래시 기반 인터넷 게임을 개발해 온 호주의 게임 회사로 인터넷 기반 슬롯 게임과 보드 게임의 호주 대부분의 시장을 장작하고 있음
• 현재는 개별 플레이어용 온라인 게임을 제공하고 있지만 멀티 플레이어 게임과 토너먼트 게임을 도입하고자 함. 포탈(portal)을 통해 게임을 플러그인 하고 여러 다른 타입의 토너먼트, 잭팟, 내기경기(Sweepstakes)를 관리하는 신제품 개발
• 이 애플리케이션(포탈)은 특정 액티비티 수행을 위한 여러 다른 엔진으로 개발되었고, 여러 엔진들간의 커뮤니케이션을 위해 윈도우즈 MSMQ 서비스 도입
• 애플리케이션의 모든 기능을 상세하게 조사할 수 있는 해외 테스팅 파트너를 원함

테스팅에 있어 도전 과제(Challenges)

• 비즈니스 로직을 기준으로 애플리케이션 복잡성과 기능 로직을 이해
• 다양한 유형의 시나리오를 가진 여러 다른 게임과 토너먼트 타입을 조사
• 애플리케이션 개발을 주어진 시간 내에 끝내기 위해 열심히 작업중인 18~20명의 개발팀 지원
• 애플리케이션(포탈)에서 거의 12개의 다른 타입의 게임 엔진이 상호작용하므로 각 엔진을 개별 테스트한 후 엔진들의 통합 테스팅도 요구됨
• 핵심 비즈니스 기능을 커버하는 테스트 케이스 문서화
• 다른 타입의 윈도우즈 서비스와 웹 서비스들을 테스트
• MSMQ와 테스트 대상 웹 애플리케이션의 통합성을 테스팅
• xml과 swf 파일의 적합성을 테스트하고 부적합한 파일의 경우 애플리케이션이 어떻게 반응하는지 확인.
• 애플리케이션에 플래시 배너와 그림들로 가득 차 있으므로 부하 상태의 애플리케이션 동작을 테스트 하는데 시간이 많이 걸린다.
• 서비스 시작 후 일년 내에 수만 명의 사용자가 동시에 사용할 것으로 예상되는 애플리케이션의 성능 테스팅을 위한 주요 시나리오 식별

Gateway TestLabs의 솔루션

Gateway는 고객 비즈니스에 맞는 테스트 설계와 솔루션을 제공하는 테스트 아웃소싱 업체로 위 설명된 고객 애플리케이션에 아래와 같은 테스팅을 수행함

 

1) 프로젝트 기본 정보

• 플랫폼: Microsoft Windows
• 기술: .NET 2.0, SQL Server
• 데이터베이스: SQL Server 2005
• 도구: 이슈 추적을 위한 Mantis, 로드 테스팅을 위한 WAPT 4.0
• 기간: 6개월
• 투입 자원: 3명의 QA 엔지니어, 테스팅 모델을 전담한 1 명의 선임 QA 엔지니어

2) 수행한 테스팅

• 단위 테스팅
• 기능 테스팅(모듈/서브모듈)
• 사용성 및 호환성(Compatibility) 테스팅
• 통합 및 점진적(Incremental) 테스팅
• 개발팀에 의한 화이트박스 검토
• 보안 및 성능 테스팅

3) 테스트 수행 관련 정보

• 다른 타입의 웹 서비스와 윈도우즈 서비스 사용으로 인해 테스트 대상 애플리케이션이 복잡하고 이해가 쉽지 않았음
• 애플리케이션의 기능이 웹 포탈이므로 테스팅을 위한 사용자 인터페이스가 존재하지 않았고 모든 주요 모듈이 윈도우즈 서비스와 웹 서비스로 개발됨
• 애플리케이션의 모든 주요 기능은 백그라우드에서 발생하며 그 결과는 사용자 패널(the user panel)에 디스플레이 됨
• 백그라운드 프로세스를 테스트하기 위한 테스트 시나리오를 작성하는 것이 쉽지 않은 과제였음
• 상세한 수준의 기능적 이해를 위해 다양한 도구(GoToMeeting 시스템, 전용 전화 라인, 고객 대표자와 일대일 미팅 등)를 사용하여 Gateway의 QA팀과 고객 사이트의 팀이 협업
• 고객이 제공한 정보와 참고 문서를 기반으로 Gateway 팀이 모든 기능과 토너먼트의 가능한 시나리오를 커버하는 테스트 케이스 작성. 또한 RT matrix를 준비하여 테스트 케이스 커버리지 추적
• 내부 팀이 테스트 케이스를 검토한 후 고객에게 검토와 승인을 받기 위해 전송.
• 고객이 승인한 테스트 케이스는 다른 데이터 집합을 사용하여 테스트 대상 애플리케이션에 실행됨
• 결함은 결함 추적 도구를 사용하여 추적
• 각 테스트 주기 마지막에 평가를 위한 상세한 테스트 메트릭(test metrics) 제시
• 테스트 동안 발견된 새로운 시나리오를 위해 테스트 케이스 업데이트
• Gateway 테스팅 팀은 기능 테스트와 더불어 자동화 테스트 도구인 WAPT 4.0을 사용하여 애플리케이션의 성능을 테스트 함. 애플리케이션의 전개(deployment) 전에 성능 이슈를 식별하고 고객 사이트 운영 환경의 예상 부하 아래서 애플리케이션이 어떻게 동작할지 확인