책 요약 – 크롬에 대한 탐색적 테스팅 가이드

출처: 책 How Google Tests Software, James Whittaker, Jason Arbon, Jeff Carollo, 2012년,
Appendix B Test Tours for Chrome, 247~252페이지

  

크라우드 테스터의 테스트 실행을 안내하는 크롬 ‘투어(Tours)’ 샘플을 제시하고 있다.

 

---

 

탐색적 소프트웨어 테스팅에서 '투어'

시스템에서 리스크가 낮은 부분의 경우 특정한 테스트 케이스를 작성하는 것이 돌아오는 수익에 비해 너무 많은 투자라고 판단할 수 있다. 대신 탐색적 테스트를 수행하거나 크라우드 소싱을 이용하여 해당 부분을 커버하는 선택을 하기도 한다.

 

구글은 탐색적 테스트를 위한 상위 수준의 지침인 “투어(tours)”라는 개념을 사용한다. 투어가 테스터에게 특정 제품/프로젝트의 탐색적 테스팅 전략을 설명하고 공유하는 데 도움이 되는 개념이다. 투어는 크라우드 소스 테스터에게 테스트 방향을 안내하고, 테스트할 기능 식별 및 탐색적 테스트 케이스 선택에 대한 아이디어를 제공한다.

 

 

크롬 테스트 투어

Chrome의 테스트 투어에 다음이 포함된다.

• 쇼핑 투어
• 학생 투어
• 국제 전화 투어
• 랜드마크 투어
• 올 나이터 투어
• 상공인 투어
• 나쁜 동네 투어
• 개인 투어

 

쇼핑 투어(The Shopping Tour)

설명: 쇼핑은 많은 사람이 선호하는 취미이고 새로운 곳을 여행하는 즐거움 중 하나이다. 소프트웨어에서 상거래는 새로운 것이 아니며, 많은 애플리케이션이 사용자가 돈을 쓰게 만드는 여러 방법들을 제공한다. 쇼핑 투어는 사용자가 원활하고 효과적으로 상거래에 참여할 수 있는지 확인하기 위해 테스트 대상 소프트웨어의 쇼핑이 가능한 모든 곳에서 사용자가 쇼핑을 하도록 초대한다.

 

적용: Chrome은 돈을 쓸 수 있는 방법이 거의 끝없이 존재하는 인터넷 포털이다. 비록 모든 벤더를 테스트하는 것은 불가능할지라도 대부분 소매업체에 액세스할 수 있고 Google 스토어에 문제가 없는지를 확인하는 것이 중요하다. 다음은 사이트 트래픽을 기반으로 한 상위 온라인 소매업체 목록이다.

• 이베이(www.eBay.com)
• 아마존(www.amazon.com)
• 시어스(www.sears.com)
• 스테이플(www.staples.com)
• 오피스맥스(www.officemax.com)
• 메이시스(www.macys.com)
• 뉴에그(www.newegg.com)
• 베스트바이(www.bestbuy.com)

 

 

학생 투어(The Student Tour)

설명: 많은 학생들이 해외 유학 기회를 이용하고, 새로운 장소에서 생활하는 동안 현지 리소스(예: 도서관, 기록 보관소, 박물관)를 사용하여 자신의 전문 분야 지식을 향상시킨다. 이와 유사하게 소프트웨어에서도 많은 사람들이 새로운 기술을 시도하고 이를 특정 주제에 대한 이해를 높이기 위한 연구에 사용한다. 이 투어는 사용자가 정보를 수집하고 구성하는 데 도움이 되는 소프트웨어의 모든 기능을 활용하고 테스트하도록 권장한다.

 

적용: Chrome이 다양한 소스로부터 데이터를 얼마나 잘 수집하고 구성하는지 테스트한다. 예를 들어, 사용자가 다수의 사이트에서 정보를 가져와서 그것을 클라우드 기반 문서로 전부 통합할 수 있는가? 오프라인 콘텐츠를 업로드하여 효과적으로 사용할 수 있는가?

 

테스트할 영역 제안

• 복사 및 붙여넣기: 클립보드를 사용하여 여러 다른 타입의 데이터를 이전할 수 있는가?
• 오프라인 콘텐츠를 클라우드로 이동하기: 웹 페이지, 이미지, 텍스트 등
• 용량(Capacity): 여러 문서를 한 번에 여러 다른 창에서 열 수 있는가?
• 이동: 여러 탭과 창 간 데이터 이동, 다른 종류의 창(일반, incognito) 간 데이터 이동

 

 

국제 전화 투어(The International Calling Tour)

설명: 여행하는 동안 집으로 전화를 거는 것은 그 자체로 흥미로운 경험이 된다(국제 통신 사업자, 환율, 신용 카드 등을 다루어야 함). 소프트웨어에서 사용자는 다양한 플랫폼, 권한 수준, 설정에서 동일 기능을 사용하는 다른 사용자(즉, 집에 있는 사람)와 인터액션 하게 된다. 이 투어는 사용자가 어디에서 이를 이용하든 원활하고 안정적인 경험을 할 수 있도록 하는 데 중점을 둔다.

 

적용: Chrome을 다양한 플랫폼(Windows, Mac, Linux)과 다양한 OS 연결 설정에서 실행하고 같은 사이트에 들어가 같은 기능을 사용해 본다.

 

테스트할 영역 제안

• 운영 체제: Windows, Mac, Linux
• 권한 수준(Privilege levels): high integrity, low integrity
• 언어: 복합어(complex languages), 오른쪽에서 왼쪽으로 쓰는 언어(right-to-left languages)
• 네트워크 옵션: 프록시, Wi-Fi, 유선 LAN, 방화벽

 

 

랜드마크 투어(The Landmark Tour)

설명: 이 프로세스가 간단하다. 나침반을 사용하여 가고자 하는 방향의 랜드마크(나무, 바위, 절벽 등)를 찾고, 그 랜드마크로 이동한다. 이어서 다음 랜드마크를 찾고 다시 이동하는 것을 계속 반복한다. 랜드마크가 모두 같은 방향에 있는 한 여행자가 울창한 숲을 빠져나올 수 있다. 이와 유사하게 탐색적 테스터의 랜드마크 투어가 랜드마크(시스템의 중요한 기능과 특징)를 선택하고 숲을 통과하듯 소프트웨어를 통과한다.

 

적용: Chrome에서 이 투어는 사용자가 한 랜드마크에서 다른 랜드마크로 얼마나 쉽게 찾아갈 수 있는지(navigate) 살펴본다. 사용자가 다른 브라우저 창, 첨부 파일 열기, 설정 등과 같은 랜드마크에 접근할 수 있는지 확인한다.

 

Chrome의 랜드마크 제안

• 브라우저 창: 웹 브라우징에 사용되는 기본 브라우저 창이다.
• Incognito 창: 시크릿 브라우징에 사용되는 창이다. 이를 사용자에게 알리기 위해 트레이드마크인 스파이 표시가 좌측 상단 모서리에 나타난다.
• 컴팩트 네비게이션 바(Compact Navigation Bar): 메뉴에서 찾을 수 있 브라우저 창이다. 창의 제목 표시줄에 검색 상자(search box)가 있다.
• 다운로드 관리자: 사용자가 다운로드한 콘텐츠 목록을 표시한다.
• 북마크 관리자: 사용자의 북마크를 표시하고 실행을 지원하는 전체 크기 창이다.
• 개발자 도구: Task Manager, JavaScript 콘솔 등
• 설정(Settings): Options 선택 시 오른쪽 상단 모서리에 있는 메뉴에서 시작한다.
• 테마 페이지: 사용자가 Chrome OS 외관을 개인 맞춤설정 할 수 있는 페이지이다.

 

 

올 나이터 투어(The All Nighter Tour)

설명: 이 투어는 중간에 휴식이 거의 없이 관광지에서 관광지로 이동하며 밤새도록 살아남을 수 있는지 도전한다. 소프트웨어에서 이 투어는 어떤 기능이 장기간 사용될 때 테스트 대상 제품이 얼마나 오래 지속될 수 있는지를 확인한다. 어떤 것도 억지로 닫지 않고 한번에 오랫동안 사용자 경험이 지속될 수 있는지를 시험하는 것이 핵심이며, 오랜 시간이 지속된 후에야 비로소 발생하는 버그를 발견할 수 있다.

 

적용: 많은 탭을 열고, 확장 프로그램을 설치하고, 테마를 변경하고, 단일 세션에서 가능한 한 오랫동안 계속 브라우징한다. 작업이 끝나도 탭이나 창을 닫지 않고 계속해서 더 많은 콘텐츠를 열어본다. 이 투어가 여러 날로 연장되는 경우 Chrome을 밤새도록 열어 두었다가 다음날 투어를 계속한다.

 

테스트할 영역 제안

• 탭과 창: 많은 수의 탭과 창을 연다.
• 확장: 많은 수의 확장 프로그램을 추가하고 그것들을 계속 실행한다.
• 지속 시간: 장기간 동안 모든 것을 열린 상태로 둔다.

 

 

상공인 투어(The Artisan’s Tour)

설명: 어떤 사람들은 즐거움을 위해 여행하고 또 어떤 사람들은 비즈니스를 위해 여행한다. 이 투어는 관광객의 새로운 목적지에서 비즈니스를 운영하는 것이 얼마나 쉬운지 조사한다. 예를 들면 로컬 벤더가 있는가? 사업 시작을 위해 얼마나 많은 요식(예, 관공서)이 필요한가? 소프트웨어에서 이 투어는 테스트 대상 소프트웨어의 도구를 사용하여 사용자가 얼마나 쉽게 콘텐츠를 개발할 수 있는지 살펴본다. 얼마나 많은 도구를 소프트웨어가 제공하는지, 콘텐츠 가져오기/내보내기가 얼마나 쉬운지 등을 살펴본다.

 

적용: Chrome에는 JavaScript 개발자와 온라인 콘텐츠를 테스트하고 실행하는 웹 개발자를 위한 많은 도구가 있다. 이 투어에서 이러한 도구를 확인하고, 샘플 스크립트를 생성하고, 온라인 콘텐츠를 테스트한다.

 

Chrome의 도구

• 개발자 도구: 페이지의 엘리먼트, 리소스, 스크립트를 살펴보고 리소스 추적을 활성화한다.
• JavaScript 콘솔: 콘솔에서 JavaScript가 올바르게 실행되는가?
• 소스코드 보기: 컬러 코딩 및 기타 도움말을 사용하여 소스를 쉽게 읽을 수 있는가? 관련 섹션으로 이동하기 쉬운가?
• Task Manager: 프로세스가 올바르게 표시되는가? 웹 페이지가 얼마나 많은 리소스를 소비하는지 쉽게 확인할 수 있는가?

 

 

나쁜 동네 투어(The Bad Neighborhood Tour)

설명: 모든 도시에는 관광객이 피해야 할 좋지 않은 동네가 있다. 소프트웨어에도 마찬가지로 나쁜 동네(버그로 채워진 코드 섹션)가 있다.

 

적용: Chrome은 빠르고 단순화된 웹 브라우징에 초점을 두며, 따라서 리치(무거운) 콘텐츠는 어려움을 겪는 경향이 있다. 크롬이 처음 출시되었을 당시 유튜브 영상조차 제대로 재생되지 않는다는 보도가 나왔고, 이를 극복하기 위한 상당한 진전이 있었지만 리치 콘텐츠는 여전히 이슈이다.

 

Chrome OS에서 나쁜 이웃 동네

• 온라인 비디오: Hulu, YouTube, ABC, NBC, 전체 화면 모드, 고화질(high definition) 모드
• 플래시 기반 콘텐츠: 게임, 광고, 프레젠테이션
• 확장: Test-rich extensions
• Java 애플릿: Java 애플릿이 성공적으로 실행될 수 있는지 확인한다. 야후! 게임은 Java 애플릿의 대표적인 예이다.
• O3D: 구글의 O3D로 작성된 콘텐츠를 확인한다. 예를 들어, Gmail의 화상 통화(video calls)는 O3D를 사용한다.
• 다중 인스턴스: 여러 다른 탭과 창에서 리치 컨텐츠의 다중 인스턴스 실행을 시도한다.

 

 

개인 투어(The Personalization Tour)

설명: 개인 투어는 여행하는 동안 개인적 경험을 쌓을 수 있는 다양한 곳으로 관광객들을 안내한다. 예를 들면 새 선글라스 구입, 렌터카, 고용된 전담 가이드, 의류 뷰티크 등등 모든 것이 포함될 수 있다. 소프트웨어에서 이 투어는 사용자가 자신의 경험을 커스토마이징할 수 있는 다양한 방법을 탐색하도록 하고, 소프트웨어를 고유하게 자신의 것으로 만들 수 있도록 한다.

 

적용: 테마, 확장 프로그램, 북마크, 설정, 바로가기, 프로필 등을 사용하여 Chrome을 특정 사용자의 취향에 맞게 맞춤설정(customizing) 할 수 있는 다양한 방법을 탐색한다.

 

Chrome 커스토마이징 방법

• 테마(Themes): 테마를 사용하여 Chrome OS의 외관을 커스토마이징한다.
• 확장 프로그램: Chrome OS에 확장 프로그램을 다운로드하고 설치하여 기능과 외관을 확장한다.
• Chrome 설정: Chrome 설정을 변경하여 사용자 환경을 커스토마이징한다.
• 프로필 분리: 한 사용자 프로필의 기본 설정(preferences)이 다른 계정으로 전파될 수 없음을 확인한다.