문서요약 - 실제 핸드셋 vs. 시뮬레이터 by Perfecto Mobile

제목: 실제 핸드셋 vs. 시뮬레이터(Real handsets vs. simulators)

저자: Perfecto Mobile Ltd.

문서유형: 업체 보고서(총 8 페이지), 2011년

 

모바일 애플리케이션을 실제 핸드셋상에서 테스트할 때와 시뮬레이터에서 테스트시 차이점에 대해 설명

---

 

시뮬레이터

실제 핸드셋을 흉내 내는 PC기반의 애플리케이션(attributes와 behavior을 매핑)

 

시뮬레이터를 이용한 모바일 애플리케이션 테스트의 장점

• 애플리케이션 개발 초기 단계에서 테스트를 가능하게 해줌
• 시뮬레이터가 통합개발환경(IDE)에 통합되어 있는 경우 테스트 후 디버깅 용이
• 비용 저렴(예, 시뮬레이터의 무료 다운로드)
• 테스트를 위해 흔하지 않은 특수 상황(예, no network)을 만들어 주기가 용이

시뮬레이터를 이용한 테스트의 단점

• 실제 플랫폼이 아니므로 시뮬레이터에서 테스트를 통과했다 하더라도 실제 핸드셋상에서도 제대로 작동할지 장담 못함. 즉, 실제 핸드셋상에서 발생하는 결함이 시뮬레이터로 테스트시에는 발생하지 않고(“false positive” situations), 반대로 실제 핸드셋에서는 나타나지 않는데 시뮬레이터에서만 발생하는 결함(“false negatives” situations)도 있음
• “false positive”의 경우 시뮬레이터에서 성공한 테스트 케이스들이 실제 핸드셋에서는 실패로 판정됨

핸드셋 vs. 시뮬레이터 테스트 결과의 차이가 발생하는 이유

• 네트워크 환경의 차이 (예, 인터넷 연결시 핸드셋은 무선파 RF를 통하는 반면 시뮬레이터는 PC의 LAN 환경과 방화벽을 거친다. 하위 레벨 네트워크 stack도 완전히 다르다.)
• 모바일 시뮬레이터에 비해 실제 핸드셋은 매우 제한된 resources를 보유
  예, CPU 파워 및 메모리 상이, 그래픽 칩셋(chipset)과 입력 장치(input devices) 등에서도 차이 발생

 

이러한 차이점으로 인해 시뮬레이터상의 테스트 결과에 대해 아래 시나리오를 생각할 수 있다.

• 시뮬레이터 상에서 실패한 경우 실제 핸드셋 상에서 테스트 해 볼 필요 있음(양쪽 모두에서 실패할 수도 있고, 실제 핸드셋에서는 성공으로 판명될 수도 있다.)
• 시뮬레이터 상에서 성공(이걸로 충분한지 아니면 실제 핸드셋 상에서도 다시 테스트 해 볼 필요가 있는지 고민)

 

실제 핸드셋상에서 테스트할 때의 장점

• 테스트 결과가 정확(“false negatives” 또는 “false positive” 상황에 대하여 걱정할 필요가 없음)
• 성능 관련 결함 발견 용이