페이퍼 요약 - 상용 스마트폰의 사용성 벤치마크 연구 by Keijzers

제목: 상용 스마트폰의 사용성 벤치마크 연구(Usability Benchmark Study of Commercially Available Smart Phones: Cell Phone Type Platform, PDA Type Platform and PC Type Platform)

저자: Jeroen Keijzers 외 2인, 네덜란드

문서유형: Academic 페이퍼(총 8 페이지), 2008년 9월 MobileHCI

---

이 연구의 목적은 모바일 소프트웨어 플랫폼이 스마트폰의 사용성에 어떤 영향을 미치는지 조사하는 것으로, 실험을 통해 세가지 타입의 상용 스마트폰 플랫폼의 사용성을 평가한다. 

• 영국의 모바일 기기 반품율 조사에 따르면 7개 중 1개의 폰이 구매 후 1년 내에 결함을 이유로 반품되고, 이중 63%가 하드웨어나 소프트웨어 결함이 아닌 사용성 관련 문제(사용자 기대에 불일치 또는 핸드셋 configuration 관련 이슈) 이다.
• 기존의 PDA와 셀 폰의 기능을 통합하는 스마트폰에서는 서로 충돌하는 디자인 목표가 발생할 수 있다. 

실험 대상 스마트폰

실험에 사용된 세 개의 스마트폰은 유사한 기능들을 제공하며 동일한 모바일 네트워크 오퍼레이터를 가진다.

스마트폰	Nokia E6li	HTC S710	Palm Treo680
운영체제	Symbian S60	Windows Mobile 6	Palm OS
플랫폼 타입	Cell phone type	PC type	PDA type
외관
메인 메뉴	데스크탑 메뉴(쇼트컷, 애플리케이션 그리드)	데스크탑 메뉴(쇼트컷, 애플리케이션 그리드)	데스크탑 메뉴(애플리케이션 그리드)
입력 방법	Qwerty 키보드	Qwerty 키보드/키패드	Qwerty 키보드/터치스크린
소프트키	Yes	Yes	No
‘Navigation’ 키 매핑	4-way rocker key	4-way rocker key/qwerty 키보드의 화살표키	4-way rocker key/터치스크린
‘Select’ 키 매핑	rocker 키의 센터/좌측 'ok' 소프트키	rocker 키의 센터/좌측의 'done' 또는 'enter' 소프트키	rocker 키의 센터/터치스크린
‘Cancel’ 키 매핑	우측 소프트키	우측 소프트키/좌측 화살표 + 'del' 키	터치스크린 상의 'cancel' 키

실험 방법

• Cell 폰과 컴퓨터에 익숙하지만 스마트폰이나 PDA를 보유하지 않은 대학생들을 실험 참가자로 선정(43명)
• 참가자들은 난이도가 다른 아래의 4가지 작업을 실험 대상 스마트폰으로 수행한 후 사후 설문지에 응답
  (1) 전화번호부에 저장된 번호로 전화 걸기
  (2) 웹사이트에서 정보 찾기
  (3) 달력(calendar)에 약속 정보 입력하기
  (4) 푸쉬 메일 계정 만들고 이 계정으로 이메일 보내기
• 사용성 평가를 위해 효과성(effectiveness), 효율성(efficiency), 만족도(satisfaction) 측정
  (1) 효과성은 주어진 작업의 완성 정도(%)로 측정
  (2) 효율성은 세 가지 패러미터로 측정: 작업 완성에 걸리는 시간, 작업 완성을 위한 메뉴 트리 레벨 수(깊이), 상위 메뉴 레벨로 돌아오기 위한 단계 수
  (3) 만족도는 세가지 항목을 묻는 사후 질문지를 통해 측정(작업 수행이 쉬운지, 작업 완성에 얼마나 걸리는지, 도움 정보가 실제 도움이 되는지)

실험 결과

(1) 전화번호부에 저장된 번호로 전화 걸기

가장 기본적인 기능이므로 사용성 측면에서 별 문제가 없을 것으로 예상 했으나, Palm 폰이 다른 두 개 폰에 비해 사용성이 낮음(효과성 낮음, 작업 수행에 더 오랜 시간 필요, 작업 수행에 필요한 메뉴 수나 상위 메뉴로 돌아가는 단계도 더 복잡, 사용자 만족도 낮음)

 

(2) 웹사이트에서 정보 찾기

모든 사용성 평가 측정치에서 Palm 폰과 Nokia폰이 HTC 폰 보다 우월함. HTC 폰은 해당 작업을 완성하는데 Palm 폰과 Nokia 폰에 비해 두 배의 시간이 걸리고 사용자 만족도도 가장 낮음

 

(3) 달력에 약속 정보 기입하기

달력 기능이 PDA로부터 나왔으므로 Palm 폰이 좋은 결과를 보일 것으로 예상했으나, 다른 두 개 폰에 비해서 Palm 폰이 오히려 효과성도 낮고 작업 완성 시간도 가장 오래 걸림

 

(4) 푸쉬 메일 계정 만들고 이 계정으로 이메일 보내기

모든 사용성 평가 측정치에서 Palm 폰이 가장 좋은 결과를 보임

결론

다른 플랫폼을 가진 스마트폰의 사용성에 기능(작업 유형)에 따라 유의한 차이가 있다.