페이퍼 요약 - 사용자 체감 품질 기반의 무선 음성 품질 테스팅 솔루션 EXi

제목: 사용자 체감 품질 기반의 무선 음성 품질 테스팅(Testing Wireless Voice Quality: Capturing the Customer Experience)

저자: Ditech Networks

문서유형: Industry 화이트 페이퍼(총 16 페이지), 2006년 12월

---

사용자 체감 품질의 중요성

• 완벽한 Radio Frequency(RF) 환경일지라 사용자의 주변 환경이나 장비(예, 핸드셋, 액세서리)가 음성 품질에 영향을 미침
• 기존 음성 품질 테스트(voice quality tests)는 스피치 신호(the speech signal) 보다는 무선파(RF)같은 네트워크 성능에 집중
• 이런 RF나 코덱에 집중한 음성 품질 측정도 물론 중요하지만 사용자가 실제 경험하는 음성 품질을 평가하는데 있어 이것만으로 충분하지 않음
• 또한 기존 음성 품질 테스트는 intrusive 방식(샘플 스피치 신호를 삽입하고 사후 처리된 신호를 측정)인데, 이러한 테스트는 사용자 환경 및 장비에 의해 품질에 영향을 받은 콜의 수가 어느 정도인지 등을 알아내지 못함
• 이런 문제에 대한 솔루션으로 Ditech Networks사는 모든 콜에 대해서 사용자 환경 및 장비 관련 음성 품질 손상을 라이브 모니터링하는 Experience Intelligence™ (EXi) 개발

음성 품질에 영향을 미치는 애트리뷰트

캐리어가 자신의 네트워크상에서 통제 가능한 음성 품질 애트리뷰트로 아래 두 가지가 있다.

• Radio frequency(RF): 프레임 삭제율(Frame erasure rate: FER), 비트 에러율(bit error rate: BER), 캐리어 방해율(carrier-to-interference ratio: C/I)과 같은 메트릭을 사용하여 무선 링크 성능을 평가
• Network-wide quality: 네트워크 지연(delay)과 선택된 코덱을 평가

 

Ditech Networks사의 EXi 솔루션은 캐리어의 네트워크 경계 밖의 음성 품질 손상 요인(노이즈, 에코, 지연, 오디오 레벨)을 측정

캐리어의 네트워크 경계를 넘어선 전체 콜 경로(the overall call path) 상의 음성 품질 손상의 원천지가 아래 그림에 표기

음성 품질 테스팅 표준

음성 품질 평가 표준으로 ITU-T(the International Telecom­munication Union’s Telecommunication Standardization Sector)의 P.800, P.862, G.107가 주로 사용됨

1. ITU-T P.800: 주관적인 음성 품질 테스트

• 청취 품질 및 노력(listening quality and listening effort) 측정을 위한 주관적 평가 표준
• 절대 카테고리 평가(Absolute Category Rating: ACR), 저하 카테고리 평가(Degradation Category Rating: DCR), 비교 카테고리 평가(Comparison Category Rating: CCR)의 세 절차로 구성됨
• 각각의 절차에서 한 무리의 청취자들이 특정 기준에 따라 음성 콜에 점수를 할당하고, 이 점수들을 종합하여 1(최악)~5(최고) 사이의 평균 의견 점수(Mean Opinion Scores: MOS)를 생성
• ITU-T P.800은 음성 개선 디바이스(voice enhancement devices)의 성능 평가에는 부적합(네트워크의 노이즈 증가/감소 영향을 주관적으로 평가하는데 신뢰성 떨어짐)
• 네트워크 모니터링 목적으로 이러한 주관적인 테스팅을 수행하는 것은 비용이 너무 높음

2. ITU-T P.862: 객관적인 음성 품질 테스트

• ITU-T P.800 절차와 유사하게 설계된 스피치 품질 지각 평가(Perceptual Evaluation of Speech Quality: PESQ) 절차로 구성
• PESQ는 커뮤니케이션 시스템을 통과하는 신호에 대해 사용자가 느끼는 음성 품질을 예측하는 객관적 방법 제공
• PESQ는 사전 정의된 일련의 문구(phrases)를 사용하여 P.800의 MOS 점수로 직접 매핑되는 품질 평가 점수를 생성
• PESQ는 코덱 평가, 코덱 선정, 디지털 또는 아날로그 네트워크 연결을 통한 라이브 네트워크 테스팅, 에뮬레이트된 네트워크나 프로토타입 네트워크의 테스팅에 있어서는 정확한 결과를 보임
• PESQ는 in-service non-intrusive 측정 디바이스나 양방향 커뮤니케이션 성능 애플리케이션에서는 부정확한 예측을 보임
• PESQ는 표준 청취 레벨인 79dB 외의 청취 레벨(Listening levels), 소리 크기 손실(Loudness loss), 대화 중 지연(delay), 화자의 에코(Talker echo), 사이드톤(Sidetone) 등의 요인에 대해서는 부정확한 예측을 보임
• PESQ는 액티브 스피치(active speech) 동안에만 측정(중단 또는 침묵 상태에서의 청취 품질에 대한 평가는 하지 않음)
• 코덱 입력으로 사용되는 음악, 청취자 에코, 에코 canceller의 영향, 노이즈 감소 알고리즘의 영향, 코딩 기술, 4 kbps 이하의 CELP와 하이브리드 코덱, MPEG4 HVXC 등의 요인을 측정하기에 PESQ가 적합한지 여부는 검증되지 않음
• 또한 HATS 등을 사용한 Acoustic terminal/handset testing에 PESQ가 적합한지 여부도 확인되지 않음

3. ITU-T G.107: 음성 품질 분석을 위한 E-Model

• G.107 E-model은 전송 네트워크 상의 여러 장비에 관련된 음성 손상 요인을 기반으로 네트워크 설계자들이 음성 품질을 예측하도록 지원해주는 도구
• E-model의 결과 점수는 R Factor라 불림(P.800의 MOS 점수와 연결 가능)
• G.107은 여러 유형의 음성 손상을 잡아내고 라이브 콜의 전반적인 품질 점수를 제공하므로 VoIP 네트워크 음성 품질 모니터링에 널리 사용됨

제안 솔루션: Ditech Networks사의 EXi

• EXi는 콜에 대하여 24시간 라이브 모니터링 제공(사용자가 체감하는 음성 품질 측정)
• EXi 솔루션은 모든 call의 배경 노이즈, 에코, 오디오 손상 정도 등을 종합한 음성 품질의 정량적 평가를 위해 ITU-T의 G.107 E-Model 표준 사용
• EXi는 live call path 상의 언제 어디에서 음성 품질 손상이 발생했는지를 식별하고, 이것이 사용자가 느끼는 음성 품질에 미치는 영향을 측정(R Factor와 MOS 점수 생성)
• 즉, EXi는 아래 그림의 Environment부터 Other networks까지 전체 구간에 대해 하단에 파란 글씨로 기술된 음성 품질 손상 요인들을 측정하는 것을 목표함(그림 중 RF와 Network Wide는 EXi 현 버전에서는 지원 안되고 향후 지원 예정)