페이퍼요약 – 운영 환경에서 컴퓨터 소프트웨어의 평가 by Watson

제목: 운영 환경에서 컴퓨터 소프트웨어의 평가(Evaluation of computer software in an operational environment)

저자: Gregory H. Watson, Center for Naval Analyses, 미국

문서유형: 컨퍼런스 페이퍼 + 슬라이드(총 24페이지), 1980년 5월

 

군사용 실시간 운영 소프트웨어 테스팅의 일반적인 절차를 기술(1979년도 Department of Defense Directive 5000.3의 소프트웨어 테스팅 요구사항을 충족하기 위해 필요한 절차)

---

시스템 조달 사이클에 크게 두 가지 타입의 테스팅이 존재

• 개발 테스트 및 평가(developmental test and evaluation: DT&E)
• 운영 테스트 및 평가(operational test and evaluation: OT&E)

개발 테스트 및 평가(DT&E)

• 시스템이 설계 명세를 충족하는지 확인하는 것으로 하드웨어와 소프트웨어 통합, 시스템 소프트웨어, 기존 장비/시스템과의 호환성(compatibility/interoperability)을 평가
• DT&E는 엔지니어에 의해 통제된 환경(예, 실험실, 테스트 베드)에서 수행됨

운영 테스트 및 평가(OT&E)

• 시스템이 요구되는 운영 특성(operational characteristics)을 만족하는지 확인
• OT&E에서는 얼마나 잘 시스템이 동작하는지를 확인하는 운영 효과성(operational effectiveness)과 시스템이 지원성(supportability)을 가지는지를 확인하는 운영 적합성(operational suitability)의 두 가지 측면을 평가
• 또한 변경이 필요한 시스템 부분을 식별하고 관련 요구사항 정보(전술적, 조직적, 인적 요구사항)를 제공
• OT&E는 실 운영환경에서 실제 운영 및 지원 담당자에 의해 수행됨

DoD Directive 5000.3

• 컴퓨터 소프트웨어의 테스트 및 평가에 대한 여러 목표(objectives)를 명세한 표준으로, 아래와 같은 것들이 해당된다.
• OT&E 수행기관(agencies)은 소프트웨어 계획 및 개발 초기 단계부터 참여가 요구된다.
• OT&E와 DT&E는 측정가능한(quantifiable) 또는 증명가능한(demonstrable) 성능 목표를 가진다.
• OT&E는 운영 환경에서 수행되는 여러 시스템 평가 활동의 한 부분이며, 시스템 정상 모드 운영 테스트(tests for full-system mode operations)와 재난/비상 모드 운영 테스트(tests for casualty mode operations)를 포함한다.
• OT&E와 DT&E 모두에서 고려해야 하는 사항으로 ‘측정가능한 성능 목표’와 ‘소프트웨어가 현 테스팅 단계에서 요구되는 성숙도 레벨에 도달했는지 여부’가 있다.

군사 소프트웨어 사용자의 두 유형(Two categories of "user" for mission-related software)

DT&E에서는 소프트웨어의 기술적 정확성 검증이 주가 되는 반면, OT&E는 군사 미션, 전술, 훈련 절차 등에 영향을 받는 사용자의 심적 요인(the psychological factors)도 고려하는 사용자 중심의 테스트이다. 따라서 군 시스템이 OT&E를 성공적으로 통과하지 못하면 실제 서비스에 사용되지 못한다. 군사용 실시간 운영 소프트웨어의 사용자는 아래와 같이 두 그룹으로 분류되며, OT&E는 이 두 유형의 사용자를 모두 고려해야 한다.

 

1) 시스템 설계의 타겟인 전술적 사용자(the tactical user for whom the system is designed)

미션 수행에 있어 소프트웨어가 얼마나 효과적인지가 주요 관심사로서, 특히 수행할 작업에 관련된 소프트웨어 인적 요인(Human factor considerations)과 문제 해결을 위한 알고리즘의 정확성을 중요하게 여긴다.

 

2) 유지보수를 담당하는 소프트웨어 지원 에이전시(the Software Support Agency)

서비스 주기 동안 소프트웨어 유지보수를 책임지는 이 사용자는 프로그램 구조, 언어 명세, 코드상세 정보 등의 소프트웨어의 지원성(the supportability)에 주된 관심이 있다.

DT&E와 OT&E 마일스톤