2009년 11월 미연방항공청(FAA)의 비행계획 파일링 시스템 장애

장애 발생

• 2009년 11월 19일 목요일, 미연방항공청(The Federal Aviation Administration: FAA)의 비행계획 파일링 시스템(the flight-plan filing system)이 정상 작동하지 못해 비행이 취소되거나 지연되며 미 전역에 큰 불편과 혼란을 초래함
• 비행 계획 프로세싱 문제에 더불어 공항의 기상과 바람 속도에 대한 정보를 제공하는 FAA의 시스템도 정상 작동하지 않음
• 이 문제는 약 5시간 지속되다가 10a.m. 경에 수정되었지만 도미노 효과(domino effect)로 인해 목요일 하루 종일, 일부는 금요일까지 비행 지연이 계속됨

FAA의 비행계획 파일링 시스템

• FAA의 비행계획 파일링 시스템은 항공기가 이동할 경로와 고도에 대한 정보를 담은 비행 계획을 수집하여 항공교통관제사(air traffic controllers)에게 전자적으로 자동 전송함. 미국에서 상용 항공기는 비행 계획을 제출하지 않으면 공항을 떠날 수 없음
• FAA는 비행계획 파일링 시스템을 위해 NADIN(the National Airspace Data Interchange Network) 통신 링크를 사용하며, 두 개의 NADIN 사이트(허브)가 Salt Lake City와 Hampton, Ga.에 위치함. 즉, FAA는 전국 항공 교통 통제를 위해 Salt Lake City와 Hampton, Ga.의 두 개 컴퓨터 센터에서 모든 비행 계획(flight plans)을 수집하고 처리함
• FAA 대변인 성명에 따르면 목요일 5a.m. 경에 Salt Lake City의 컴퓨터 센터에 있는 네트워킹 장비의 단일 회로판(a single circuit board)이 고장 났고, 이것이 여러 다른 지역에 있는 항공 교통 통제 컴퓨터가 서로 대화하는 것을 막으면서 문제가 시작됨(즉, 비행 계획을 한 지역의 컴퓨터로부터 다른 지역의 컴퓨터로 자동 이전할 수 없게 됨)
• 이 장애로 항공사가 비행 계획을 NADIN에 전자 입력하지 못하게 되었고, 대신 전화나 팩스를 통해 각 공항의 관제사에게 비행 계획을 전달하면 지상의 관제사가 이를 수작업으로 시스템에 입력해야만 되었음. 이 성가시고 시간이 많이 걸리는 작업이 전체 항공 교통 시스템을 느려지게 만들어 비행 지연을 가져옴

장애 원인

• 사후조사보고서에 따르면 라우터 링크의 소프트웨어 구성(software configuration)에 있는 라우팅 에러(routing error)가 사고의 원인
• FAA는 안전에 민감하지 않은 데이터 전송(non-safety critical data transmissions)을 위해 인터넷 프로토콜인 FTI(the Federal Telecommunications Infrastructure)를 사용함. 즉, FAA의 비행계획 시스템을 위한 노드들을 연결하기 위해 FTI가 전국의 FAA 항공 교통 관제 시설(air traffic control facilities)에 전개되어 있고, NADIN은 이 FTI 서비스에 의존함. FTI 네트워크는 FAA의 계약자인 Harris 사가 운영 및 유지보수를 책임지고 있음
• 2009년 11월 19일 목요일 5am, Harris 측은 계획된 FTI 유지보수 릴리즈의 일환으로 로스앤젤레스에서 교체 라우터(a replacement router)를 설치함. 하지만 이 교체 라우터의 소프트웨어 형상에 경로 에러(a route error)가 포함되어 있었고, 이것이 Salt Lake City 센터(데이터 배분 허브)의 IP ATM 네트워크와 OP IP 백본 간의 논리적 라우터 "bridge"에서 경로 해석 에러(route translation errors)를 야기함. 이 문제는 양 네트워크 상에 있는 IP routes의 4분의 3을 봉쇄하는(blocked) 결과를 낳음
• 오류가 있는 라우터가 알 수 없는 이유로 백업으로 디폴트 전환되지 못했으며, 두 번째 주요 시스템 노드인 Hampton, Ga. 시설 또한 셧다운시키면서 비행계획 파일링 시스템 사용이 불가능해짐

[2009년 11월 29일자 SNN 뉴스]