2012년 5월 나스닥의 페이스북 상장 소프트웨어 설계 결함

나스닥의 페이스북 상장 시 트레이딩 및 오더 처리 지연 발생

• 2012년 5월 18일 금요일, 많은 기대를 모았던 페이스북 주식 상장(Initial Public Offering: IPO)이 나스닥 컴퓨터 시스템의 결함으로 트레이딩 시작이 지연되고 일부 오더는 뒤늦게 처리되는 문제가 생김
• 원래 11am로 예정되었던 페이스북 주식 트레이딩이 11:30am에 시작되었지만 일부 트레이더가 페이스북 오더에 대한 확인(정상적인 경우 대개 몇 초 내에 전달됨)을 받지 못했다고 불만을 토로함. 즉, 트레이더가 자신의 매도/매수 오더가 나스닥에서 실제 처리되었는지, 처리되었다면 어떤 가격에 처리된 것인지 확신하지 못하게 됨
• 자신의 오더 상태를 확실히 모르는 일부 트레이더는 오더 취소를 시도했고 또 일부는 추가 매수 오더를 냈다가 처음 오더가 실행된 것을 알자 다시 매도를 시도하는 등 투자자의 혼란과 불편이 야기됨

페이스북 IPO 타임라인

2012년 5월 18일 금요일, 페이스북 상장일의 시간대별 주요 사건이 아래와 같다.

• 7:56am – 페이스북의 pre-IPO(Display Only 기간)가 10:45am에 시작하고 주식 트레이딩은 대략 11am에 시작할 것이라고 나스닥이 발표
• 10:45am – 나스닥이 웹사이트에 5초 간격으로 참고 가격 및 수량 정보를 제공하기 시작
• 10:58am – 참고 가격(indicative price)이 $43.25로 표시되자 한 거대 투자기관 중개인이 페이스북의 주 언더라이터인 모건스탠리에게 pre-IPO 기간을 연장해달라고 요청함. 모건스탠리가 나스닥에게 같은 요청을 했고 나스닥이 동의함. 페이스북 트레이딩 시작이 11:05am까지 지연된다고 나스닥이 공지
• 11:05am – 나스닥이 페이스북 트레이딩 시작을 시도하였지만 성공하지 못함. 트레이더들은 영문을 모른 채 계속 기다림
• 11:13am – 나스닥이 “페이스북의 시가(opening price)를 전달하는데 지연을 겪고 있다”고 나스닥 경보(alert) 서비스 가입자들에게 알림
• 11:28am – 나스닥 직원이 2분 후에 페이스북 주식의 트레이딩 시작될 것이라고 발표
• 11:30am – 주당 $42.05에 페이스북 주식의 트레이딩이 시작됨
• 11:59am – 나스닥이 트레이드 확인 메시지 전달의 문제를 겪고 있다고 웹사이트에 공지
• 1:57pm – 트레이드 확인 메시지 문제가 해결되었다고 웹사이트를 업데이트함
• 4:00pm – 페이스북 주가가 상장가인 $38.00 보다 약간 오른 $38.23에 마감(상장가보다 떨어지는걸 막기 위해 언더라이터인 모건스탠리가 반복적으로 주식을 사들인 덕분)

문제 원인

• 나스닥이 페이스북 IPO를 위해 사용한 경매 소프트웨어의 “나쁜 설계(poor design)”가 원인으로 밝혀짐. 나스닥의 pre-IPO 경매 프로세스는 주식 트레이딩이 공식적으로 시작되기 전에 나스닥 멤버가 오더를 내고 IPO 가격에 동의하는 프로세스임. 이 pre-IPO 기간 동안 멤버 브로커/딜러가 매수 또는 매도 오더를 낼 수 있으며 오더를 갱신하거나 취소할 수도 있음
• 문제가 된 경매 소프트웨어(“IPO Cross”라 불림)는 pre-IPO 종료 후 그리고 IPO 시작 전에 트레이더들의 경매 입찰에 기반하여 주식의 시가(opening price)를 계산하며, 나스닥의 매칭 엔진이 이 가격에 매수 오더와 매도 오더를 매치함(이를 “크로스”라 칭함). IPO Cross가 작업을 완료하는데 보통 1~2밀리초가 걸리지만 페이스북의 IPO 때는 엄청난 오더량으로 인해 훨씬 더 긴 시간이 소요됨
• 시가가 계산된 후 그리고 나스닥의 테이프로 가격이 피드되기 바로 전에 IPO Cross가 시가 계산을 시작한 이후로 취소된 오더가 있는지를 체크하도록 설계됨. 이 때 취소가 있으면 이를 계산에 포함해야 하므로 시가 계산이 다시 수행된다. 페이스북의 경우 시가 계산을 하는 사이에 추가적인 취소가 계속 유입되어 IPO Cross가 재계산을 반복하는 무한 루프에 빠지게 되었고 이것이 IPO 트레이딩 개시를 불가능하게 만듬

미국 증권거래위원회(The Securities and Exchange Commission: SEC)의 조사에 따르면 페이스북 IPO 당일에 나스닥의 시스템 문제 발생 및 해결 과정이 아래와 같다.

• 11:05am – 페이스북 트레이딩 시작을 위해 IPO Cross가 가격/수량 계산(price/volume calculation)을 하고 매칭 엔진이 확인 체크(가격/수량 계산이 기반한 오더들 중 취소된 것이 있는지 확인)를 수행함. 보통 1~2밀리초 걸리는 이 작업이 20밀리초가 걸림(pre-IPO 기간 동안 받은 평소보다 훨씬 많은 주문량으로 인해 시간이 길어짐). 확인 체크에서 취소된 오더가 있음이 발견되면서 IPO Cross가 가격/수량을 다시 계산하게 됨. 두 번째 가격/수량 계산 동안 또 추가적인 취소가 들어왔고 시스템은 또 다시 계산을 수행하게 됨. 이렇게 확인 체크가 실패하고 다시 가격/수량 계산을 하는 상황이 계속 반복되는 루프에 빠지게 되면서 나스닥 시스템이 크로스를 완료할 수 없게 됨
• 11:05am – 트레이딩이 예정된 시간에 시작될 수 없게 되자 나스닥 최고경영진의 비상 전화 회의가 열림. 이 회의 시작 몇 분 후 나스닥의 소프트웨어 엔지니어가 확인 체크 프로세스로부터 문제가 나온다고 판단함(이 당시는 정확한 문제와 그 원인을 알지는 못했음). 나스닥은 먼저 이 확인 체크 시스템 덮어쓰기(override)를 시도했지만 성공적이지 않았음. 나스닥 엔지니어가 매칭 엔진의 백업 버전으로 교체하고 이 백업 시스템으로부터 확인 체크 기능을 구성하는 코드 라인을 제거하는 것을 제안함
• 11:25am – 이 제안을 11:30am에 적용하는 것을 나스닥 최고경영자가 승인함
• 11:30:09am – 나스닥이 백업 시스템으로 이동하고 크로스를 완성함. 나스닥과 다른 거래소에서 페이스북 주식의 트레이딩이 시작됨
• 11:30:09am이 조금 지난 시각 – 크로스에 오더를 낸 멤버들에게 오더 실행 확인이 전달되지 않았음을 전화 불평과 자체 모니터링을 통해 나스닥이 인지함. 한참 후 그 이유가 크로스를 완성하기 위해 백업 시스템으로부터 확인 체크 기능을 제거했기 때문임을 깨닫게 됨
• 11:35am – 나스닥의 비상 전화 회의 참가자들이 페이스북 트레이딩 중단에 대해 논의.  “이상 시장 활동”이 발생하지 않았다고 판단하고 트레이딩을 지속하기로 결정함
• 12:01pm – 한 대규모 투자전문기관의 대표가 나스닥 CEO에게 이메일을 보내어 “나스닥이 여전히 트레이딩 보고서를 보내주지 않아서 우리가 모두 눈이 먼 것과 같은 상황이다. 시장을 따라잡고 우리의 노출(exposure)을 이해할 수 있도록 나스닥이 일정 시간 트레이딩을 중단하면 어떤가”라고 요청했지만 나스닥이 받아들이지 않음
• 12:00pm~1:45pm – 시스템 명령어를 변경하여 오더 확인 전달 문제를 해결하려는 노력이 실패하자 나스닥이 엔지니어를 두 팀으로 분리. 한 팀은 수작업으로 실행 보고서를 생성하여 멤버들에게 이메일로 전달하는 일을 담당하고, 다른 팀은 시스템 문제의 전자적 해결 방법을 찾는 일을 담당. 이 동안 나스닥의 멤버콜센타에는 페이스북 주식에서 자신의 포지션을 결정할 수 없다는 멤버들의 불평 전화가 계속 걸려옴
• 1:45pm – 오더 확인 전달 문제의 전자적 해결법에 대한 제안이 나스닥 경영진에 의해 승인됨. 나스닥이 대략 1:50pm에 전자 확인 보고서(electronic confirmation reports)를 멤버들에게 전달하겠다고 알림
• 1:49:49pm – 나스닥이 멤버들에게 크로스에서 실행된 오더에 대한 모든 확인 메시지를 전달함. 하지만 이 후 또 다른 문제를 깨닫게 됨. 11:11am~11:30:09am의 약 19분 동안 발생한 38,000건 이상의 페이스북 주식 오더가 IPO Cross의 계산에 포함되지 않았음. 원인은 11:30:09am에 백업 시스템으로 전환하면서 IPO Cross가 11:11am까지의 주문장(order book)을 사용함. 따라서 이 후 19분 동안 발생된 오더들이 즉시 실행되지 못하고 취소되거나 2시간이 넘는 시간 동안 나스닥의 시스템에 처박혀 있게 됨(나스닥의 가격/시간 우선 규칙 위반). 나스닥이 누락된 오더들을 뒤늦게 처리했지만 오더를 낸 시점의 가격과 달라짐에 따라 손실을 입은 투자자가 생김

페이스북 IPO 전산 사고의 여파

• 나스닥이 페이스북 IPO를 원활하게 진행하지 못함으로 인해 투자자와 투자전문기관이 약 $500million의 손실을 입은 것으로 추정됨. 보상을 요구하는 투자자들로부터 나스닥이 40개 이상의 소송을 당하게 됨
• 2013년 3월, 나스닥이 페이스북 IPO 피해자에게 $62million을 보상하는 계획을 발표하였고, SEC가 이를 승인함
• 2013년 5월 29일, SEC는 “형편없이 설계된 시스템(poorly designed systems)”과 문제의 근본 원인을 이해하지 못한 채 내린 “성급한 의사결정(hasty decisions)”이 여러 규칙 위반으로 이어졌음을 지적하며 나스닥에 $10million의 벌금을 부과함. 나스닥은 이의 없이 지불에 합의
• 페이스북 상장이 최악의 IPO 사례 중 하나로 기록되면서 나스닥의 명성에 큰 타격을 입음(실제 그 다음 해 트위터가 나스닥 대신 뉴욕증권거래소에 상장을 결정한 데는 이 사고가 영향을 미쳤다는 것이 공통적인 의견)

[2012년 5월 23일자 Reuters TV 영상]