마이크로소프트, 전 세계 마이크로소프트 365 대규모 장애 원인으로 7월부터 잠재돼 있던 소프트웨어 버그 지목

11월 12일 발생한 서비스 장애는 전 세계 기업 및 정부 고객의 일상 업무에 심각한 차질을 빚었으며, 단일 클라우드 제공업체에 대한 높은 의존도가 초래하는 운영상의 취약성과 집중 리스크를 다시 한번 드러냈습니다. 일요일에 고객 대상 예비 보고서가 공개된 데 이어, 월요일에는 마이크로소프트 수석부사장이 X를 통해 이번 장애에 대해 공식 사과했습니다. 장애가 가장 심각했던 시점에는 Exchange Online을 지원하는 네트워크 게이트웨이 서버의 80% 이상이 응답하지 않았습니다. Teams, OneDrive, SharePoint 등의 애플리케이션은 정상 작동 중인 인프라로 신속히 전환됐지만, Outlook과 Exchange Online은 미국 업무가 가장 집중되는 시간대에도 결함이 있는 게이트웨이에 계속 의존했습니다.

TMGM Analysis: Financial Market News, Economic Calendar & Market Insights

이번 장애는 세 가지 운영상 요인이 복합적으로 작용하면서 발생했습니다. 11월 11일 늦은 시간, 정기적인 자동 트래픽 관리 과정에서 Teams 트래픽이 이미 Outlook 트래픽을 처리하고 있던 주 네트워크 게이트웨이로 재라우팅됐습니다. 한편, 이와 별개로 전날 수행된 유지보수로 해당 게이트웨이 서버 용량의 약 14%가 오프라인 상태였기 때문에, 시스템에는 급증한 트래픽을 감당할 여유 용량이 없었습니다.

11월 12일 트래픽이 급증하면서 7월 게이트웨이 업데이트 때 유입된 내부 잠금 경합 버그가 발현됐고, 이로 인해 서버의 메모리가 고갈되며 연쇄적으로 장애가 발생했습니다. Ramanna는 배포 전 표준 실험실 테스트에서 지난 3개월간 이 버그를 발견하지 못한 이유에 대해, 테스트 환경이 경합 문제를 유발할 가능성이 더 높은 고코어 수의 최신 프로세서보다 프로세서 코어 수가 적은 구형 하드웨어에 우선순위를 뒀기 때문이라고 설명했습니다.

자동 트래픽 관리 시스템은 사용자를 정상 작동 중인 노드로 재라우팅하려 했지만, 이 과정에서 남아 있던 서버에 과부하가 걸리며 오히려 장애 확산이 가속화됐습니다. 동시에 별도의 문제로 인해 표준 파티션 격리 메커니즘도 장애를 특정 리전 내에 국한하지 못했습니다. 그 결과, 버그는 2시간도 채 되지 않아 마이크로소프트의 글로벌 서버 인프라 전반으로 확산됐습니다.

복구에는 이례적으로 오랜 시간이 걸렸습니다. 엔지니어들은 근본 원인을 파악하는 데 약 15시간을 소요했으며, 이후 수정 사항 배포를 시작하기까지 추가로 15시간이 걸렸습니다. 문제가 있는 코드가 수개월간 적용돼 있었기 때문에 표준 롤백 도구와 기능 전환 스위치는 효과가 없었습니다. 엔지니어들은 영향을 받은 각 리전에서 한 번에 인프라의 절반 이상을 오프라인으로 전환하고, 코드를 점진적으로 이전 상태로 되돌린 뒤 누적된 사용자 트래픽을 단계적으로 복구해야 했습니다.

시장 인사이트:

이번 사고는 기업들이 통합 생산성 도구와 AI 서비스에 점점 더 의존하면서 초대규모 클라우드 인프라 관리의 복잡성도 커지고 있음을 보여줍니다. 앞으로 기관 고객과 시장 관계자들은 고밀도 하드웨어 배치가 숨겨진 시스템적 리스크를 초래하지 않는지 확인하기 위해 마이크로소프트의 부하 테스트 절차와 장애 조치 보호 체계를 더욱 면밀히 살펴볼 것으로 예상됩니다.