Microsoft во главе списка: пять крупных системных сбоев за одну неделю. Инфраструктура прошлой эпохи не справляется с темпами и требованиями эры ИИ

17 ноября Агентство национальной безопасности США (АНБ) подтвердило сбой в работе NSANet, своей внутренней сети для передачи секретной информации. Инциденту присвоили «желтый код», второй по серьезности уровень в трехуровневой системе оповещения. В тот же день обновление внутренней системы Apple вызвало масштабные перебои в работе портала для сотрудников, внутренних систем авторизации, удаленного доступа через VPN и потребительских сервисов, включая iCloud, App Store и Apple Pay. Во многих розничных магазинах компании по всему миру были нарушены процессы продаж и ремонта.

Днем ранее программная ошибка в системах на собственном оборудовании JPMorgan привела к задержкам в обработке транзакций. Downdetector зафиксировал более 3 000 сообщений о сбоях. Клиенты Bank of America, Wells Fargo и других организаций также сообщали о связанных с этим перебоях. За три дня до этого Федеральное управление гражданской авиации США (FAA) распорядилось приостановить вылеты по всей стране после отказа системы связи: более 5 100 рейсов были отменены, а почти 10 000 задержаны. Череда сбоев началась 12 ноября, когда основные сервисы Microsoft 365 перестали работать как минимум в 70 странах. Outlook, Teams и Copilot вышли из строя одновременно, а перебои продолжались более двух дней.

Аналитика TMGM: новости финансовых рынков, экономический календарь и рыночные инсайты

Шесть дней. Пять критически важных систем. Ни один из инцидентов не был признан атакой, и ни один не связали с ИИ. Однако именно такая трактовка, согласно которой каждый случай был отдельным техническим сбоем, не связанным со злонамеренными действиями, указывает на проблему, решить которую сложнее, чем отразить атаку.


Microsoft: как «наращивание мощностей» обернулось двухдневным сбоем

Согласно предварительному отчету Microsoft для клиентов, опубликованному 15 ноября, и реконструкции событий Bloomberg, сбой начался с планового перенаправления пользовательского трафика. Вечером 11 ноября трафик Teams автоматически направили на другую серверную систему, обслуживавшую трафик Outlook. На фоне того, что часть мощностей уже была недоступна из-за другой, не связанной с этим проблемы, сработала ошибка, которая оставалась скрытой в дата-центрах компании с июля: при резком росте трафика серверы исчерпали доступную оперативную память и начали выходить из строя.

Ситуацию усугубила автоматическая система переключения на резервные ресурсы Microsoft: она перенаправляла дополнительный трафик на другие серверы, которые считала исправными, тем самым распространяя сбой. К утреннему пику деловой активности 12 ноября более 80 % серверов Outlook не отвечали на запросы. Затем Microsoft потребовалось еще 15 часов, чтобы выявить проблему, прежде чем начать развертывание исправления.

Объяснение исполнительного вице-президента Microsoft Ramanna указало на слабое место в процессе тестирования компании: характер трафика и конфигурации оборудования, моделируемые в лабораториях, не отражали реальные условия эксплуатации. Тестирование обычно было сосредоточено на более старых и менее мощных системах, тогда как ошибка, вызвавшая сбои, оказалась «более разрушительной» на новом оборудовании.

Однако человеческий фактор заслуживает не меньшего внимания, чем техническое объяснение. На анонимном форуме о работе Blind пользователь, указавший, что он сотрудник Microsoft, утверждал, что за последние годы команды, отвечающие за ключевую инфраструктуру Microsoft 365, пережили несколько волн сокращений и увольнений по собственному желанию. Инженеры, которые долгое время обслуживали устаревшие системы, ушли, и оставшимся сотрудникам стало трудно быстро диагностировать сложные сбои. Откат систем к предыдущему состоянию, который раньше занимал около 45 минут, теперь мог растянуться на пять часов. По имеющимся сообщениям, во время этого инцидента внутренние инструменты управления инцидентами в какой-то момент перестали нормально загружаться. В результате инженерам из разных подразделений пришлось совместно работать до глубокой ночи, разбираясь в коде и архитектуре сервисов, унаследованных от бывших коллег.

Microsoft публично не комментировала эти утверждения. Однако они согласуются с необычно длительным характером перебоев и тем, что попытки отката не позволили устранить проблему.


Что происходит на самом деле: растущий разрыв между темпами развития ИИ и обновления инфраструктуры

Ни один из этих пяти инцидентов не связали с ИИ. Microsoft прямо заявила, что «ИИ или агенты» к сбою отношения не имели, а FAA и АНБ также исключили ИИ из числа возможных факторов. Но «не вызвано ИИ» и «не связано с эпохой ИИ» не означают одно и то же.

Сейчас наблюдается расхождение двух кривых. Одна отражает частоту изменений и интенсивность нагрузок, обусловленных ИИ: меняется характер трафика, меняются конфигурации оборудования, ускоряется выпуск обновлений программного обеспечения, а тестовые среды и возможности реагирования на инциденты не успевают за этими переменами. Другая отражает циклы обновления инфраструктуры: сроки эксплуатации медных кабелей и маршрутизаторов FAA измеряются десятилетиями, сети АНБ развиваются в масштабе поколений, а внутренние возможности Microsoft по поддержке устаревших систем сокращаются квартал за кварталом.

ИИ позволяет выявлять большое количество системных уязвимостей с беспрецедентной скоростью. Это вынуждает компании и государственные ведомства устранять их немедленно, зачастую устанавливая сразу несколько исправлений. В результате значительная нагрузка ложится на системы, которые никогда не были рассчитаны на столь быстрые изменения. Причинно-следственная связь здесь не в том, что ИИ создает уязвимости, а в том, что он ускоряет темп изменений, тогда как системы, которым приходится адаптироваться к этим изменениям, проектировались для более медленного ритма.

Случай Microsoft наиболее наглядно иллюстрирует этот механизм. Ошибка оставалась скрытой с июля. Плановое перенаправление трафика привело к ее проявлению. Автоматическое переключение на резервные ресурсы усугубило сбой. А утрата компетенций в обслуживании устаревших систем сделала восстановление необычно медленным. Ни один из этих этапов сам по себе не был связан с работой ИИ, однако каждый происходил в условиях давления, вызванного расширением облачных сервисов под влиянием ИИ.