
17 қарашада NSA құпия ақпаратты тасымалдауға арналған ішкі желісі NSANet жұмысында іркіліс болғанын растады. Оқиғаға үш деңгейлі ескерту жүйесіндегі маңыздылығы жағынан екінші деңгей саналатын «Сары код» мәртебесі берілді. Сол күні Apple компаниясының ішкі жүйесін жаңарту қызметкерлер порталының, ішкі жүйелерге кіру сервистерінің, қашықтан VPN арқылы қосылу мүмкіндігінің, сондай-ақ iCloud, App Store және Apple Pay сияқты тұтынушылық сервистердің жұмысында ауқымды іркілістерге әкелді. Әлемнің түкпір-түкпіріндегі көптеген бөлшек сауда дүкендерінде сату және жөндеу жұмыстары тоқтап қалды.
Бұдан бір күн бұрын JPMorgan компаниясының өз аумағында орналасқан аппараттық жүйелеріндегі бағдарламалық қате транзакцияларды өңдеуді кідіртті. Downdetector қызметі іркілістер туралы 3 000-нан астам хабарламаны тіркеді. Bank of America, Wells Fargo және басқа да мекемелердің клиенттері де осыған байланысты іркілістер болғанын хабарлады. Одан үш күн бұрын байланыс жүйесіндегі ақаудан кейін FAA бүкіл ел бойынша ұшақтардың ұшуына уақытша тыйым салды: 5 100-ден астам рейс тоқтатылып, 10 000-ға жуығы кешікті. Бұл оқиғалар тізбегі 12 қарашада, кемінде 70 елде Microsoft 365 негізгі сервистерінің жұмысы тоқтаған кезде басталды. Outlook, Teams және Copilot бір мезгілде істен шығып, іркілістер екі күннен астам уақытқа созылды.

Алты күн. Маңызы аса жоғары бес жүйе. Оқиғалардың ешқайсысы шабуыл деп танылған жоқ, ешқайсысы жасанды интеллектпен (ЖИ) байланыстырылмады. Алайда әрқайсысы қасақана әрекеттен туындамаған, бір-біріне қатысы жоқ техникалық ақау болды деген осы түсіндірменің өзі шабуыл салдарын жоюдан да қиын мәселені ашып көрсетеді.
Microsoft: «Қуатты арттыру» қалай екі күндік іркіліске ұласты
Microsoft компаниясының 15 қарашада жариялаған клиенттерге арналған алдын ала есебіне және Bloomberg қалпына келтірген оқиғалар барысына сәйкес, іркіліс пайдаланушы трафигін әдеттегідей қайта бағыттаудан басталған. 11 қараша күні кешке Teams трафигі Outlook трафигін өңдейтін басқа серверлік жүйеге автоматты түрде бағытталған. Басқа бір мәселеге байланысты қуаттың бір бөлігі бұған дейін де қолжетімсіз болғандықтан, бұл өзгеріс компанияның деректер орталықтарында шілдеден бері білінбей келген бағдарламалық қатені іске қосты: трафик күрт артқан кезде серверлердің жады таусылып, олар істен шыға бастады.
Одан да ауыр салдарға Microsoft компаниясының резервтік жүйелерге автоматты ауысу тетігі әкелді: ол қосымша трафикті жұмысқа жарамды деп бағалаған басқа серверлерге бағыттап, ақаудың таралуына себеп болды. 12 қараша күні таңертең жұмыс трафигі шарықтаған кезде Outlook серверлерінің 80%-дан астамы сұрауларға жауап бермей қалды. Содан кейін Microsoft ақауды түзету шараларын енгізуге кіріспес бұрын, мәселенің себебін анықтауға тағы 15 сағат жұмсады.
Microsoft компаниясының атқарушы вице-президенті Ramanna берген түсіндірме компанияның тестілеу үдерісіндегі ескерілмеген тұсты көрсетті: зертханаларда модельденген трафик үлгілері мен аппараттық конфигурациялар нақты пайдалану жағдайларына сәйкес келмеген. Әдетте тестілеу ескілеу, қуаты төменірек жүйелерге бағытталған, ал істен шығуға себеп болған бағдарламалық қате жаңа жабдықта «анағұрлым жойқын» болып шыққан.
Алайда адам факторына да техникалық түсіндірмеден кем назар аудармау керек. Жұмыс мәселелері талқыланатын анонимді Blind форумында өзін Microsoft қызметкері деп таныстырған пайдаланушы соңғы жылдары Microsoft 365 негізгі инфрақұрылымына жауапты командаларда бірнеше рет қызметкерлерді қысқарту болғанын және мамандардың өз еркімен де кеткенін мәлімдеді. Ескі жүйелерге ұзақ уақыт бойы қызмет көрсетіп келген инженерлер жұмыстан кеткендіктен, қалған қызметкерлерге күрделі ақауларды жедел анықтау қиынға соққан. Бұрын шамамен 45 минут алатын жүйелерді алдыңғы күйіне қайтару енді бес сағатқа созылуы мүмкін болған. Мәліметтерге қарағанда, осы оқиға кезінде бір сәтте инциденттерді басқаруға арналған ішкі құралдар да дұрыс жүктелмей қалған. Соның салдарынан инженерлер бұрынғы әріптестерінен қалған код пен сервистердің архитектурасын зерттеу үшін әртүрлі бөлімдермен бірлесе отырып, түнге дейін жұмыс істеуге мәжбүр болған.
Microsoft бұл мәлімдемелерге жария түрде жауап берген жоқ. Дегенмен олар іркілістің әдеттен тыс ұзаққа созылуымен және жүйелерді алдыңғы күйіне қайтару әрекеттерінің мәселені шеше алмауымен үйлеседі.
Шын мәнінде не болып жатыр: ЖИ даму қарқыны мен инфрақұрылымды жаңарту арасындағы алшақтық ұлғаюда
Осы бес оқиғаның ешқайсысы ЖИ-мен байланыстырылған жоқ. Microsoft «ЖИ немесе агенттердің» қатысы барын ашық жоққа шығарды, ал FAA мен NSA да ЖИ-ді ықтимал себептер қатарынан алып тастады. Бірақ «ЖИ салдарынан болған жоқ» деу мен «ЖИ дәуіріне қатысы жоқ» деу екі бөлек нәрсе.
Қазір екі қисықтың бір-бірінен алшақтауы байқалып отыр. Біріншісі ЖИ ықпалынан туындайтын өзгерістердің жиілігі мен жұмыс жүктемесінің қарқындылығын көрсетеді: трафик үлгілері де, аппараттық конфигурациялар да өзгеріп, бағдарламалық қамтылымды жаңарту жеделдеп жатыр, ал тестілеу орталары мен инциденттерге ден қою мүмкіндіктері осы қарқынға ілесе алмай келеді. Екіншісі инфрақұрылымды жаңарту циклдерін көрсетеді: FAA-ның мыс кабельдері мен маршрутизаторларын пайдалану мерзімі ондаған жылмен өлшенеді, NSA желілері буындар ауысқан сайын дамиды, ал Microsoft компаниясының ескі жүйелерге қызмет көрсету жөніндегі ішкі әлеуеті тоқсан сайын әлсіреп барады.
ЖИ жүйелердегі көптеген осалдықты бұрын-соңды болмаған жылдамдықпен анықтауға мүмкіндік береді. Бұл компаниялар мен мемлекеттік органдарға оларды дереу жою үшін орасан қысым түсіреді. Көбіне бір мезгілде бірнеше түзету пакеті орнатылады да, мұншалықты жылдам өзгерістерге ешқашан бейімделмеген жүйелерге едәуір салмақ түседі. Мұндағы себеп-салдар байланысы ЖИ-дің осалдықтарды туындатуында емес, өзгерістер қарқынын жеделдетуінде, ал сол өзгерістерді қабылдайтын жүйелердің баяуырақ қарқынға арналып жасалғанында.
Microsoft оқиғасы бұл тетікті барынша айқын көрсетеді. Бағдарламалық қате шілдеден бері білінбей келген. Трафикті әдеттегідей қайта бағыттау оны іске қосты. Резервтік жүйелерге автоматты ауысу ақауды ушықтырды. Ал ескі жүйелерге қызмет көрсету бойынша жинақталған тәжірибенің жоғалуы қалпына келтіруді әдеттен тыс баяулатты. Осы қадамдардың ешқайсысы жеке алғанда ЖИ әрекеті болған жоқ, бірақ олардың әрқайсысы ЖИ ықпалымен бұлттық сервистердің кеңеюі туғызған қысым жағдайында орын алды.