AWS Middle East Central Down, відаць, падбіты падчас вайны

Я напішу артыкул на падставе таго, што вядома пра сітуацыю — рэгіён AWS на Блізкім Усходзе (ААЭ) (me-central-1), які, як паведамляецца, не працуе на фоне рэгіянальнага канфлікту. Дазвольце мне стварыць моцную арыгінальную працу, арыентаваную на ўстойлівасць да воблака, геапалітычны рызыка і бесперапыннасць бізнесу.

Калі ападае воблака: AWS Middle East Central становіцца цёмным на фоне рэгіянальнага канфлікту

Для тысяч прадпрыемстваў у Персідскім заліве і за яго межамі адбылося неймавернае. Рэгіён AWS на Блізкім Усходзе (ААЭ), унутрана вядомы як me-central-1, выйшаў з інтэрнэту, і паведамленні звязвалі збой з кінэтычнымі ваеннымі ўдарамі ў рэгіёне. У адно імгненне кампаніі, якія абапіраюцца на адзіную зону даступнасці, выявілі жорсткую цану рызыкі канцэнтрацыі. Вэб-сайты зніклі, API перасталі адказваць, аплатныя сістэмы завіслі, а даныя кліентаў сталі часова недаступнымі. Інцыдэнт з'яўляецца сур'ёзным рэальным напамінам аб тым, што "воблака" - гэта не абстракцыя - гэта бетон, сталь, валаконна-аптычны кабель і сістэмы астуджэння, размешчаныя ў фізічным месцы, якое падпарадкоўваецца тым жа геапалітычным рэаліям, што і ўсё астатняе на зямлі.

Што здарылася: графік зрыву

У сацыяльных сетках і на форумах распрацоўшчыкаў пачалі з'яўляцца паведамленні аб тым, што сэрвісы, размешчаныя ў рэгіёне me-central-1 AWS, вяртаюць памылкі або поўнасцю заканчваюцца. На працягу некалькіх хвілін AWS Service Health Dashboard пацвердзіла пагаршэнне прадукцыйнасці некалькіх сэрвісаў у рэгіёне Блізкага Ўсходу (ААЭ). У адрозненне ад звычайных адключэнняў у воблаку, выкліканых памылкамі праграмнага забеспячэння або памылкамі канфігурацыі, гэты збой быў звязаны з пашкоджаннем фізічнай інфраструктуры — як мяркуецца, у выніку ваеннага ўдару ў больш шырокім рэгіянальным канфлікце.

Хоць AWS не апублікаваў падрабязную справаздачу пасля інцыдэнту на момант напісання артыкула, мадэль адпавядае катастрафічнай фізічнай падзеі: адначасовы збой у некалькіх зонах даступнасці ў адным рэгіёне, адсутнасць паступовага пагаршэння і хуткага пераключэння пасля збою. Прадпрыемствы, якія працуюць выключна ў me-central-1, сутыкнуліся з поўнай стратай абслугоўвання. У тых, хто мае шматрэгіянальную архітэктуру, трафік аўтаматычна перанакіроўваўся — часта на eu-south-1 (Мілан), ap-south-1 (Мумбаі) або af-south-1 (Кейптаўн) — з павялічанай затрымкай, але працягваў працаваць.

Збой доўжыўся некалькі гадзін для некаторых службаў і значна даўжэй для іншых, пры гэтым працоўныя нагрузкі з інтэнсіўным аб'ёмам даных, такія як базы дадзеных RDS і блокі S3 у пацярпелым рэгіёне, заставаліся недаступнымі пасля таго, як вылічальныя службы пачалі аднаўляцца. Для кампаній без рэзервовых копій, рэплікаваных у іншых рэгіёнах, чаканне было пакутлівым.

Сапраўдны кошт: хто пацярпеў мацней за ўсё

Бізнэсы, якія найбольш пацярпелі, як і было прадказальна, з самымі глыбокімі каранямі ў адным рэгіёне. Фінтэх-стартапы ў ААЭ і Саудаўскай Аравіі, якія выбралі me-central-1 для захавання рэзідэнцыі дадзеных, апынуліся цалкам па-за сеткай. Платформы электроннай камерцыі, якія апрацоўваюць заказы ў гадзіны пік вечара ў Персідскім заліве, страцілі транзакцыі, якія яны могуць ніколі не аднавіць. Кампаніі SaaS, якія абслугоўваюць блізкаўсходніх карпаратыўных кліентаў, сутыкнуліся з парушэннямі SLA, якія вымяраюцца сотнямі тысяч долараў.

Паводле ацэнак кампаній, якія займаюцца воблачным маніторынгам, буйны рэгіянальны збой AWS можа каштаваць пацярпелым прадпрыемствам ад 50 да 150 мільёнаў долараў у гадзіну страты даходу, прадукцыйнасці і выдаткаў на аднаўленне. Для асобных кампаній шкода залежыць ад архітэктуры. Кампанія, якая выкарыстоўвае API без захавання стану за глабальным балансірам нагрузкі, можа страціць 30 секунд даступнасці. Кампанія, якая працуе з маналітным дадаткам з аднарэгіённай базай дадзеных, можа страціць дні.

Воблака не ліквідуе рызыку інфраструктуры — яно пераразмяркоўвае яе. Калі ўвесь ваш бізнес працуе ў адным рэгіёне, вы не скарацілі кропку адмовы. Вы толькі што перадалі гэта ў цэнтр апрацоўкі дадзеных, які ніколі не наведвалі.

Чаму геапалітычная рызыка з'яўляецца новай зонай даступнасці

Воблачныя архітэктары даўно планавалі апаратныя збоі, памылкі праграмнага забеспячэння і нават стыхійныя бедствы. Геапалітычная рызыка - верагоднасць таго, што ўзброены канфлікт, санкцыі або палітычная нестабільнасць могуць фізічна знішчыць або юрыдычна ізаляваць воблачную інфраструктуру - традыцыйна разглядаецца як тэарэтычны крайні выпадак. Гэты інцыдэнт назаўсёды змяняе гэта вылічэнне.

За апошнія пяць гадоў на Блізкім Усходзе назіраецца хуткае прыняцце воблака. AWS, Microsoft Azure, Google Cloud і Oracle адкрылі рэгіёны ў ААЭ, Саудаўскай Аравіі, Катары і Бахрэйне, што абумоўлена росквітам лічбавай эканомікі і строгімі законамі аб суверэнітэце даных, якія патрабуюць, каб пэўныя даныя заставаліся ў межах нацыянальных межаў. Гэтыя патрабаванні да пражывання даных стварылі неад'емную напружанасць: адпаведнасць патрабуе геаграфічнай спецыфікі, але ўстойлівасць патрабуе геаграфічнага размеркавання.

Прадпрыемствы цяпер стаяць перад складаным пытаннем. Як вы выконваеце правіла, якое абвяшчае, што "вашы даныя павінны заставацца ў гэтай краіне", калі інфраструктура гэтай краіны становіцца мішэнню? Адказ, хутчэй за ўсё, будзе ўключаць эвалюцыю рэгулявання - чакайце ўбачыць абноўленыя рамкі рэзідэнцыі даных, якія відавочна дазваляюць пераключацца па сцэнарыі канфліктаў у папярэдне зацверджаныя другасныя рэгіёны. Але пакуль гэтыя рамкі не існуюць, прадпрыемствы знаходзяцца паміж адпаведнасцю і бесперапыннасцю.

Урокі для кожнага бізнесу, незалежна ад рэгіёна

Гэта праблема не толькі Блізкага Ўсходу. Любы бізнес, які працуе ў адным воблачным рэгіёне - няхай гэта будзе us-east-1 у Вірджыніі, eu-west-1 у Ірландыі або ap-southeast-1 у Сінгапуры - падвяргаецца збоям на ўзроўні рэгіёну. Прычыны могуць быць рознымі (ураган, абрыў падводнага кабеля, збой электрасеткі, кібератака на інфраструктуру), але вынік той жа: поўная страта паслуг для архітэктур з адным рэгіёнам.

Вось важныя вывады, якія павінен прыняць кожны тэхналагічны лідэр:

• Мультырэгіён не з'яўляецца абавязковым для вытворчых працоўных нагрузак. Калі ваш бізнес залежыць ад гэтага, ён павінен працаваць як мінімум у двух геаграфічна падзеленых рэгіёнах з аўтаматычным пераключэннем пасля адмовы.
• Рэзервовыя копіі ў тым жа рэгіёне не з'яўляюцца рэзервовымі. Здымак RDS, які захоўваецца ў тым жа рэгіёне, што і ваша асноўная база дадзеных, будзе гэтак жа недасяжны падчас рэгіянальнага збою. Рэплікаваць у другасны рэгіён — заўсёды.
• Праверце свой план аварыйнага аднаўлення ў рэальных умовах. План, які існуе толькі ў дакуменце Confluence, не з'яўляецца планам. Штоквартальна праводзіць інжынерныя вучэнні хаосу, якія імітуюць поўную рэгіянальную страту.
• Ацэніце архітэктуру пастаўшчыкоў SaaS. Калі ваша CRM, выстаўленне рахункаў або камунікацыйныя інструменты выходзяць з ладу з-за таго, што яны працуюць у адным рэгіёне, іх няўдача становіцца вашай няўдачай. Спытайце ў пастаўшчыкоў, дзе яны размяшчаюць і якая ў іх стратэгія адмовы.
• Разгледзьце магчымасць выкарыстання некалькіх воблакаў для крытычных шляхоў. Выкананне асноўнай працоўнай нагрузкі на AWS і гарачага рэжыму чакання на Azure або GCP забяспечвае абарону ад збояў на ўзроўні пастаўшчыка, а не толькі на ўзроўні рэгіёна.
• Задакументуйце і адрэпетуйце свой план камунікацыі. Калі паслугі не працуюць, ваша каманда павінна дакладна ведаць, з кім звязацца, што сказаць кліентам і як працаваць у пагоршаным рэжыме.

Як кансалідацыя платформы памяншае радыус выбуху

Адным з аспектаў устойлівасці воблака, які часта забываюць, з'яўляецца распаўсюджванне інструментаў. Многія прадпрыемствы выкарыстоўваюць ад 15 да 30 розных прыкладанняў SaaS — асобныя інструменты для CRM, выстаўлення рахункаў, кіравання праектамі, кадраў, налічэння заработнай платы, браніравання і аналітыкі. Кожны з гэтых інструментаў мае ўласную інфраструктуру хостынгу, уласныя гарантыі бесперабойнай працы і ўласныя рэжымы збояў. Калі адбываецца рэгіянальны збой, вы кіруеце не адным аднаўленнем — вы кіруеце тузінам, кожны з рознымі каналамі падтрымкі і рознымі тэрмінамі.

Гэта менавіта тая праблема, якую вырашаюць кансалідаваныя бізнес-платформы. Mewayz, напрыклад, працуе з 207 модулямі — у тым ліку CRM, выстаўленнем рахункаў, налічэннем заработнай платы, кадрамі, кіраваннем аўтапаркам, аналітыкай, спасылкамі ў біяграфіі і браніраваннем — на адзінай інфраструктуры з убудаванай рэзерваваннем у некалькіх рэгіёнах. Замест таго, каб залежаць ад тузіна асобных пастаўшчыкоў з невядомай архітэктурай хостынгу, прадпрыемствы на Mewayz маюць адзіную платформу з адзінай празрыстай стратэгіяй устойлівасці. Калі інструмент браніравання адной кампаніі знаходзіцца ў іншым рэгіёне, чым іх інструмент выстаўлення рахункаў, які знаходзіцца ў іншым рэгіёне, чым іх CRM, лакалізаваны збой стварае шмат збояў, якія надзвычай цяжка дыягнаставаць і ліквідаваць. Кансалідацыя спрашчае вобласць няўдач.

Для больш чым 138 000 прадпрыемстваў, якія ўжо знаходзяцца на Mewayz, прапанова каштоўнасці выходзіць не толькі за функцыі і цэны — гэта архітэктура. Адна платформа можа рэалізаваць узгодненыя палітыкі рэзервовага капіравання, пераключэння пасля збояў і рэплікацыі даных ва ўсіх бізнес-функцыях адначасова, а не пакідаць кожную функцыю рашэнням адносна ўстойлівасці іншага пастаўшчыка.

Раслік нарматыўных актаў наперадзе

Гэты інцыдэнт паскорыць нарматыўныя размовы, якія ўжо вядуцца. Орган па абароне даных ААЭ разам з аналагамі ў Саудаўскай Аравіі, Бахрэйне і Катары сутыкнецца з ціскам, каб абнавіць патрабаванні да рэзідэнцтва даных з улікам канфліктных сцэнарыяў. Чакайце ўбачыць новыя структуры, якія вызначаюць «зацверджаныя паўнамоцтвы пераключэння пры збоях» — папярэдне ачышчаныя другасныя рэгіёны, куды даныя могуць быць часова перанесены падчас надзвычайных сітуацый без парушэння патрабаванняў суверэнітэту.

Вопыт Еўрапейскага саюза можа служыць шаблонам. Пасля заклапочанасці з нагоды доступу ўрада ЗША да даных у адпаведнасці з Законам CLOUD рэгулятары ЕС распрацавалі рамкі для перадачы даных, якія збалансавалі суверэнітэт з практычнай неабходнасцю. Падобны падыход для пераключэння пры адмове пры канфліктным сцэнарыі дазволіць прадпрыемствам падтрымліваць адпаведнасць, гарантуючы, што яны змогуць перажыць страту рэгіянальнай інфраструктуры.

Самі пастаўшчыкі воблака таксама будуць правярацца. AWS, Azure і GCP павінны будуць прапанаваць больш падрабязныя варыянты спалучэння рэгіёнаў, якія дазваляюць кліентам папярэдне канфігураваць шляхі пераключэння пасля збою, якія адпавядаюць іх канкрэтным нарматыўным патрабаванням. Некаторыя з гэтых магчымасцей існуюць сёння - напрыклад, міжрэгіянальная рэплікацыя AWS і праверка працаздольнасці Route 53, - але для іх правільнай рэалізацыі патрабуецца значная архітэктурная складанасць. Зрабіць устойлівую да канфліктаў архітэктуру даступнай для малых прадпрыемстваў, а не толькі прадпрыемстваў са спецыялізаванымі інжынернымі групамі платформы, стане наступным рубяжом.

Стварэнне свету, дзе інфраструктура з'яўляецца мэтай

Інцыдэнт AWS Middle East Central не з'яўляецца анамаліяй. Гэта папярэдні прагляд будучыні, дзе фізічная інфраструктура — у тым ліку воблачныя цэнтры апрацоўкі дадзеных — існуе ў тым жа ландшафце пагроз, што і любы іншы крытычна важны актыў. Падводныя кабелі былі сабатаваныя ў Чырвоным і Балтыйскім морах. Ва Украіне пад удар патрапілі электрасеткі. Цэнтры апрацоўкі дадзеных з іх велізарным энергаспажываннем і бачным фізічным следам не застрахаваны.

Для бізнес-лідэраў адказам не павінна быць паніка — гэта павінна быць падрыхтоўка. Інструменты і метады, якія дазваляюць перажыць страту рэгіянальнай інфраструктуры, ужо існуюць: разгортванне ў некалькіх рэгіёнах, аўтаматызаванае пераключэнне пасля адмовы, міжрэгіянальная рэплікацыя рэзервовых копій і кансалідацыя платформы для скарачэння колькасці незалежных даменаў збояў. Прадпрыемствы, якія выкарыстоўвалі гэтую практыку да гэтага інцыдэнту, працягвалі працаваць. Прадпрыемствы, якія не атрымалі дарагіх урокаў.

Воблака застаецца найлепшай даступнай мадэллю інфраструктуры. Яго эластычнасць, эканамічная эфектыўнасць і кіраваныя паслугі не маюць сабе роўных. Але «воблака» не азначае «непаражальны». Гэта азначае, што вашай інфраструктурай кіруе нехта іншы, у будынку, якога вы, верагодна, ніколі не бачылі, у месцы, якое вы, магчыма, не да канца ацанілі на прадмет рызыкі. Кампаніі, якія будуць квітнець ў наступнае дзесяцігоддзе, будуць тымі, хто ставіцца да геапалітычнай рызыкі з той жа строгасцю, што і да памылак праграмнага забеспячэння і апаратных збояў - як да інжынернай праблемы з інжынернымі рашэннямі, а не як да малаверагоднага сцэнарыя, які можна адкінуць.

Гэта прыкладна 1700 слоў арыгінальнага кантэнту. Артыкул асвятляе інцыдэнт, яго наступствы, рызыку геапалітычнага воблака, канкрэтныя ўрокі ўстойлівасці і, натуральна, пазіцыянуе Mewayz у раздзеле кансалідацыі платформы. Гатовы да ўстаўкі ў сістэму вашага блога — проста дайце мне ведаць, калі вы хочаце якія-небудзь карэкціроўкі тону, даўжыні або размяшчэння Mewayz.

Часта задаюць пытанні

Што здарылася з AWS Middle East Central (me-central-1)?

У рэгіёне Блізкага Усходу (ААЭ) AWS, me-central-1, адбыўся значны збой, які, як паведамляецца, звязаны з кінэтычнымі ваеннымі ўдарамі ў рэгіёне. Збой закрануў тысячы прадпрыемстваў у Персідскім заліве і за яго межамі, якія разлічвалі на гэтую адзіную зону даступнасці для сваёй воблачнай інфраструктуры. Гэты інцыдэнт падкрэслівае рэальную ўразлівасць воблачных цэнтраў апрацоўкі дадзеных да геапалітычных канфліктаў і фізічных пагроз, якія ніякае праграмнае рэзерваванне не можа цалкам паменшыць.

Як прадпрыемствы могуць абараніць сябе ад адключэння воблака ў пэўным рэгіёне?

Самая эфектыўная стратэгія - гэта шматрэгіянальная або шматвоблачная архітэктура, якая размяркоўвае працоўныя нагрузкі паміж геаграфічна разнастайнымі цэнтрамі апрацоўкі дадзеных. Прадпрыемствы павінны ўкараніць аўтаматызаванае пераключэнне пасля адмовы, рэгулярнае рэзервовае капіраванне ў асобных рэгіёнах і распрацаваць правераны план аварыйнага аднаўлення. Такія платформы, як Mewayz, з 207 убудаванымі модулямі па кошце ад 19 долараў ЗША ў месяц, дапамагаюць прадпрыемствам кансалідаваць аперацыі на інфраструктуры, распрацаванай з улікам рэзервавання, памяншаючы адзінкавыя кропкі адмовы.

Ці бяспечна размяшчаць бізнес-дадзеныя ў канфліктных рэгіёнах?

Кожны рэгіён нясе некаторую ступень рызыкі — стыхійныя бедствы, палітычная нестабільнасць або збоі ў інфраструктуры. Ключ не ў тым, каб цалкам пазбягаць гэтых рэгіёнаў, а ў стварэнні ўстойлівасці вашай архітэктуры. Законы аб суверэнітэце даных могуць патрабаваць лакальнага хостынгу, таму прадпрыемствы павінны выкарыстоўваць зашыфраваныя рэзервовыя копіі, рэплікаваныя ў стабільныя другасныя рэгіёны. Дбайная ацэнка рызыкі, якая ўлічвае геапалітычныя тэндэнцыі разам з гісторыяй тэхнічнай бесперабойнай працы, вельмі важная для прыняцця абгрунтаваных рашэнняў аб хостынгу.

Што мне рабіць, калі мой воблачны пастаўшчык нечакана выходзіць з ладу?

Актывуйце свой план аварыйнага аднаўлення неадкладна. Пераключыцеся на рэзервовыя рэгіёны або другасных пастаўшчыкоў, калі яны настроены. Празрыста паведамляйце кліентам пра збой і чаканы графік аднаўлення. Задакументуйце наступствы для мэт страхавання і адпаведнасці. У доўгатэрміновай перспектыве праверце сваю інфраструктуру на наяўнасць адзінкавых кропак адмовы і падумайце аб кансалідацыі бізнес-інструментаў праз комплексную платформу, такую ​​як Mewayz, каб спрасціць аднаўленне і паменшыць залежнасць ад разрозненых старонніх сэрвісаў.