Каскадныя аперацыі знешніх ключоў MySQL нарэшце трапілі ў двайковы журнал

Каскадныя аперацыі знешніх ключоў MySQL цяпер з'яўляюцца ў двайковым журнале, адзначаючы доўгачаканую змену, якая непасрэдна ўплывае на рэплікацыю, аўдыт і аднаўленне даных для прыкладанняў, якія кіруюцца базай дадзеных. Гэтая паводніцкая змена — паступова ўведзеная ў версіі MySQL — закрывае крытычны прабел, які раней выклікаў бясшумныя неадпаведнасці даных у рэплікаваных асяроддзях.

Што такое каскадныя аперацыі замежнага ключа і чаму яны засталіся па-за двайковым журналам?

Абмежаванні знешніх ключоў забяспечваюць цэласнасць спасылак паміж табліцамі. Калі вы вызначаеце ON DELETE CASCADE або ON UPDATE CASCADE, MySQL аўтаматычна распаўсюджвае змены з бацькоўскай табліцы ў звязаныя даччыныя радкі. На працягу многіх гадоў гэтыя каскадныя змены дзейнічалі як нябачныя пабочныя эфекты - ініцыяваны аператар запісваўся, але наступныя радкі, на якія паўплываў каскад, не запісваліся як незалежныя падзеі ў двайковым журнале.

Гэта не было недаглядам. Першапачаткова каманда MySQL меркавала, што рэплікі, якія маюць аднолькавую схему і вызначэнні знешніх ключоў, будуць аўтаматычна прайграваць каскады пры паўторным прайграванні асноўнага аператара. Логіка трымалася — пакуль не стала. Дрэйф схемы, фільтры частковай рэплікацыі, розныя канфігурацыі механізму захоўвання дадзеных і сцэнарыі аднаўлення на пэўны момант - усё гэта выкрыла далікатнасць гэтай здагадкі. Адзіны прапушчаны каскад можа стварыць розныя копіі, якія здаюцца спраўнымі, пакуль крытычныя для вытворчасці запыты не дадуць няправільныя вынікі.

Як насамрэч працуе новы рэжым каскаднага вядзення часопіса?

З абноўленымі паводзінамі MySQL запісвае радкі, якія закранаюцца каскаднымі аперацыямі, як відавочныя падзеі радкоў у двайковым журнале, адразу пасля выклікаючага аператара DML. Калі вы выдаляеце бацькоўскі запіс і тры даччыныя запісы каскадуюцца, усе чатыры змены радкоў цяпер адлюстроўваюцца як розныя запісы журнала, якія можна правяраць.

Тут важны фармат запісу. Двайковы журнал на аснове радкоў (RBL) - гэта фармат, які робіць гэта магчымым з поўнай дакладнасцю. Рэгістрацыя на аснове аператараў не можа надзейна зафіксаваць вынікі дынамічнага каскаду, таму што вынік залежыць ад стану даных падчас выканання, а не ад самога тэксту SQL. У такіх сітуацыях вядзенне журнала ў змешаным рэжыме прымяняе фармат радка выбарачна.

Ключавая інфармацыя: уключэнне двайковага журнала на аснове радкоў - гэта не проста перавага рэплікацыі - цяпер гэта неабходная ўмова для фіксацыі поўнага, правяранага аўдытарскага следу кожнай змены даных у сістэмах, якія выкарыстоўваюць абмежаванні знешніх ключоў. Без яго каскадныя эфекты застаюцца часткова нябачнымі для вашых інструментаў.

Адміністратары базы даных павінны праверыць свае налады binlog_format і перагледзець здагадкі аб тапалогіі рэплікацыі, калі яны гістарычна абапіраліся на каскаднае выкананне на баку рэплікі для гарантый паслядоўнасці.

Якія рэальныя праблемы гэта вырашае для каманд прыкладанняў?

Наступствы выходзяць далёка за межы тэарэтычнай правільнасці рэплікацыі. Каманды, якія працуюць на складаных бізнес-платформах з рэляцыйнымі мадэлямі даных — прадуктамі SaaS з некалькімі арандатарамі, механізмамі электроннай камерцыі, сістэмамі медыцынскіх запісаў — сутыкнуліся з канкрэтнымі рэжымамі збояў, якія вырашаюцца гэтым змяненнем:

• Дакладнасць аднаўлення ў пэўны момант: аднаўленне базы дадзеных да моманту перад масавым выдаленнем цяпер фіксуе ўсе каскадныя даччыныя выдаленні, а не толькі запускаючы запыт, прадухіляючы паўторнае з'яўленне фантомных радкоў пасля аднаўлення.
• Канвееры змены збору даных (CDC): такія інструменты, як Debezium і Maxwell, якія перадаюць падзеі двайковага часопіса ў Kafka або іншыя прыёмнікі, цяпер атрымліваюць поўнае ўяўленне аб кожнай мутацыі даных, дазваляючы дакладныя прагнозы ўніз па плыні.
• Вядзенне часопіса аўдыту і адпаведнасці: Рэгуляваныя галіны, якія патрабуюць поўнага прыналежнасці даных, цяпер могуць дакладна адсочваць, якія даччыныя запісы былі выдалены ў выніку якой бацькоўскай аперацыі, задавальняючы патрабаванням аўдыту без абыходных шляхоў на ўзроўні прыкладання.
• Выяўленне разыходжанняў копій: Інструменты маніторынгу, якія параўноўваюць колькасць радкоў або кантрольныя сумы копій з асноўнай, цяпер маюць дакладныя даныя часопіса для хуткай ідэнтыфікацыі і дыягностыкі любых разыходжанняў.
• Мультыкрынічная і кругавая рэплікацыя: Складаныя тапалогіі, якія раней патрабавалі адключэння знешніх ключоў на рэпліках, каб пазбегнуць падвойнага прымянення каскадаў, атрымліваюць больш структураваны, прадказальны паток падзей для разважанняў.

Як архітэктары баз даных павінны карэктаваць свае стратэгіі рэплікацыі і аднаўлення?

Прыняцце двайковага журналіравання з улікам каскаду не з'яўляецца пасіўным абнаўленнем — яно патрабуе наўмыснага агляду існуючай інфраструктуры. Дадатковыя падзеі журнала, якія ствараюцца каскадамі, павялічваюць аб'ём двайковага журнала, часам значна, у залежнасці ад таго, наколькі агрэсіўна ваша схема выкарыстоўвае каскадныя абмежаванні. Архітэктары павінны ўлічваць павелічэнне дыскавага ўводу/вываду, прапускной здольнасці рэплікацыі сеткі і частаты кручэння журналаў.

На рэпліках каманды павінны праверыць, ці ўключаны ці адключаны абмежаванні знешніх ключоў. Распаўсюджанай гістарычнай практыкай было адключэнне знешніх ключоў на рэпліках (foreign_key_checks=OFF), каб першасны апрацоўваў выкананне. Паколькі каскады зараз рэгіструюцца відавочна, прымяненне гэтых зарэгістраваных каскадных падзей да рэплікі, якая таксама апрацоўвае ўласныя абмежаванні знешніх ключоў, можа прывесці да выдалення дублікатаў або канфліктаў. Выраўноўванне канфігурацыі па ланцужку рэплікацыі цяпер больш важнае, чым калі-небудзь.

Для каманд, якія выкарыстоўваюць лагічныя інструменты рэзервовага капіравання, такія як mysqldump, або фізічныя рашэнні для рэзервовага капіравання, такія як Percona XtraBackup, агляд працэдур аднаўлення ў адпаведнасці з новай структурай журнала гарантуе, што кнігі аднаўлення застаюцца дакладнымі. Тэставанне сцэнарыяў аднаўлення ў прамежкавых асяроддзях у параўнанні з аб'ёмамі вытворчых рэпрэзентатыўных даных павінна быць стандартным штоквартальным заняткам.

Як гэта суадносіцца з тым, як PostgreSQL і іншыя базы даных апрацоўваюць каскадную рэгістрацыю?

PostgreSQL доўгі час рэгістраваў каскадныя эфекты знешніх ключоў у якасці першакласных запісаў WAL (Write-Ahead Log). Кожны радок, закрануты каскадным трыгерам, запісваецца ў WAL індывідуальна, што робіць рэплікацыю PostgreSQL і лагічнае дэкадаванне па сваёй сутнасці каскаднай. Гэтую філасофію праектавання — запісваць у журнал усе наступствы, а не толькі прычыны — цяпер больш дакладна адпавядае двайковы журнал MySQL на аснове радкоў.

Microsoft SQL Server аналагічным чынам фіксуе каскадныя змены праз свой журнал транзакцый на ўзроўні радкоў, што робіць рашэнні CDC на SQL Server простымі нават для складаных рэляцыйных схем. Абнаўленне MySQL набліжае яго архітэктурны парытэт да гэтых сістэм, памяншаючы ключавое пярэчанне, якое выклікалі інжынеры баз дадзеных пры ацэнцы MySQL для рэляцыйных працоўных нагрузак высокай цэласнасці.

Для арганізацый, якія працуюць у асяроддзі з некалькімі базамі даных або ацэньваюць шляхі міграцыі, гэтая канвергенцыя мае значэнне. Гэта памяншае паводніцкую паверхню паміж платформамі, якую аператыўныя групы павінны разумець і ўлічваць у інструментах і працэдурах.

Часта задаюць пытанні

Ці ўплывае гэтая змена на MySQL 5.7 ці толькі на MySQL 8.x?

Паляпшэнні ў паводзінах каскаднага вядзення часопіса ў асноўным звязаны з MySQL 8.0 і больш познімі версіямі, з пэўнымі паляпшэннямі, звязанымі з асобнымі кропкавымі выпускамі ў серыі 8.0.x. MySQL 5.7 скончыўся ў кастрычніку 2023 г., і каманды, якія ўсё яшчэ працуюць з ім, павінны разглядаць паводзіны каскаднага журнала як ненадзейныя з пункту гледжання ўзгодненасці рэплікацыі. Абнаўленне да выпуску MySQL 8.0 або MySQL 8.4 LTS з'яўляецца рэкамендаваным шляхам для доступу да бягучага двайковага журнала.

Ці істотна пагоршыць прадукцыйнасць запісу ўключэнне поўнага каскаднага запісу?

Накладныя выдаткі рэальныя, але звычайна сціплыя для схем з добра праіндэксаванымі адносінамі знешніх ключоў. Дадатковыя запісы ў журнал непасрэдна карэлююць з колькасцю даччыных радкоў, на якія ўплывае кожны каскад. Схемы з глыбока ўкладзенымі каскаднымі ланцужкамі або вельмі вялікімі даччынымі табліцамі могуць мець прыкметны ўплыў на прапускную здольнасць. Прафіляванне з рэалістычнымі аб'ёмамі даных у прамежкавым асяроддзі перад разгортваннем у вытворчай версіі з'яўляецца правільным падыходам для колькаснай ацэнкі кошту вашай канкрэтнай працоўнай нагрузкі.

Ці магу я выкарыстоўваць двайковыя каскадныя даныя часопісаў для падачы канвеераў аналітыкі ў рэальным часе?

Так, і гэта адзін з найбольш пераканаўчых варыянтаў выкарыстання. Дзякуючы поўным каскадам падзей у двайковым журнале інструменты CDC цяпер могуць ствараць дакладныя матэрыялізаваныя прагляды, пошукавыя індэксы і патокі падзей, не патрабуючы перахопаў на ўзроўні прыкладанняў для ручной публікацыі каскадных эфектаў. Каманды, якія ствараюць панэлі кіравання ў рэжыме рэальнага часу, сістэмы выяўлення махлярства або ўзроўні аператыўнай аналітыкі, выявяць, што паўната патоку журналаў значна зніжае складанасць канвеера.

Кіраванне бізнес-платформай, якая расце, азначае, што рашэнні аб інфраструктуры, якія ляжаць у аснове, з часам складаюцца — прабел у стратэгіі рэплікацыі базы дадзеных сёння стане маштабным інцыдэнтам заўтра. Mewayz - гэта 207-модульная бізнес-аперацыйная сістэма, створаная для каманд, якія адмаўляюцца ісці на кампрамісы ў надзейнасці і магчымасцях, ёй давяраюць больш за 138 000 карыстальнікаў, якія працуюць з усім: ад CRM і электроннай камерцыі да кіравання змесцівам і аналітыкі - усё ў адной уніфікаванай платформе ад усяго 19 долараў у месяц.

Пачніце сваю працоўную прастору Mewayz сёння на app.mewayz.com і пабудуйце свой бізнес на інфраструктуры, якая не адстае ад таго, што вы ведаеце.