MySQL išorinio rakto pakopinės operacijos pagaliau pasiekė dvejetainį žurnalą

MySQL išorinio rakto pakopinės operacijos dabar rodomos dvejetainiame žurnale, žyminčios ilgai lauktą pakeitimą, kuris tiesiogiai paveiks duomenų baze valdomų programų replikaciją, auditą ir duomenų atkūrimą. Šis elgsenos pokytis, palaipsniui įvestas visose „MySQL“ versijose, panaikina kritinę spragą, kuri anksčiau sukėlė tylių duomenų neatitikimų replikuotose aplinkose.

Kas yra svetimo rakto pakopinės operacijos ir kodėl jos nepateko į dvejetainį žurnalą?

Užsienio raktų apribojimai užtikrina nuorodų vientisumą tarp lentelių. Kai apibrėžiate ON DELETE CASCADE arba ON UPDATE CASCADE, MySQL automatiškai perkelia pakeitimus iš pirminės lentelės į susijusias antrines eilutes. Daugelį metų šie pakopiniai pakeitimai veikė kaip nematomi šalutiniai poveikiai – suaktyvinimo sakinys buvo užregistruotas, bet kaskados paveiktos eilės nebuvo įrašytos kaip nepriklausomi įvykiai dvejetainiame žurnale.

Tai nebuvo apsileidimas. „MySQL“ komanda iš pradžių samprotavo, kad replikos, turinčios tą pačią schemą ir svetimo rakto apibrėžimus, automatiškai atkurtų pakopinius pranešimus, kai pakartojamas pagrindinis sakinys. Logika laikėsi – kol nepasitaikė. Schemos dreifas, dalinio replikavimo filtrai, skirtingos saugojimo variklio konfigūracijos ir momentiniai atkūrimo scenarijai atskleidė šios prielaidos trapumą. Viena praleista kaskada gali sukurti skirtingas kopijas, kurios atrodė sveikos, kol gamybai svarbios užklausos nepateiks klaidingų rezultatų.

Kaip iš tikrųjų veikia naujas pakopinio registravimo elgesys?

Su atnaujintu elgesiu MySQL įrašo eilutes, kurias paveikė kaskados operacijos, kaip aiškius eilučių įvykius dvejetainiame žurnale, iškart po suaktyvinančio DML sakinio. Jei ištrinate pagrindinį įrašą ir trys antriniai įrašai yra pakopiniai, visi keturi eilučių pakeitimai dabar rodomi kaip atskiri, tikrinami žurnalo įrašai.

Čia svarbus registravimo formatas. Dvejetainis registravimas eilutėmis (RBL) yra formatas, leidžiantis tai padaryti visiškai tiksliai. Pareiškimais pagrįstas registravimas negali patikimai užfiksuoti dinaminių pakopinių rezultatų, nes rezultatas priklauso nuo duomenų būsenos vykdymo metu, o ne nuo paties SQL teksto. Mišriojo režimo registravimas šiose situacijose pasirinktinai taiko eilutės formatą.

Pagrindinė įžvalga: eilučių dvejetainio registravimo įjungimas nėra tik replikacijos nuostata – dabar tai būtina sąlyga norint užfiksuoti visą, patikrinamą kiekvieno duomenų pakeitimo audito seką sistemose, kuriose naudojami išorinio rakto apribojimai. Be jo, pakopiniai efektai lieka iš dalies nematomi jūsų įrankiams.

Duomenų bazių administratoriai turėtų patikrinti savo binlog_format nustatymą ir peržiūrėti replikacijos topologijos prielaidas, jei jie istoriškai pasitikėjo pakopiniu pakopiniu vykdymu, kad užtikrintų nuoseklumą.

Kokias realaus pasaulio problemas tai išsprendžia programų komandoms?

Pasekmės gerokai viršija teorinį replikacijos teisingumą. Komandos, valdančios sudėtingas verslo platformas su reliacinių duomenų modeliais – kelių nuomininkų SaaS produktais, el. prekybos varikliais, sveikatos priežiūros įrašų sistemomis – susidūrė su konkrečiais gedimo būdais, kuriuos šis pakeitimas pašalina:

• Laiko atkūrimo tikslumas: atkuriant duomenų bazę iki momento prieš masinį ištrynimą, dabar užfiksuojami visi pakopiniai antriniai trynimai, o ne tik suaktyvinanti užklausa, todėl po atkūrimo vėl nebepasirodys fantominės eilutės.
• Keiskite duomenų fiksavimo (CDC) konvejerius: tokie įrankiai kaip Debezium ir Maxwell, kurie perduoda dvejetainius žurnalo įvykius į Kafka ar kitus kaupiklius, dabar gauna visą kiekvienos duomenų mutacijos vaizdą, todėl galima tiksliai prognozuoti pasroviui.
• Audito ir atitikties registravimas: reguliuojamos pramonės šakos, kurioms reikalinga visa duomenų linija, dabar gali tiksliai atsekti, kurie antriniai įrašai buvo pašalinti dėl kurios pagrindinės operacijos, ir tenkina audito reikalavimus be taikomųjų programų lygmens problemų.
• Replikų skirtumų aptikimas: stebėjimo įrankiai, lyginantys replikų eilučių skaičių arba kontrolines sumas su pagrindine, dabar turi tikslius žurnalo duomenis, kad būtų galima greitai nustatyti ir diagnozuoti bet kokį skirtumą.
• Kelių šaltinių ir žiedinė replikacija: sudėtingos topologijos, dėl kurių anksčiau reikėdavo išjungti išorinius raktus kopijose, kad būtų išvengta dvigubo pakopų taikymo, įgyja labiau struktūrizuotą, nuspėjamą įvykių srautą, kad būtų galima pagrįsti.

Kaip duomenų bazių architektai turėtų koreguoti savo replikacijos ir atkūrimo strategijas?

Pakopinio dvejetainio registravimo priėmimas nėra pasyvus atnaujinimas – tam reikia apgalvotai peržiūrėti esamą infrastruktūrą. Kaskadų generuojami papildomi žurnalo įvykiai padidina dvejetainio žurnalo apimtį, kartais žymiai, atsižvelgiant į tai, kaip agresyviai jūsų schemoje naudojami pakopiniai apribojimai. Architektai turi atsižvelgti į padidintą disko I/O, tinklo replikacijos pralaidumą ir žurnalo sukimosi dažnį.

Replikacijose komandos turėtų tikrinti, ar išorinio rakto apribojimai įjungti arba išjungti. Įprasta istorinė praktika buvo svetimų raktų išjungimas kopijose (foreign_key_checks=OFF), kad būtų leista vykdyti pirminį vykdymą. Kai kaskados dabar yra aiškiai užregistruotos, taikant tuos užregistruotus pakopinius įvykius kopijai, kuri taip pat apdoroja savo išorinio rakto apribojimus, gali atsirasti pasikartojančių trynimų arba konfliktų. Konfigūracijos suderinimas visoje replikacijos grandinėje dabar yra svarbesnis nei bet kada anksčiau.

Komandoms, naudojančioms loginius atsarginių kopijų kūrimo įrankius, pvz., mysqldump, arba fizinius atsarginių kopijų kūrimo sprendimus, pvz., „Percona XtraBackup“, atkūrimo procedūrų peržiūra pagal naują žurnalo struktūrą užtikrina, kad atkūrimo knygos išliks tikslios. Atkūrimo scenarijų testavimas etapinėse aplinkose, palyginti su gamybai būdingais duomenų kiekiais, turėtų būti standartinis kas ketvirtis.

Kaip tai skiriasi nuo to, kaip PostgreSQL ir kitos duomenų bazės tvarko pakopinį registravimą?

PostgreSQL jau seniai registravo išorinių raktų pakopinius efektus kaip pirmos klasės WAL (Write-Ahead Log) įrašus. Kiekviena eilutė, kurią paliečia pakopinis paleidiklis, įrašoma į WAL atskirai, todėl PostgreSQL replikacija ir loginis dekodavimas iš esmės yra kaskadinis. Šią projektavimo filosofiją – registruoti visus padarinius, o ne tik priežastis – dabar labiau atitinka MySQL eilučių dvejetainis žurnalas.

„Microsoft SQL Server“ panašiai fiksuoja pakopinius pakeitimus per savo operacijų žurnalą eilutės lygiu, todėl CDC sprendimai SQL serveryje yra paprasti net ir sudėtingoms reliacinėms schemoms. MySQL naujinys priartina jį prie šių sistemų architektūrinės lygybės, sumažindamas pagrindinį prieštaravimą, kurį iškėlė duomenų bazių inžinieriai, vertindami MySQL dėl didelio vientisumo reliacinio darbo krūvio.

Organizcijoms, kurios naudoja kelių duomenų bazių aplinką arba vertina perkėlimo kelius, ši konvergencija yra svarbi. Tai sumažina elgsenos paviršiaus plotą tarp platformų, kurį operacijų komandos turi suprasti ir atsižvelgti į įrankius bei procedūras.

Dažniausiai užduodami klausimai

Ar šis pakeitimas turi įtakos MySQL 5.7 arba tik MySQL 8.x?

Pakopinio registravimo elgsenos patobulinimai pirmiausia siejami su MySQL 8.0 ir vėlesnėmis versijomis, su konkrečiais patobulinimais, susijusiais su atskirais 8.0.x serijos taškais. „MySQL 5.7“ eksploatavimo laikas baigėsi 2023 m. spalio mėn., o komandos, vis dar naudojančios ją, turėtų laikyti, kad pakopinio registravimo veikimas yra nepatikimas replikacijos nuoseklumo tikslais. Naujovinimas į MySQL 8.0 arba MySQL 8.4 LTS leidimą yra rekomenduojamas būdas pasiekti esamą dvejetainio žurnalo veikimą.

Ar įjungus visą kaskadinį registravimą labai pablogės rašymo našumas?

Pridėtinės išlaidos yra tikros, bet paprastai nedidelės schemoms su gerai indeksuotais išorinio rakto ryšiais. Papildomi žurnalo įrašai tiesiogiai koreliuoja su antrinių eilučių, paveiktų kiekvienos kaskados, skaičiumi. Schemos su giliai įdėtomis kaskadinėmis grandinėmis arba labai didelėmis antrinėmis lentelėmis gali turėti išmatuojamą poveikį pralaidumui. Profiliavimas naudojant realius duomenų kiekius sustojimo aplinkoje prieš pradedant gamybinę versiją yra teisingas būdas kiekybiškai įvertinti konkretaus darbo krūvio išlaidas.

Ar galiu naudoti dvejetainius žurnalų pakopinius duomenis realiojo laiko analizės vamzdynams tiekti?

Taip, ir tai yra vienas patraukliausių naudojimo atvejų. Turėdami visus kaskadinius įvykius dvejetainiame žurnale, CDC įrankiai dabar gali sukurti tikslius materializuotus rodinius, paieškos indeksus ir įvykių srautus, nereikalaujant programos lygio kabliukų, kad būtų galima rankiniu būdu paskelbti kaskados efektus. Komandos, kuriančios realiojo laiko prietaisų skydelius, sukčiavimo aptikimo sistemas arba veiklos analizės sluoksnius, pastebės, kad žurnalų srauto išsamumas žymiai sumažina dujotiekio sudėtingumą.

Augančios verslo platformos valdymas reiškia, kad pagrindiniai sprendimai dėl infrastruktūros laikui bėgant susilieja – šiandien duomenų bazės replikacijos strategijos spraga rytoj taps didelio masto incidentu. Mewayz yra 207 modulių verslo operacinė sistema, sukurta komandoms, kurios atsisako eiti į kompromisus dėl patikimumo ar pajėgumų, kuria pasitiki daugiau nei 138 000 vartotojų, valdančių viską nuo CRM ir el. prekybos iki turinio valdymo ir analizės – visa tai vienoje vieningoje platformoje, pradedant vos 19 USD per mėnesį.

Pradėkite savo „Mewayz“ darbo sritį šiandien adresu app.mewayz.com ir kurkite savo verslą naudodami infrastruktūrą, kuri neatsilieka nuo jūsų žinių.