Skip to Content

39 klaszter, két törlési hullám: amit a GitOps nem véd meg

Egy KubeCon-esettanulmány időrendben: az első hullámot a véletlen állította meg, a másodikat a helyreállítás indította el
2026. november 16. · Devertix

A 2026. november 9–12. közötti Salt Lake City-i KubeConon Deepak Goel, a Nutanix cloud native területének technológiai vezetője egy valódi üzemzavart mutatott be. Egy GitOpsszal vezérelt platformon mind a 39 workload-klaszter törlődött, az alkalmazásaikkal együtt. A történetben nincs egzotikus hiba: minden komponens azt tette, amire tervezték.

39workload-klaszter törlődött
12 percaz első törléstől a megakadt, félig törölt platformig
~8 óratelt el a két törlési hullám között
4 napaz üzemzavar kezdetétől a teljes helyreállításig

A számok a cikkben hivatkozott nyilvános forrásokból származnak – nem Devertix-eredmények.

A felállás

Az előadás és a nyilvános diasor szerint a platform egy menedzsmentklaszterre épült. Ezen futott a Flux, a Cluster API a 39 klasztert leíró objektumokkal, és egy klaszteren belüli Git-szerver, amely a Flux forrása volt. Egyetlen egyeztetési (reconciliation) fa ért el mindent: a platformot, magát a Fluxot és a teljes flottát. Goel hangsúlyozza, hogy ez hétköznapi felállás, hiszen a szabványos Flux-telepítés is önmagát kezelő Kustomizationt ad.

Két hullám

A kiváltó ok emberi hiba volt. Egy emelt jogosultságú adminisztrátor egy másik objektum módosítása közben véletlenül törölte a legfelső szintű Flux Kustomizationt. Ennek a leltárában (inventory) benne volt minden, ami alatta állt. A Flux dokumentációja szerint bekapcsolt prune és az alapértelmezett törlési szabály (MirrorPrune) mellett a vezérlő ilyenkor a teljes leltárat eltávolítja, és pontosan ez történt.

Tizenkét perc alatt leálltak az alkalmazások, törlődött a klaszterben futó Git-szerver, majd a Flux a saját vezérlőit is törölte. A folyamat itt megakadt, árva erőforrásokat és beragadt finalizereket hagyva maga után. A 39 klaszter ezt a hullámot azért élte túl, mert a törlést végző eszköz közben önmagát is eltávolította.

A megakadt törlés viszont nem biztonságos állapot, mert minden érintett objektum továbbra is hordozta a törlési szándékot. Nagyjából nyolc órával később, a menedzsmentklaszter újraépítése közben kézzel visszaállították a Fluxot. Az betöltötte a változatlan kívánt állapotot, és befejezte, amit elkezdett. Ekkor törlődött mind a 39 klaszter.

Ábra · az üzemzavar időrendje, és ami megállíthatta volna
1
0. nap, 13:03 – egy véletlen törlés
Egy emelt jogosultságú változtatás közben eltűnik a legfelső szintű Kustomization. A leltárában ott a platform, a Flux és mind a 39 klaszter.
FÉK  Beléptetési szabály tiltsa a klaszterobjektumok törlését; a törlési szabály legyen Orphan.
2
13:15 – az első hullám megakad
Az alkalmazások leállnak, a Git-szerver törlődik, a Flux a saját vezérlőit is törli. A klaszterek még megvannak.
FÉK  A Git a hatósugáron kívül éljen; a Flux, a Git-szerver és a klaszterobjektumok kapjanak prune-kivételt.
3
21:00 – a visszaállított Flux befejezi a törlést
A kézzel visszahozott vezérlő a hibás kívánt állapotot tölti be. Mind a 39 klaszter törlődik.
FÉK  Előbb a kívánt állapot javítása; a vezérlők felfüggesztve induljanak, kikapcsolt pruninggal.
4
1–2. nap – a klaszterek visszatérnek
Mind a 39 klaszter újraépül, ugyanazokkal a GitOps-folyamatokkal.
SEGÍTETT  A deklaratív leírás megismételhetővé tette az újraépítést.
5
2–4. nap – az alkalmazások visszatérnek
Üzleti fontosság szerinti sorrendben; az adatot a tárolórendszer lomtára őrizte meg.
HIÁNYZOTT  Kipróbált, teljes visszaállítási folyamat.
Időrend az előadás nyilvános diái alapján. A fékek az előadó tanulságait követik.

Ami megmentette az adatot

A klasztereket a csapat az első két napban újraépítette, ugyanazokkal a GitOps-folyamatokkal, amelyeken a törlés is végigfutott. A deklaratív modell a hibát is, a helyreállítást is megismételhetővé teszi. Az alkalmazások a második és a negyedik nap között álltak vissza, üzleti fontosság szerinti sorrendben.

A mentések rosszabbul vizsgáztak. A legfrissebb Velero-pillanatképek 12 órásak voltak, a mentőberendezés (backup appliance) a Kubernetes-alkalmazásrétegeket nem tudta visszaállítani, a teljes helyreállítási folyamatot pedig korábban soha nem próbálták ki. Az adatot végül egy olyan réteg mentette meg, amellyel senki nem számolt: a tárolórendszer lomtára, ahol a törölt blokktárolók megmaradtak.

Ide tartozik egy Kubernetes-alapbeállítás is. A dinamikusan létrehozott kötetek visszanyerési szabálya (reclaim policy) alapértelmezésben Delete, vagyis a kötetigénylés (PVC) törlésével a mögötte lévő lemez is megszűnik. Ebben az esetben a törölt blokktárolók a tárolórendszer lomtárában maradtak meg.

Öt kérdés a saját platformról

  1. Mekkora a hatósugár? Goel javaslata klaszterenként külön Kustomization, külön telepített és védett Fluxszal, hogy egy hibás útvonal ne érje el a teljes flottát.
  2. Mennyire nehéz tömegesen törölni? A Flux objektumonként enged kivételt (kustomize.toolkit.fluxcd.io/prune: disabled), az infrastruktúrát birtokló Kustomizationökön a törlési szabály (deletionPolicy) Orphanra állítható, a klaszterobjektumok törlése pedig beléptetési (admission) szabállyal tiltható.
  3. Hol él a Git, és mi lesz a kötetekkel? Az igazság forrása a hatósugáron kívül legyen, vagy legyen róla tükör. A kritikus adatok tárolóosztályán (StorageClass) a Retain a biztonságos beállítás.
  4. Ki veszi észre a tömeges törlést? A Flux eseményei és az API-szerver naplói olyan helyre menjenek, amelyet a klaszter nem tud törölni.
  5. Milyen sorrendben állítunk helyre? Az előadás forgatókönyve szerint a vezérlők felfüggesztve térnek vissza, előbb a kívánt állapotot kell kijavítani és a forrást visszahozni, a pruning pedig kikapcsolva marad, amíg a leltár nem egyezik a valósággal.

A csapat egy órán belüli adatvesztési célt (RPO) tűzött ki a korábbi 24 óra helyett, a platformrétegre pedig harminc percen belüli helyreállítási célt (RTO). Ezeket rendszeres, teljes visszaállítási próbával akarják igazolni.

Devertix

A GitOps attól jó, hogy a változás követhető és megismételhető. A hatósugarat és a visszaállíthatóságot külön kell megtervezni. Ezt a platform tervezésekor érdemes eldönteni, a visszaállítás próbáját pedig az SRE-gyakorlat részévé tenni. Amazon EKS-en a klaszteren kívüli mentést az AWS Backup tudja adni.

Források

Kubernetes és GitOps

Mekkora az Önök platformján a hatósugár?

Végignézzük a törlési szabályokat, a Git helyét, a kötetek sorsát és a visszaállítás sorrendjét.

Ingyenes egyeztetés

Új cikkek és webináridőpontok e-mailben

Értesítjük, amikor új cikk jelenik meg, vagy új webinárt hirdetünk. Bármikor leiratkozhat.

Köszönjük, feliratkozott a hírlevélre.

A feliratkozással megismertem az adatkezelési tájékoztatót.

Az AWS emulátorát ügynökök írták – mire elég, mire nem
Ingyenes, helyben futó AWS a fejlesztői gépen és a CI-ban: gyorsítja a tesztkört, de a valódi fiókot nem váltja ki