A 2026. november 9–12. közötti Salt Lake City-i KubeConon Deepak Goel, a Nutanix cloud native területének technológiai vezetője egy valódi üzemzavart mutatott be. Egy GitOpsszal vezérelt platformon mind a 39 workload-klaszter törlődött, az alkalmazásaikkal együtt. A történetben nincs egzotikus hiba: minden komponens azt tette, amire tervezték.
A számok a cikkben hivatkozott nyilvános forrásokból származnak – nem Devertix-eredmények.
A felállás
Az előadás és a nyilvános diasor szerint a platform egy menedzsmentklaszterre épült. Ezen futott a Flux, a Cluster API a 39 klasztert leíró objektumokkal, és egy klaszteren belüli Git-szerver, amely a Flux forrása volt. Egyetlen egyeztetési (reconciliation) fa ért el mindent: a platformot, magát a Fluxot és a teljes flottát. Goel hangsúlyozza, hogy ez hétköznapi felállás, hiszen a szabványos Flux-telepítés is önmagát kezelő Kustomizationt ad.
Két hullám
A kiváltó ok emberi hiba volt. Egy emelt jogosultságú adminisztrátor egy másik objektum módosítása közben véletlenül törölte a legfelső szintű Flux Kustomizationt. Ennek a leltárában (inventory) benne volt minden, ami alatta állt. A Flux dokumentációja szerint bekapcsolt prune és az alapértelmezett törlési szabály (MirrorPrune) mellett a vezérlő ilyenkor a teljes leltárat eltávolítja, és pontosan ez történt.
Tizenkét perc alatt leálltak az alkalmazások, törlődött a klaszterben futó Git-szerver, majd a Flux a saját vezérlőit is törölte. A folyamat itt megakadt, árva erőforrásokat és beragadt finalizereket hagyva maga után. A 39 klaszter ezt a hullámot azért élte túl, mert a törlést végző eszköz közben önmagát is eltávolította.
A megakadt törlés viszont nem biztonságos állapot, mert minden érintett objektum továbbra is hordozta a törlési szándékot. Nagyjából nyolc órával később, a menedzsmentklaszter újraépítése közben kézzel visszaállították a Fluxot. Az betöltötte a változatlan kívánt állapotot, és befejezte, amit elkezdett. Ekkor törlődött mind a 39 klaszter.
Ami megmentette az adatot
A klasztereket a csapat az első két napban újraépítette, ugyanazokkal a GitOps-folyamatokkal, amelyeken a törlés is végigfutott. A deklaratív modell a hibát is, a helyreállítást is megismételhetővé teszi. Az alkalmazások a második és a negyedik nap között álltak vissza, üzleti fontosság szerinti sorrendben.
A mentések rosszabbul vizsgáztak. A legfrissebb Velero-pillanatképek 12 órásak voltak, a mentőberendezés (backup appliance) a Kubernetes-alkalmazásrétegeket nem tudta visszaállítani, a teljes helyreállítási folyamatot pedig korábban soha nem próbálták ki. Az adatot végül egy olyan réteg mentette meg, amellyel senki nem számolt: a tárolórendszer lomtára, ahol a törölt blokktárolók megmaradtak.
Ide tartozik egy Kubernetes-alapbeállítás is. A dinamikusan létrehozott kötetek visszanyerési szabálya (reclaim policy) alapértelmezésben Delete, vagyis a kötetigénylés (PVC) törlésével a mögötte lévő lemez is megszűnik. Ebben az esetben a törölt blokktárolók a tárolórendszer lomtárában maradtak meg.
Öt kérdés a saját platformról
- Mekkora a hatósugár? Goel javaslata klaszterenként külön Kustomization, külön telepített és védett Fluxszal, hogy egy hibás útvonal ne érje el a teljes flottát.
- Mennyire nehéz tömegesen törölni? A Flux objektumonként enged kivételt (
kustomize.toolkit.fluxcd.io/prune: disabled), az infrastruktúrát birtokló Kustomizationökön a törlési szabály (deletionPolicy) Orphanra állítható, a klaszterobjektumok törlése pedig beléptetési (admission) szabállyal tiltható. - Hol él a Git, és mi lesz a kötetekkel? Az igazság forrása a hatósugáron kívül legyen, vagy legyen róla tükör. A kritikus adatok tárolóosztályán (StorageClass) a Retain a biztonságos beállítás.
- Ki veszi észre a tömeges törlést? A Flux eseményei és az API-szerver naplói olyan helyre menjenek, amelyet a klaszter nem tud törölni.
- Milyen sorrendben állítunk helyre? Az előadás forgatókönyve szerint a vezérlők felfüggesztve térnek vissza, előbb a kívánt állapotot kell kijavítani és a forrást visszahozni, a pruning pedig kikapcsolva marad, amíg a leltár nem egyezik a valósággal.
A csapat egy órán belüli adatvesztési célt (RPO) tűzött ki a korábbi 24 óra helyett, a platformrétegre pedig harminc percen belüli helyreállítási célt (RTO). Ezeket rendszeres, teljes visszaállítási próbával akarják igazolni.
A GitOps attól jó, hogy a változás követhető és megismételhető. A hatósugarat és a visszaállíthatóságot külön kell megtervezni. Ezt a platform tervezésekor érdemes eldönteni, a visszaállítás próbáját pedig az SRE-gyakorlat részévé tenni. Amazon EKS-en a klaszteren kívüli mentést az AWS Backup tudja adni.
Források
- KubeCon + CloudNativeCon NA 2026: GitOps Meltdown – az előadás oldala
- Deepak Goel: GitOps Meltdown – diasor (PDF)
- Flux dokumentáció: Kustomization – prune, deletionPolicy
- Kubernetes dokumentáció: Storage Classes – reclaim policy
- AWS: AWS Backup supports Amazon EKS
Mekkora az Önök platformján a hatósugár?
Végignézzük a törlési szabályokat, a Git helyét, a kötetek sorsát és a visszaállítás sorrendjét.