Amikor a felkészületlenség kerül a legtöbbbe

Éjjel kettő van. A monitorod hirtelen pirosba vált. Egy fontos szolgáltatás lelassult, az ügyfelek panaszkodnak, a csapat szétszórva.

Ismerős?

A legtöbb fejlesztő átélte már azt a pillanatot, amikor a produkciós környezet összeomlik, és mindenki kapkodni kezd. A különbség a percek alatt megoldott és az órákig elhúzódó incidensek között gyakran nem a tudásban rejlik – hanem abban, hogy mennyire automatikusan reagál a csapat.

Miért számít az incidenskezelés

Valódi incidensek nem törődnek azzal, mennyire vagy jó fejlesztő. Azzal törődnek, mennyire vagy felkészült.

Nyomás alatt másképp működik az agy. Szűkül a látótér, jönnek a kételyek, és még a rutinos mérnökök is hibáznak. Ezért gyakorolnak a pilóták szimulátorban, és ezért ismétlik a mozdulatokat az élsportolók.

Ugyanez a logika érvényes a fejlesztői csapatokra is.

Szimulációk verseny formájában

Mi lenne, ha a hibakeresést nem csak elviselhetővé, hanem élvezetessé is lehetne tenni? Ha a csapat rendszeresen gyakorolhatna anélkül, hogy közben éles környezetben kellene kapkodni?

A strukturált, akár versenyszerű incidens-szimulációk ezt oldják meg:

Valós forgatókönyvek: Nem elméleti feladatokról van szó. Memóriaszivárgás, adatbázis-időtúllépés, DNS hibás beállítás vagy SSL tanúsítványprobléma – mind olyan helyzetek, amelyek ténylegesen előfordulnak.

Időnyomás: A stopperóra ugyanazt a feszültséget hozza létre, mint egy éles incidens, de következmények nélkül.

Verseny és rangsor: A játékos elemek motiválnak. Mindenki jobban teljesít, ha látja, hol áll a többiekhez képest.

Gyakori ismétlés: Míg valódi incidensek ritkák, a szimulációkat kéthetente is lehet futtatni.

Mit nyer a csapat?

A rendszeres gyakorlatok után a csapat jellemzően:

• gyorsabban old meg valós problémákat
• jobban együttműködik, nem egyéni hősködés zajlik
• a juniorok gyorsabban tanulnak a tapasztaltabb kollégáktól
• magabiztosabban használják a monitoring és logging eszközöket
• kevesebb pánikkal reagálnak, ha valami tényleg elromlik

Hogyan indíts saját szimulációs programot

Nem kell drága platform. Néhány lépés elég:

1. Gyűjtsd össze azokat a problémákat, amik eddig a legtöbb fejfájást okozták.
2. Állítsd elő ezeket a hibákat a staging környezetben.
3. Határozd meg, mit akar a csapat megtanulni az adott szimulációból.
4. Adj időkeretet a megoldásra.
5. Beszéljétek meg utólag, mi működött és mi nem.

A megelőzés kultúrája

Azok a csapatok, amelyek komolyan veszik az incidenskezelést, általában stabilabb rendszereket építenek. Mert a gyakori gyakorlás hatására már a fejlesztés közben is másképp gondolkodnak:

• „Honnan fogom tudni, ha ez elromlik?”
• „Milyen DNS vagy VPS szintű problémára kell felkészülni?”
• „Mennyi idő alatt tudom visszavonni a változtatást?”

Ez a gondolkodásmód jobb architektúrát eredményez.

A lényeg a rendszeresség

Kéthetente egy szimuláció elsőre soknak tűnhet. De ha belegondolsz, a legtöbb csapatnál gyakrabban fordul elő valós incidens. Akkor miért ne alakítsuk ezt strukturált tanulássá?

A NameOcean-nál sok olyan fejlesztővel dolgozunk, akik domaineket, DNS-t és SSL tanúsítványokat kezelnek – ahol minden perc állásidő pénzbe kerül. Akik rendszeresen gyakorolnak, azok sokkal nyugodtabban kezelik az éles helyzeteket is.

Kezdd el egyszerűen

Válassz ki egy konkrét problémát. Hívd össze a csapatot. Indítsd a stoppert. Nézd meg, mi történik.

Valószínűleg meglepő lesz, mennyire élvezik a kihívást, ha a tét kontrollált és a tanulás valódi. És amikor legközelebb tényleg valami elromlik, nem kapkodni fogtok – hanem tudni fogjátok, mit kell csinálni.