Kun DNSSEC-päivitys kaataa kaiken: Oppitunteja .de-tukosta

Oletko joskus päivittänyt tuotantojärjestelmää keskellä yötä ja katsonut kauhulla, kun kaikki hajoaa? Saksan .de-rekisteri koki juuri tämän 5. toukokuuta 2026. Kolme tuntia kestäneen katkon aikana tuhannet .de-sivustot katosivat verkosta. Syynä ei ollut domainien katoaminen, vaan niiden suojaamiseksi tarkoitettu DNSSEC – joka lopulta rikkoi kaiken.

Huono tuuli: Tekniikka törmää prosessivirheeseen

.de-tiimi oli vääntänyt kuukausia kolmatta sukupolvea olevaa DNSSEC-allekirjoitusjärjestelmää. Testattiin perusteellisesti, auditointikin hoidettu. Näytti täydelliseltä.

Sitten tuli yllätys: uusi systeemi tuotti kolme erilaista kryptoparin sijaan yhden. Julkisesti näkyviin tuli vain yksi. Allekirjoitus ei vastannut odotettua avainta, ja koko systeemi kaatui ketjureaktiona.

Tekninen juju piilee key tageissa – julkisen avaimen sormenjäljissä. Kaikille kolmelle keylle annettiin sama tagi (33834). Noin kaksikolmasosaa resolvereista torjui allekirjoitukset, koska yksityinen avain ei mätsännyt julkinen.

Ongelma levisi: SOA-rekisteri allekirjoitetaan uudelleen joka zonemuutos. Jotkut päivitykset menivät läpi, toiset ei. Lopputulos oli sekava soppa, jota kukaan ei ollut ennen nähnyt.

Miksi hälytykset jäivät huomaamatta?

Tosiasia on karmea: hälytykset tulivat. .de:llä on kolme erillistä validointityökalua juuri tällaisiin virheisiin. Kaikki kolme huomasivat vialliset allekirjoitukset.

Mutta kukaan ei reagoinut.

Ilmoitukset kirjattiin lokiin ja hautuivat valvontatulvan sekaan. Ei tekninen vika, vaan prosessin pettymys. Tällainen voi osua kenelle tahansa kriittisen infrastruktuurin pyörittäjälle.

Muistutus: valvonta on yhtä hyvä kuin reagoiminen. Automaattiset hälytykset ilman selkeää ihmisvastuuta ja eskalaatiota ovat pelkkää melua.

Ketjureaktio: Miksi myös allekirjoittamattomat domainit kaatuivat

Tämä katko oli erityisen pahaksi tekevä: DNSSEC ei vain suojaa allekirjoitettuja domaineja. Se todistaa kryptografisesti myös allekirjoitusten puuttumisen NSEC3-rekistereillä.

Kun .de-zonessa oli viallisia NSEC3-allekirjoituksia, validointiresolverit hylkäsivät koko delegaation toissijaisille domaineille – myös niille, joilla ei ollut DNSSEC-päälle. Jos sinulla oli example.de ilman DNSSEC:ia, sekin katosi, koska nameserver-delegaation katsottiin "bogukseksi".

Harva DNS-operaattori miettii tätä ennenkuin iskee.

Ihmiskäden pelastus

Positiivista: isot resolver-operaattorit sammuttivat tilapäisesti DNSSEC-validaation .de:lle. Käyttäjät pääsivät sivuilleen. Rekisteri kiitti julkisesti.

Tämä on internetin infra parhaimmillaan – kokeneet tyypit osaavat löysätä ruuveja kriisissä. Samalla se korostaa: tarvitaan DNS-veteraaneja, jotka tunnistavat kompromissit paineen alla.

Mitä opimme?

Kehiin ja DevOps-tiimeille muutama oivallus:

1. Testit eivät kata kaikkea. Ulkoisesti auditoidut kooditkin pettävät tuotannossa. Useita keypareja generoiva bugi livahti ohi.

2. Valvonta ilman toimintaa on näytelmää. Kolme hälytysjärjestelmää toimi moitteetta, mutta ilman ihmisiä ne olivat tyhjiä.

3. Tiedä riippuvuutesi. Allekirjoittamattomienkin domainien kaatuminen näyttää DNSSEC:in kytköksistä.

4. Kylmä rinnakkaisajo ei riitä. .de pyöritti uutta systeemiä vanhan rinnalla, silti tuotanto paljasti bugit.

5. Dokumentoi vasteprosessit. Isot operaattorit tiesivät mitigoinnin. Entä sinun infraasi?

Jatkossa?

.de lupaa syvällisen analyysin. Odotettavissa parempia testivaatimuksia DNSSEC:lle, selkeämpää eskalaatiota ja muutoksia zonien key-hallintaan.

NameOceanin infraa tai omaa DNS:ää pyörittävälle: valitse kumppanit, joilla on järeä valvonta ja reagointi. Ymmärrä DNSSEC ennen päälleheittoa. Pidä yhteyksiä DNS-asiantuntijoihin. Rakenna valvonta suoraan päivystykseen.

Hyvä puoli? Kolmen tunnin jälkeen .de palasi. Infra kesti. Yhteisö sai tietoa vikaantumisesta ja korjaamisesta.

Se tekee katkon arvokkaaksi.

Oletko kokenut DNS-katkoja? Mitä opit? Jaa tarinasi – yhdessä rakennamme kestävämpiä systeemejä.