BEAM-binäärien selventäminen: Näin teimme DNS-kirjastostamme salamannopean (ilman yhtäkään NIF-funktiota)

Kun pyörität alustaa, joka käsittelee verkkotunnusten rekisteröintiä, DNS-isännöintiä ja pilvoinfrastruktuuria kuten me NameOceanilla, suorituskyky ei ole vain mukava lisä – se on luotettavuuden perusta. Siksi innostumme, kun näemme älykkäitä optimointitarinoita Erlang-ekosysteemistä, ja siksi haluamme purkaa yhden suosikeistamme sinulle.

Viime aikoina törmäsimme DNSimple-tiimin kiehtovaan syväluotaavaan analyysiin heidän dns_erlang-kirjastonsa optimoinnista, joka on avoimen lähdekoodin DNS-kirjasto. Heidän tuloksensa olivat hämmästyttävät: 12 % vähemmän CPU-käyttöä per kysely ja 14 % enemmän palveltuja kyselyitä sekunnissa – kaikki pelkillä BEAM-optimoinneilla, ilman NIF-funktioita. Kenelle tahansa, joka rakentaa suuren läpivirtaaman järjestelmiä Elixirilla tai Erlangilla, tämä on välttämätöntä luettavaa.

Puretaanpa, mikä tekee tämän mahdolliseksi.

BEAM-binääri-ajattelumalli

Tässä on jotain, mikä yllättää monet Elixir-kehittäjät: binääreihin lisääminen tiukassa silmukassa ei ole yhtä kallista kuin luulisi.

Kun kirjoitat jotain tällaista:

def build_response(acc, []) do
  acc
end
def build_response(acc, [h | t]) do
  build_response(<<acc::binary, h>>, t)
end

Saattaisit odottaa tämän olevan O(n²) – jokainen iteraatio luo uuden binäärin ja kopioi kaiken. Mutta BEAM on älykkäämpi kuin niin.

Koska binäärit ovat muuttumattomia (immutable), kääntäjä voi todistaa, että jos acc luotiin juuri edellisessä lisäämisessä eikä mikään muu pidä siihen viittausta, suora kirjoittaminen kyseiseen muistipaikkaan on turvallista. Ensimmäinen lisäys varaa hieman ylimääräistä kapasiteettia, ja sitä seuraavat lisäykset kirjoittavat siihen. Tulos? Amortisoitu O(1) per lisäys – täsmälleen sama kuin miten std::vector toimii C++:ssa.

Mutta mikä on sudenkuoppa? Jos binäärisi "karkaa" (escape) – eli se tallennetaan prosessidiktionnaaryyn, palautetaan kutsujalle tai lisätään muuhun – juhlat päättyvät. Olet palannut kopiointiin.

Tämä kuvio esiintyy kaikkialla binääriprotokollien käsittelyssä. Kun rakennat DNS-vastauksia iteratiivisesti, tiukka akkumulaattorivirta on äärimmäisen tärkeä.

Alibinäärit: Ilmainen leikkaus (pääosin)

Binääreihin täsmääminen (matching) luo niin sanottuja alibinäärejä (sub-binaries) – pieniä termejä, jotka osoittavat alkuperäiseen dataan ilman kopiointia. Kun kirjoitat:

<<Header:12/binary, Rest/binary>> = Packet

Dataa ei kopioida. Rest on vain ikkuna alkuperäiseen pakettiin.

Mutta tässä on hienovaraisuus, joka hämmentää ihmisiä: BEAM pitää sisäisesti yllä täsmäytyskontekstia (match context), kun teet rekursiivista täsmäytystä; se on käytännössä tavujen läpi kulkeva kursori. Se ei luo varsinaista alibinääriä, ellei annat sen todella "karkata" – eli palauttaa sen, tallentaa sen tai siirtää paikkaan, jossa se jää elämään.

Tämä on erittäin tärkeää DNS-parsimisessa. Jokainen kysely saapuu binäärinä, täsmäytetään protokollan rakenteeseen ja sen on tuotettava vastaus. Sen ymmärtäminen, milloin luot uutta työtä vs. vain katsot dataa, on ero skaalautuvan parserin ja kuormituksen alla tukehtuvan parserin välillä.

Miksi kokonaislukujen esitysmuoto on tärkeämpi kuin luulet

64-bittisessä BEAMissa kokonaisluvut vievät muutaman bitin tyyppitunnisteelle (type tag). Tämä jättää 60 bittiä varsinaiselle arvolle. Kokonaisluvut, jotka mahtuvat tähän tilaan, ovat "pieniä kokonaislukuja" (small integers) – välittömiä arvoja, jotka elävät suoraan prosessin registreissä, eivätkä koskaan kosketa heapia.

Kaikki suurempi muuttuu "bignumiksi", mikä vaatii heap-varauksen ja roskienkeruun (garbage collection) huomioimisen. Tämä kuulostaa teoreettiselta, mutta se muuttuu kriittiseksi, kun teet sellaista bitien pyörittelyä, jota binääriprotokollien työ vaatii.

Tekniikkaa kutsutaan nimellä SWAR (SIMD Within A Register) – useiden arvojen pakkaaminen yhteen kokonaislukuun, jotta voit operoida niihin rinnakkain CPU-tasolla. DNS:lle tämä tarkoittaa monien tavujen edustaman datan parsimista jokaisessa operaatiossa. Mutta se toimii vain, jos pakatut arvosi mahtuvat "pienten kokonaislukujen" optimaaliseen kokoon.

Kun ne eivät mahdu, et maksa vain muistivarauksen kustannuksia – mahdollisesti käynnistät roskienkeruun syklejä, joita muuten ei olisi. Miljoonilla kyselyillä sekunnissa nämä syklit kertyvät.

Mitä tämä tarkoittaa koodillesi

Tässä on käytännön opetus: sinun ei tarvitse kirjoittaa NIF-funktioita tai käyttää C-kieltä saadaksesi merkittäviä suorituskykyhyötyjä. Sinun täytyy ymmärtää, miten BEAM ajattelee dataa.

Muutama kuvio, jotka on hyvä sisäistää:

1. Pidä binääriakkumulaattorit tiukkoina. Vain lisäämiseen perustuvat silmukat ovat ystäväsi. Kun binääri karkaa, kustannusmalli muuttuu dramaattisesti.

2. Täsmää paikallaan, jos mahdollista. Käytä kuviointia (pattern matching) datan katsomiseen kopioinnin sijaan. BEAM on optimoitu tähän.

3. Tarkkaile kokonaislukujen kokoja. Kun teet aritmetiikkaa tai bittimanipulaatiota, mieti, pysyvätkö arvosi "pienten kokonaislukujen" alueella.

4. Profiloi reduktioiden (reductions) mukaan. BEAM aikatauluttaa työn reduktioina (suunnilleen funktio kutsuina). Kuuma silmukka, joka tekee enemmän täsmäytyksiä vähemmillä funktioilla, tekee vähemmän työtä aikatauluttajan näkökulmasta.

Kenelle tahansa, joka rakentaa järjestelmiä, jotka käsittelevät binääriprotokollia – olipa kyseessä DNS, WebSocket-kehykset tai mukatut protokollat – nämä kuviot pätevät suoraan. BEAM antaa sinulle uskomattomat työkalut nopean koodin kirjoittamiseen, mutta ne ovat hyödyllisiä vain, jos ymmärrät mallin.

Olemme nähneet tiimien turvautuvan NIF-funktioihin tai Rust-NIF-funktioihin, vaikka syvällisempi ymmärrys BEAM-semantiikasta olisi tuonut 90 % hyödyistä ilman kompleksisuutta. Runtime on älykkäämpi kuin usein luulemme – meidän tehtävämme on kirjoittaa koodia, joka antaa sen loistaa.

NameOceanilla ajattelemme aina suorituskykyä mittakaavassa. Olitpa käynnistämässä Vibe Hostingia seuraavaa projektiasi varten tai hallitsemassa DNS:ää korkean liikenteen sovellukselle, näiden perusteiden ymmärtäminen auttaa sinua rakentamaan järjestelmiä, jotka pysyvät nopeina, kun asiat muuttuvat kiireisiksi.

Hyvää kooditusta, ja olkoon binäärisi aina tehokkaita!