Tämä yksinkertainen nimeämiskäytäntö tekee ML-koodista selkeämpää

Neuroverkkokoodin debuggaus on already tarpeeksi vaikeaa ilman, että joutuu taistelemaan kryptisten muuttujanimien kanssa. Olet varmasti ollut tilanteessa: tuijotat outputs-muuttujaa ja yrität muistaa, onko se batch-ensin vai batch-viimeisenä, sisältääkö se sekvenssiulottuvuuden, tai onko joku muokannut sitä jossain vaiheessa.

On parempi tapa. Ja se on hämmästyttävän yksinkertainen.

Mitä ovat dimension loppuliitteet?

Dimension loppuliitteet ovat pienaakkosia, jotka lisätään tensorin muuttujanimen perään kuvaamaan sen ulottuvuuksia. Sen sijaan, että kirjoitat outputs, kirjoitat outputs_bc. Sen sijaan, että kirjoitat activations, kirjoitat activations_bcn.

Ensimmäisenä tämä voi vaikuttaa ylimääräiseltä näppäilyltä. Luota minuun — kyse on päinvastaisesta. Tämä on yksi vaikuttavimmista koodauskonventioista, jotka voit omaksua machine learning -projekteihin.

Dimension aakkoset

Tässä on vakiokirjasto tensorin ulottuvuuksille:

• b — batch-ulottuvuus
• p — positio tai sekvenssi-indeksi
• n — neuronin ulottuvuus (tyypillisesti painomatriisikertolaskun tulos)
• c — kanav ulottuvuus
• h — korkeus (kuvatensoreille)
• w — leveys (kuvatensoreille)
• d — syvyys (3D-datalle)
• k — kernel-ulottuvuus

Siis logits_bc kertoo, että kyseessä on logit-batch, jossa on kanav ulottuvuudet — täydellinen luokittelutehtäviin. positional_embeddings_bpn taas tarkoittaa, että sinulla on batch-, positio- ja neuron-ulottuvuudet tuossa järjestyksessä.

Miksi tämä konventio kannattaa

Välitön konteksti. Kun näet probs_bc, tiedät heti, että kyseessä ovat todennäköisyydet, jotka on järjestetty batchin ja luokan mukaan. Ei arvailua, ei dokumentaatiometsästystä.

Sisäänrakennettu virheentunnistus. Tässä kohtaa homma muuttuu tehokkaaksi. Jos kirjoitat outputs_bc = torch.matmul(activations_bcn, weights_bcn), epäsuhta hyppää silmille välittömästi. Painomatriisin pitäisi olla weights_nc, jotta se toimii oikein activations_bcn:n kanssa. Nimet itsessään toimivat staattisena tyyppitarkistimena tensorin muodoille.

Itseään päivittävä dokumentaatio. Kommentit vanhenevat. Kukaan ei muista päivittää niitä refaktoroinnin yhteydessä. Mutta embeddings_bpn pysyy tarkkana niin kauan kuin pidät kiinni konventiosta — koska muuttujan nimi ON dokumentaatio.

Sujuvammat koodikatselmoinnit. Tarkastajat voivat havaita dimension epäsopivuudet pull requesteissa ilman, että tarvitsee ajaa koodia tai selata funktiokutsuja. Tämä säästää kaikkien aikaa ja kiinni bugit aikaisemmin.

Käytännön patterneja

Konkatenaatioille ja stackeille: Kun yhdistät tensoreita, päivitä loppuliite vastaamaan uutta rakennetta. Stackkaat kaksi features_bc-tensoria uuden ulottuvuuden suuntaisesti? Nyt se on features_bck tai features_bkc sen mukaan, minkä akselin valitsit.

Reduktioille: Summaat position-ulottuvuuden yli ja inputs_bp muuttuu inputs_b. Otat argmax-arvon kanavien yli ja logits_bc muuttuu logits_b. Loppuliite kutistuu todellisuutta vastaavaksi.

Monimutkaisille tensoreille: Voit stackata useita dimension koodeja: attention_bpp huomioarvoille positiopareittain, tai gradients_bpn gradienteille, jotka on järjestetty batchin, position ja neuronin mukaan.

Miten sen omaksuu

Avain on johdonmukaisuus. Valitse konventio ja sovela sitä kaikkialla —syötteet, tulosteet ja jokainen välitensori. Kyllä, myös se yhden rivin muuttuja, jonka loit vain debuggausta varten.

Tuleva minäsi kiittää. Samoin tiimikaverisi.

Jos rakennat ML-sovelluksia ja haluat puhdasta, ylläpidettävää koodia, joka skaalautuu tiimin mukana, nämä pienet konventiot kasautuvat valtaviksi tuottavuusvoimiksi. Kyse on samasta periaatteesta kuin hyvässä nimennässä missä tahansa ohjelmistokehityksessä — anna koodin lukea kuin dokumentaatiota.

Kokeile sitä viikko seuraavassa projektissasi. Uskon, että sen jälkeen ihmettelet, miten jaksoit koodata ilman sitä.