Γιατί το Debugging σε Νευρωνικά Δίκτυα είναι Τόσο Δύσκολο

Όλοι το έχουμε περάσει. Κοιτάς ένα outputs και προσπαθείς να θυμηθείς: batch-first ή batch-last; έχει sequence dimension; το έχει reshapeάρει κάποιος αλλού που δεν το είδες;

Υπάρχει ένας απλούστατος τρόπος να λύσεις αυτό το πρόβλημα.

Τι είναι τα Shape Suffixes

Είναι κωδικοί γραμμάτων που προστίθενται στο τέλος των ονομάτων των tensor μεταβλητών. Αντί για outputs, γράφεις outputs_bc. Αντί για activations, γράφεις activations_bcn.

Ναι, στην αρχή φαίνεται σαν επιπλέον δουλειά. Μην ανησυχείς — κάνεις α esточно το αντίθετο.

Το Αλφάβητο των Dimensions

Ορίστε η βασική συμβολολογία:

• b — batch dimension
• p — position ή sequence index
• n — neuron dimension (συνήθως από πολλαπλασιασμό με weight matrix)
• c — channel dimension
• h — ύψος (για εικόνες)
• w — πλάτος (για εικόνες)
• d — βάθος (για 3D δεδομένα)
• k — kernel dimension

Έτσι, logits_bc σου λέει αμέσως ότι έχεις batch από logits με channel dimensions — ιδανικό για classification. positional_embeddings_bpn σημαίνει batch, position και neuron με αυτή τη σειρά.

Γιατί Αξίζει να το Υιοθετήσεις

Στιγμιαία κατανόηση. Βλέπεις probs_bc και ξέρεις αμέσως ότι πρόκειται για probabilities οργανωμένα κατά batch και class. Τέλος στο ψάξιμο, τέλος στην τεκμηρίωση.

Ενσωματωμένος έλεγχος σφαλμάτων. Εδώ γίνεται ενδιαφέρον. Αν γράψεις outputs_bc = torch.matmul(activations_bcn, weights_bcn), το λάθος φαίνεται αμέσως. Το weight matrix πρέπει να είναι weights_nc για να πολλαπλασιαστεί σωστά με activations_bcn. Τα ίδια τα ονόματα γίνονται static type checker για τα shapes.

Τεκμηρίωση που δεν χρειάζεται update. Τα σχόλια ξεπερνιούνται. Κανείς δεν τα ενημερώνει μετά από refactoring. Αλλά embeddings_bpn παραμένει ακριβές όσο τηρείς τη σύμβαση — γιατί το όνομα της μεταβλητής ΕΙΝΑΙ η τεκμηρίωση.

Πιο εύκολες κριτικές κώδικα. Οι reviewers εντοπίζουν dimension mismatches στα pull requests χωρίς να τρέξουν τίποτα. Εξοικονόμηση χρόνου για όλους.

Πρακτικά Patterns

Για concatenations και stacks: Όταν ενώνεις tensors, άλλαξε το suffix ανάλογα. Έκανες stack δύο features_bc tensors σε νέο axis; Τώρα είναι features_bck ή features_bkc — dipende από ποιον άξονα διάλεξες.

Για reductions: Έκανες sum πάνω στο position dimension και το inputs_bp γίνεται inputs_b. Πήρες argmax στα channels και logits_bc γίνεται logits_b. Το suffix μικραίνει ανάλογα.

Για complex tensors: Μπορείς να συνδυάσεις πολλά γράμματα: attention_bpp για attention scores μεταξύ position pairs, ή gradients_bpn για gradients organized by batch, position και neuron.

Πώς να το Κάνεις Συνήθεια

Το κλειδί είναι η συνέπεια. Διάλεξε τη σύμβαση και εφάρμοσέ την παντού — inputs, outputs, και σε κάθε ενδιάμεσο tensor. Ναι, ακόμα και σε αυτό το μονογραμμο variable που έφτιαξες για debugging.

Ο μελλοντικός σου εαυτός θα σε ευχαριστήσει. Και οι συνάδελφοί σου.

Αν φτιάχνεις ML εφαρμογές και θες καθαρό, maintainable κώδικα που κλιμακώνεται με την ομάδα, αυτές οι μικρές συμβάσεις συσσωρεύονται σε τεράστια οφέλη παραγωγικότητας. Είναι η ίδια λογική με το καλό naming παντού στην ανάπτυξη λογισμικού — κάνε τον κώδικα να διαβάζεται σαν τεκμηρίωση.

Δοκίμασέ το για μια εβδομάδα στο επόμενο project σου. Θα αναρωτιέσαι πώς γράφαρες κώδικα χωρίς αυτό.