Γιατί η AI Γενιά Κώδικα Χρειάζεται Αυστηρούς Μηχανισμούς, Όχι Μόνο Καλύτερα Prompts

Όλοι έχουμε ακούσει ιστορίες με leaks δεδομένων σε multi-tenant περιβάλλοντα. Ένας χρήστης βλέπει πληροφορίες που δεν του ανήκουν. Κανείς δεν το ήθελε. Απλώς κάποια στιγμή ξεχάστηκε ένας έλεγχος.

Σήμερα όμως που τα μοντέλα γράφουν χιλιάδες γραμμές κώδικα, το πρόβλημα αυτό μεγαλώνει. Δεν αρκεί να βάζεις οδηγίες ασφαλείας στα prompts. Μετά από δεκαέξι χιλιάδες γραμμές, δεν ξέρεις πια αν ο κώδικας κάνει πραγματικά αυτό που ήθελες.

Γιατί οι Οδηγίες Δεν Αρκούν

Τα περισσότερα συστήματα βασίζονται στο να ζητάς από το μοντέλο να συμπεριφερθεί σωστά. "Πάντα κάνε validation". "Μην παραλείπεις checks". "Χρησιμοποίησε το helper για permissions".

Αυτές οι οδηγίες δουλεύουν μερικές φορές. Αλλά δεν είναι αξιόπιστες για παραγωγή. Το μοντέλο πρέπει να θυμάται, να αναγνωρίζει όταν πρέπει να τις εφαρμόσει,并且 και να μην προτιμά shortcuts από το local context.

Και αν το μοντέλο τα καταφέρει, πρέπει να τα καταφέρει και ο human που κάνει code review. Αυτό δεν funktioniert σε μεγάλη κλίμακα.

Δομημένοι Μηχανισμοί Αντί για Οδηγίες

Η λύση δεν είναι να βελτιώσεις τα prompts. Η λούση είναι να αλλάξεις το framework που δ<|eos|>