Özel AI Hayali

Elinizde şöyle bir yapay zeka asistanı olsun istediniz mi hiç? Ürününüzü dört dörtlük bilen, şirketinizin dilinde konuşan, sektörünüzün inceliklerine genel amaçlı modellerden çok daha iyi vakıf olan bir asistan. İşte domain-specific fine-tuning vaadi tam olarak bu — ve artık yanınızda bir A100 kümesi olmadan da bu teknolojiye erişmek mümkün.

Ben yakın zamanda Continued Pretraining (CPT) ile bir deneme yaptım. Mevcut bir modeli özelleşmiş verilerle eğitmeye devam ederek "uzmanlaşmasını" sağlamak bu teknik. Sonuçlar oldukça aydınlatıcıydı ve eğitim verisi hazırlığında neyin işe yaradığını, neyin kesinlikle yaramadığını öğrendim.

LoRA Neden Her Şeyi Değiştiriyor

Sorun şu: Herhangi bir makul boyuttaki modeli tamamen fine-tune etmek, çoğu kişisel donanımın sunabileceğinden çok daha fazla VRAM gerektiriyor. 7 milyar parametreli bir model bile, eğitime başlamadan önce ciddi miktarda bellek tüketiyor.

LoRA (Low-Rank Adaptation) bu sorunu zarif bir şekilde çözüyor. Eğitim sırasında tüm model ağırlıklarını güncellemek yerine, orijinal modeli donduruyor ve belirli katmanlara küçük, eğitilebilir "adapter" modüller ekliyorsunuz. Sadece bu adapter ağırlıklarını güncelliyorsunuz — toplam parametrelerin çok küçük bir kısmı.

bir örnekle açıklayayım: Qwen 3 4B (4 milyar parametre) ile çalışırken LoRA konfigürasyonum yalnızca 66 milyon parametreyi hedefledi. Bu toplamın sadece yüzde 1.6'sı. Böylece normalde bu iş için hiç uygun olmayan tüketici donanımında eğitim yapılabilir hale geldi.

Akıl Yürütmeyi Öğreten Bir Eğitim Veriseti Oluşturmak

Seçtiğim domain, "Awesomeville" adında kurgusal bir şehir için seyahat danışmanı oldu. Kendi metro sistemi ve tarihi mekanları var. Hedefim ezbercilik değildi — modelin rotalar, aktarmalar ve bağlantılar hakkında gerçekten akıl yürütmesini istiyordum.

Düştüğüm Çukurlar

Kalite nicelikten önemlidir, bu sadece bir klişe değil. Eğitim verisetini oluşturma girişimim fazlasıyla iddialıydı. Sonuç, şişman bir 10.000 kayıtlık veriseti oldu; spesifik rota örnekleriyle dolu. Sonuç? Model rotaları ezberlemişti, navigasyonu öğrenmemişti. Görmediği senaryolarla karşılaşınca çöktü.

Agentlar sentetik veri üretimini inanılmaz hızlı hale getiriyor, ama kendi sorunlarını da beraberinde getiriyor:

• Şablon dili: Agentlar sıklıkla tekrar eden ifadeler üretir, bu da modelin örnekler arasındaki ince farkları ayırt etmesini zorlaştırır
• Doğrulama olmadan üretim: Agentlar veriyi o kadar verimli üretir ki, binlerce şüpheli örneği fark etmeden biriktirebilirsiniz

İşe Yarayan Kademeli Yaklaşım

Başlangıçtaki veriseti çöpe gitti ve sıfırdan, katmanlı bir yaklaşımla yeniden kurdum:

1. Tek hatlı seyahatler — Bir metro hattı üzerindeki rotalarla basit başlayın
2. Tek hatlı aktarmalar — Aktarma istasyonlarında temel bağlantıları tanıtın
3. Çok hatlı aktarmalar — Birden fazla hattı kapsayan karmaşık rotalara geçin
4. Bağlamsal ilişkilendirme — İstasyonları yakındaki tarihi mekanlarla bağlayarak daha zengin yanıtlar üretin

Temel içgörü: Kademeli olarak inşa edin, sürekli test edin ve daha iyi bir tasarımın çözebileceği sorunlara daha fazla veri atarak karşı koymayın.

Eğitim Sırasında Test Etmek

Öğrendiğim bir şey var: Her iterasyondan sonra sıfırdan eğitim yapmanıza gerek yok. Eğitimi aşamalara bölün — önce tam verisetiyle başlayın, sonra daha küçük, hedeflenmiş bir setle odaklı "post-training" yapın. Bu yaklaşım önemli ölçüde zaman tasarrufu sağlarken modelin akıl yürütme yeteneklerini geliştirmeye de olanak tanıdı.

Eğitim verisinin yanı sıra, kapsamlı bir test suite oluşturun. Eğitimin ilerlemesini, yalnızca eğittiğiniz kalıplar üzerinde değil, ayrı tutulmuş örnekler üzerinde de ölçün.

Son Söz

Continued pretraining ile domain uzmanlaşması artık sadece araştırma labaratuvarlarının tekelinde değil. Unsloth gibi araçlar ve LoRA gibi teknikler sayesinde, geliştiriciler kendi spesifik kullanım senaryolarını anlayan özelleşmiş modeller oluşturabiliyor — ister bir seyahat danışmanı, ister bir hukuk asistanı, ister bir ürün dokümantasyon botu olsun.

Asıl zorluk teknik implementasyonda değil. Düşünceli veri seçiminde. Eğitim korpusunuzun kalıpları değil, akıl yürütmeyi öğretmesi gerekiyor. Kademeli olarak inşa edin, sürekli doğrulayın ve unutmayın ki bazen en iyi model, daha çok veriden değil, daha akıllı veriden gelir.

Eğer domain-specific bir uygulama üzerinde çalışıyorsanız, genel amaçlı API'lerin sunamayacağı bir şeyi özel fine-tune edilmiş bir model sunabilir mi, bunu düşünün. Giriş engeli hiç bu kadar düşük olmamıştı.