"Model bizim ürünlerimizi, prosedürlerimizi bilsin" hedefine giden iki yol vardır ve seçiminiz yalnızca yazılım mimarinizi değil, alacağınız donanımı da belirler.
RAG: bilgiyi modele değil, yanına koymak
Retrieval-Augmented Generation'da dokümanlarınız bir vektör veritabanında durur; her soruda ilgili parçalar bulunup modelin bağlamına eklenir. Avantajları: bilgi güncellenince sadece veritabanı güncellenir, model kaynağını gösterebilir, halüsinasyon azalır. Kurumsal senaryoların yaklaşık %80'i için doğru başlangıç budur.
Fine-tuning: davranışı modelin içine işlemek
Fine-tuning ise modelin ağırlıklarını sizin örneklerinizle günceller. Üslup, format ve alan diline hâkimiyet kazandırır — "bizim hukuk ekibimiz gibi yazsın", "bu sınıflandırmayı hep aynı şemayla yapsın" gibi işler burada parlar. Bilgi deposu olarak kullanmak içinse yanlış araçtır: model yeni bilgiyi ezberler ama güncellemek için yeniden eğitim gerekir.
Donanım tarafında fark ne?
RAG, inference donanımıyla çalışır: modeli taşıyan GPU'ya ek olarak embedding modeli ve vektör veritabanı için küçük bir pay yeterlidir — 2x L40S'li bir sunucu orta ölçekli bir kurumun RAG asistanını rahat taşır. Fine-tuning (LoRA dahil) ise eğitim belleği ister: 70B bir modelin LoRA eğitimi için pratikte 2-4x H100/H200 sınıfı kart konuşulur. İkisini birleştiren ekipler çoğu zaman eğitimi kısa süreli yapıp, kalıcı donanımı inference'a göre boyutlandırır.
Kısa karar rehberi
Sık değişen kurumsal bilgi → RAG. Üslup/format/uzmanlık davranışı → fine-tuning. İkisi birden gerekiyorsa → önce RAG ile canlıya çıkın, fine-tuning'i ölçtüğünüz eksiklere göre ekleyin. Senaryonuzu yazın; donanımı hangi aşamada neye göre boyutlandıracağınızı birlikte planlayalım.