ChatGPT benzeri bir asistanı tamamen şirket içinde çalıştırmak artık lüks değil; doğru donanımla orta ölçekli her kurumun erişebileceği bir hedef. Soru şu: sizin ölçeğiniz için "doğru donanım" ne?
Ölçek 1: Ekip içi pilot (5-20 kullanıcı)
8-14B sınıfı bir model, RTX PRO 6000'li (96 GB) tek bir iş istasyonunda düzinelerce eşzamanlı isteği rahat karşılar. Ofiste sessiz çalışır, sunucu odası istemez. DGX Spark da bu segmentte güçlü bir alternatiftir.
Ölçek 2: Departman servisi (20-100 kullanıcı)
Kalite çıtası yükseldikçe 32-70B modeller devreye girer. 2-4x L40S veya 2x H200 NVL'li bir 2U/4U sunucu, vLLM gibi bir servis katmanıyla bu aralığı ekonomik biçimde taşır.
Ölçek 3: Kurum geneli (100+ kullanıcı)
Burada artık kapasite planlaması şart: 70B+ model, yüksek eşzamanlılık ve uzun bağlam pencereleri, 4-8x H200'lü sistemleri veya birden fazla inference sunucusunun yük dengeleyici arkasında çalıştığı mimarileri gerektirir.
Sık yapılan 3 hata
1) Bellek hesabına KV-cache ve eşzamanlılığı katmamak — kullanıcı sayısı arttıkça bellek ihtiyacı model boyutundan bağımsız büyür. 2) Embedding/RAG bileşenlerini unutmak — vektör veritabanı ve embedding modeli de kaynak ister. 3) Yedeksiz tek sunucu — asistan iş akışına girdiyse, kesintisi artık "IT sorunu" değil "iş durması"dır.
Kaç kullanıcı, hangi senaryo? Formdan yazın; size ölçeğinize uygun 2-3 konfigürasyonu fiyatlarıyla birlikte sunalım.