Pilot güzel çalıştı, ekip memnun, yönetim "yaygınlaştıralım" dedi. İşte tam bu anda yapılan hatalar, altı ay sonra "AI projemiz başarısız oldu" cümlesine dönüşür. Üretime geçmeden şu 8 maddeyi kapatın:
1. Gerçek eşzamanlılığı ölçün
Pilotta 5 kişi vardı; üretimde öğle saatinde 80 kişi aynı anda soru soracak. Yük testi yapmadan kapasite planlanmaz — bekleyen istek kuyruğu, kullanıcının gözünde "çalışmıyor" demektir.
2. Tek sunucuya mahkûm kalmayın
Asistan iş akışına girdiyse kesintisi artık iş durmasıdır. İkinci bir inference sunucusu veya en azından hızlı devreye alınabilir bir yedek plan şarttır.
3. İzleme kurun
GPU doluluk, istek gecikmesi, hata oranı ve günlük token tüketimi ilk günden panoda olmalı. Kapasite kararlarını his değil, bu grafikler verir.
4. Model güncelleme sürecini tanımlayın
Yeni model sürümünü kim, hangi testten geçirip yayına alacak? Üretimde "bir gece model değiştirdik" diye bir şey yoktur.
5-8: Kısa ama kritik
Erişim kontrolü: asistana kim, hangi veriyle konuşabiliyor? Loglama: hangi sorulara ne cevap verildi, denetlenebilir mi? Geri bildirim döngüsü: kullanıcı kötü cevabı işaretleyebiliyor mu? Maliyet sahibi: elektrik ve amortisman hangi bütçeye yazılıyor?
Bu listedeki kapasite ve yedeklilik maddeleri doğrudan donanım kararıdır. Pilot sonuçlarınızı bizimle paylaşın; üretim ölçeğinin konfigürasyonunu ve büyüme yolunu birlikte çizelim.