Kurum içinde yapay zekâ çalıştırmaya karar veren her kurum aynı soruya gelir: nasıl bir sunucu gerekiyor? Gereğinden büyük sunucu bütçeyi, gereğinden küçüğü projeyi yer. Neyse ki hesabın temel mantığı basittir.
1. Model boyutu belleği belirler
Bir dil modelinin büyüklüğü parametre sayısıyla ifade edilir. Modelin GPU belleğine sığması için yaklaşık olarak parametre sayısı × parametre başına bayt kadar bellek gerekir. 16 bit hassasiyette parametre başına 2 bayt kullanılır; 7 milyar parametreli bir model yalnız ağırlıkları için yaklaşık 14 GB bellek ister. Aynı model 4 bit'e sıkıştırıldığında (nicemleme) bu ihtiyaç kabaca dörtte birine iner.
2. Kullanıcılar ek bellek ister
Model belleğe sığdıktan sonra her konuşma için de bellek gerekir; uzun belgeler ve uzun konuşmalar bu ihtiyacı büyütür. Bu yüzden aynı anda kaç kişinin, ne uzunlukta işlerle sistemi kullanacağı, model boyutu kadar önemlidir.
3. Tek model yetmez
Kurumsal bir kurulumda genellikle birden fazla model birlikte çalışır:
- Sohbet ve yazı için bir dil modeli,
- Belgeleri aranabilir yapmak için bir gömme (embedding) modeli,
- Taranmış belge ve görseller için bir görsel model.
Hepsinin belleği birlikte hesaplanmalıdır.
4. Büyüme payı bırakın
Kullanım, sistem kurulduktan sonra artar. Yeni ekipler katılır, yeni işler eklenir. Boyutlandırmada bugünkü ihtiyacın üstünde bir pay bırakmak ya da sonradan GPU eklenebilecek bir sunucu seçmek, ilk yıl içinde yeni bir satın almayı önler.
5. Önce ölçün, sonra alın
En güvenli yol, gerçek işlerinizden örneklerle küçük bir deneme yapmak ve yanıt sürelerini ölçmektir. Kâğıt üzerindeki hesap yönü gösterir; ölçüm kararı kesinleştirir.
Bizz AI Ready hizmetinde boyutlandırmayı sizinle birlikte yapar, sunucuyu modeller ve Bizz AI Core kurulu olarak teslim ederiz.