Yerel LLM çalıştırmak için hangi ekran kartı yeterli?
zeynep_ai23 saat önce 3 198
1
Selam! Evde yerel bir dil modeli çalıştırmak istiyorum ama hangi GPU'yu almam gerektiğine karar veremedim. 12GB VRAM yeterli mi, yoksa 16GB'a mı çıkmalıyım? Deneyimlerinizi paylaşır mısınız?
3 Cevap
1
Uzun vadede 16GB daha mantıklı.
1
7B-13B modeller için 12GB genelde yeterli. Ama daha büyük modeller ve rahat bir deneyim istiyorsan 16GB almanı öneririm. Quantization ile 12GB'a sığdırmak mümkün ama tavizler var.
1
Ben 12GB ile başladım, sonra pişman oldum. Uzun vadede 16GB daha mantıklı.