Yerel LLM çalıştırmak için hangi ekran kartı yeterli?
zeynep_ai1 ay önce 3 309
1
Selam! Evde yerel bir dil modeli çalıştırmak istiyorum ama hangi GPU'yu almam gerektiğine karar veremedim. 12GB VRAM yeterli mi, yoksa 16GB'a mı çıkmalıyım? Deneyimlerinizi paylaşır mısınız?
3 Cevap
1
Uzun vadede 16GB daha mantıklı.
1
7B-13B modeller için 12GB genelde yeterli. Ama daha büyük modeller ve rahat bir deneyim istiyorsan 16GB almanı öneririm. Quantization ile 12GB'a sığdırmak mümkün ama tavizler var.
1
Ben 12GB ile başladım, sonra pişman oldum. Uzun vadede 16GB daha mantıklı.