16 GB NVIDIA Ekran Kartıyla Yerel Yapay Zeka

16 GB’lık bir NVIDIA ekran kartın varsa, yapay zekâyı internete hiçbir şey göndermeden kendi bilgisayarında çalıştırabilirsin. Bizim bilgisayarda bir RTX 5060 Ti var; videoda üzerinde neler kurulu olduğunu kısaca gösterdim, burada biraz daha açıyorum. Konunun genel haritası için Agentic AI Rehberi sayfasına bakabilirsin.

16 GB’lık kart yeter mi?

Yeter, ama her şeyi aynı anda değil. 16 GB belleği olan NVIDIA kartlardan birkaçı: RTX 5060 Ti 16 GB, RTX 5070 Ti, RTX 5080, RTX 4060 Ti 16 GB, RTX 4070 Ti SUPER, RTX 4080 ve RTX 4080 SUPER. Bellek aynı, hız aynı değil. Bu bellek; sohbet modeline, dikte modeline ya da seslendirme modeline sırayla yetiyor.

16 GB belleği olan NVIDIA ekran kartlarının listesi ve internete giden verinin olmadığını gösteren pano

Neden NVIDIA? Asıl fark CUDA

Hız tek sebep değil. Asıl avantaj CUDA: ekran kartına görüntü dışında iş yaptırmak için NVIDIA’nın kurduğu yazılım altyapısı. Yerel yapay zekâ araçlarının çoğu önce onun için hazırlanıyor; kurulum adımı, hazır paket ve hata çözümü önce orada çıkıyor. Başka kartlarda çalışan araçlar da var, ama yol bu kadar açık değil. Bizim kurulumda sohbet motoru da, ses modelleri de CUDA üzerinde çalışıyor.

NVIDIA ekran kartı, üstünde CUDA ve en üstte llama.cpp, PyTorch ve Whisper gibi araçlardan oluşan katman şeması

Qwen mi, Gemma mı?

Kartta iki model ailesi kurulu. Qwen daha zeki; zor akıl yürütme ve özenli yazı için onu seçiyorum. Gemma daha hızlı ve resme de bakabiliyor; bir ekran görüntüsünü yorumlatacaksan Gemma’yı seçersin.

Sansürsüz sürümler de var. Bunlar daha akıllı değil; yalnızca talepleri daha az geri çeviriyorlar. Bu, cevabın daha doğru olduğu anlamına gelmiyor.

Qwen ve Gemma kıyası: Qwen daha zeki, Gemma daha hızlı ve resme bakıyor; sansürsüz sürüm daha az ret veriyor ama daha doğru değil

Token ve bağlam, sade dille

Model metni kelime kelime değil, küçük parçalar halinde okur; bu parçalara token denir. Kısa bir kelime tek parça olabilir, uzun bir kelime birkaç parça. Bu bilgisayarda Qwen ve Gemma ile ölçtüm: “ev” tek parça, “yapabileceklerimizden” dört parça.

Token örneği: ev kelimesi tek parça, yapabileceklerimizden kelimesi yap, abilecek, lerimiz, den olarak dört parça

Bağlam ise modelin çalışma masası. Sorduğun soru, verdiğin belge, önceki konuşma ve modelin yazdığı cevap aynı masada durur. Masaya sığmayanı model görmez. Bu masa da ekran kartının belleğinde yer kaplar: bizde Qwen kartı neredeyse doldurduğu için masası Gemma’nınkinden küçük. Büyük masa da her ayrıntıyı doğru okuyacağı anlamına gelmez.

Bağlamı çalışma masası olarak gösteren sahne: soru, belge, önceki konuşma ve cevap masada; sığmayan kâğıt masadan düşüyor

Sadece dil modeli değil: Whisper ile dikte

16 GB’lık karta yalnızca sohbet modelleri yüklenmiyor. Benim en sevdiğim yerel yapay zekâ, sesten yazıya çeviren Whisper large v3. Onu kullanan küçük bir Windows uygulaması yaptım: iki tuşa basıp konuşuyorum, Whisper sesi aynı ekran kartında yazıya çeviriyor, bir kısayolla da açık pencereye yapıştırıyorum. E-posta, not, yapay zekâ ajanına talimat; bilgisayarı sesle yönetiyorum.

Dikte akışı: Ctrl+Win ile kayıt, Whisper aynı ekran kartında yazıya çeviriyor, yazı panoya geliyor, Ctrl+B ile açık pencereye yapıştırılıyor

En önemlisi şu: sesim bilgisayardan hiç çıkmıyor. Ses kaydı ve yazıya çevirme bu bilgisayarda kalıyor; panoya konan yazı Windows’un pano geçmişine ve bulut panosuna da gitmiyor. Dışarıya yalnız gönder dediğim yazı gidiyor.

Gizlilik ayrımı: ses kaydı, yazıya çevirme ve pano bu bilgisayarda kalıyor; internete yalnız gönderilen yazı gidiyor

Ses tarafındaki diğer yerel modeller

Aynı kartta ses için başka modeller de çalışıyor. VoxCPM2 yazıyı seslendiriyor; kısa bir ses örneği verirsen kendi sesinle de okutabiliyorsun. Chatterbox yedek seslendirme modelimiz. ZipEnhancer kayıttaki gürültüyü temizliyor, ERes2Net de klonlanan sesin gerçek sese ne kadar benzediğini ölçüyor.

Yerel ses modelleri: VoxCPM2 seslendirme ve ses klonu, Chatterbox yedek seslendirme, ZipEnhancer gürültü temizleme, ERes2Net ses benzerliği ölçümü

Önce işini seç, sonra modelini

Bu modellerin hepsi aynı belleği paylaşıyor. Dikte yaptıktan hemen sonra büyük sohbet modelini yüklersen model yavaşlar; sırayla kullanmak daha rahat. Zor akıl yürütme için Qwen, uzun belge ve resim için Gemma, konuşmayı yazıya çevirmek için Whisper, yazıyı sese çevirmek için VoxCPM2.

İş ve model eşlemesi: zor akıl yürütme Qwen, uzun belge ve resim Gemma, konuşmayı yazıya Whisper, yazıyı sese VoxCPM2; aynı bellek, sırayla kullan

Yerel kurulumları birlikte öğrenmek istersen kanalı takip et.

Sıkça Sorulan Sorular

16 GB’lık ekran kartı yerel yapay zekâ için yeter mi?

Yeter, ama her şeyi aynı anda değil. Aynı bellek sohbet modeline, dikte modeline ya da seslendirme modeline sırayla yetiyor; hepsini birlikte yüklersen model yavaşlar.

Neden NVIDIA kart öneriyorsun?

Hız tek sebep değil. Asıl fark CUDA: yerel yapay zekâ araçlarının çoğu önce onun için hazırlanıyor, kurulum adımı ve hata çözümü önce orada çıkıyor. Başka kartlarda çalışan araçlar da var ama yol bu kadar açık değil.

Qwen mi Gemma mı?

Qwen daha zeki; zor akıl yürütme ve özenli yazı için onu seçiyorum. Gemma daha hızlı ve resme de bakabiliyor. Sansürsüz sürümler daha akıllı değil, yalnızca talepleri daha az geri çeviriyor; bu cevabın daha doğru olduğu anlamına gelmiyor.

Dikte yaparken sesim internete gidiyor mu?

Gitmiyor. Whisper large v3 sesi aynı ekran kartında yazıya çeviriyor; ses kaydı ve yazıya çevirme bilgisayarda kalıyor. Dışarıya yalnızca gönder dediğim yazı gidiyor.