NVIDIA Nemotron 3.5 ailesine Bolt modellerini ekledi; 24 GB bellekte Bolt 74B-A9B erişime açıldı

Teknoblog'un haberine göre, NVIDIA, Nemotron açık model ailesine üç yeni seçeneği ekledi. Şirketin 15 Ekim tarihli duyurusu, kurumsal görevler için Nemotron 3.5 Super VL’yi ve yerel kullanım için iki Bolt modelini kapsıyor. Super VL ile Bolt 74B-A9B 24GB bugün erişime açılırken, daha küçük Bolt E4B 4GB modeli 23 Ekim’de kullanıma sunulacak.

Super VL, metin, görüntü ve belgeleri birlikte işleyebilen 120 milyar parametreli bir model olarak öne çıkıyor. NVIDIA, bu modeli sürekli çalışan kurumsal yapay zeka ajanları için konumlandırıyor. Ayrıca şirketler kendi verileri ve iş kurallarıyla ek eğitim gerçekleştirip modeli kendi altyapılarında kullanabiliyor.

Yeni aile, tek bir bilgisayar sınıfıyla sınırlı kalmıyor ve Super VL veri merkezi, bulut ve yerel sistemlerde görev yapabiliyor. Bolt 74B ise gündelik ajan işlerini bilgisayarda yürütmeye odaklanıyor. Buna karşın Bolt E4B, hızlı sesli asistanlar, etkileşimli karakterler ve gömülü arayüzler için daha küçük bellek hedefli bir model olarak öne çıkıyor.

NVIDIA, Super VL’nin belge içindeki tablo, grafik ve metinleri birlikte işlemesini vurguluyor. Model, bir sayfadaki grafiği başka bölümdeki tabloyla ilişkilendirebiliyor; bu sayede geliştiriciler, bu tür görevlerde ayrı metin ve görsel modelleri arasında bağlam aktarma zorunluluğunu azaltmayı hedefliyor.

Bolt’un teknik sayfası, toplam parametre sayısı ile her adımda etkin çalışan parametreleri ayırıyor. 74B-A9B adı, yaklaşık 74 milyar toplam parametreyi ve 9 milyar etkin parametreyi ifade ederken, NVIDIA bu modeli daha büyük Super VL’den sıkıştırma ve ek eğitim adımlarıyla türetiyor.

Günün öne çıkan konularından biri de Bolt’un belleğe sığdırılabilirlik göstergesi olarak 24 GB’lık hedefin, yaklaşık 2 bitlik nicemleme kullanımıyla sağlandığına işaret edilmesi. Ancak bu sayı, bilgisayarın tüm görevleri için gerekli toplam belleği veya her durumda aynı hızı garanti etmeyebilir.

Performans ölçümleri, 128 GB bellekli Surface Laptop Ultra üzerinde llama.cpp ile yapıldı; Bolt, AIPerf SPEED-Bench-Coding testinde saniyede yaklaşık 84 belirteç üretiminde bulundu. Tablo aynı tabloda Qwen ve Gemma ile karşılaştırıldığında daha düşük belirteç hızlarına ulaştı. NVIDIA, Bolt’u tüm ölçütlerde en hızlı model olarak sunmuyor; bellek, doğruluk ve hız arasındaki dengeyi vurguluyor.

Super VL’nin geliştirici belgesi, toplam 120 milyar parametre içinde her belirteç için yaklaşık 12 milyarının etkinleştirildiği bir uzmanlar karışımı yaklaşımını anlatıyor. Ayrıca belge anlama eğitimi, çok sayfalı dokümanlar, optik karakter tanıma ve video dahil ediliyor. Geliştiriciler NeMo araçlarıyla kendi verilerini ve şirket politikalarını ek eğitime katabiliyor.

Teknik belgede Ramp’in fiş görsellerinin satıcı, tarih ve ödeme bilgileri içeren düzenli veriye dönüştürülmesi örnek olarak gösteriliyor; Ramp bu alanda daha yüksek işlem hacmi ve düşük gecikme öngörüyor. Bolt’un nicemlenmiş ağırlıkları ve hızlandırıcı taslak modeli bugün indirilebilirken, NVIDIA farklı yerel çalıştırma araçları için de destek açıklıyor.

TürkAta Haber Ajansı