Avukat, DeepSeek V4.1 Flash için özel AI sunucusunu 12 Nvidia V100 GPU ile yükseltti.

Önemli Noktalar

  • Nick Mermiges, özel bir AI sunucusunu sekiz adet Nvidia V100 GPU'dan 12 adede yükseltti ve DeepSeek V4.1 Flash'ı çalıştırdı.
  • Nick Mermiges, 12 GPU'lu yapılandırma için toplamda 9,450 $ ödedi ve bu yapılandırma, 4-bit NVFP4 hassasiyetinde DeepSeek V4.1 Flash'ı çalıştırıyor.
  • Nick Mermiges, 12 GPU'lu kurulumu Pazartesi gününden beri varsayılan DeepSeek makinesi olarak kullanıyor.

Bir avukat, DeepSeek V4.1 Flash'ı çalıştırmak için özel AI sunucusunu sekizden 12 kullanılmış Nvidia V100 GPU'ya yükseltti. Tüm 15,360 uzmanı 4-bit NVFP4 hassasiyetinde çalıştırarak kod üzerinde saniyede 184 token'e kadar ulaşmayı başardı. Nick Mermiges, yapılandırma için toplam 9,450 $ ödedi ve bunun, tek bir isteği çözmede yayımlanan DGX Spark yığınlarını geride bırakabileceğini, üç birimin yarı fiyatına mal olduğunu söylüyor. Yükseltme, bir bellek sınırlamasını gideriyor: orijinal sekiz 32GB kart 254 GiB sağlıyordu, ancak modelin uzmanları NVFP4 hassasiyetinde 278.9 GiB gerektiriyor, bu da üçüncü bir dört-GPU kart eklemeyi zorunlu kılıyor. Genişletilmiş yapılandırma, uzun belgelerin yanıt vermeye başlaması için bekleme süresini önceki sekiz-GPU yapılandırmasına kıyasla yaklaşık yarı yarıya azaltıyor.

Avukat Üçüncü GPU Kartını Ekleyerek Tam Model Hassasiyetine Ulaşıyor

Mermiges, yapılandırmasını iki karttan üç karta, her kartta dört V100 GPU ile genişletti. Orijinal sekiz 32GB kart 254 GiB yönetebiliyordu, ancak seçilen modelin uzmanları Nvidia'nın NVFP4 sürümü ile 278.9 GiB gerektiriyor. Önceki çözümü, kartlardaki her uzmanı 2-bit hassasiyetinde tutmak ve kartlar dolana kadar 5,949 uzmanı (yaklaşık %38.7) NVFP4'e geçirmeyi içeriyordu. Şimdi tüm 15,360 uzman, kartlarda tam NVFP4 hassasiyetinde yer alıyor ve hiçbiri daha fazla sıkıştırılmamış durumda, GitHub reposuna göre. Kendi sitesinde daha uzun bir yazıda, uzman değerlerinin DeepSeek'in kendi sürümündeki değerlerle eşit olduğunu, ancak modelin diğer kısımlarının kompakt formlar kullandığını belirtiyor.

Performans Ölçümleri Daha Hızlı İlk Token Üretimi Gösteriyor

Yapılandırma, performansta ve hassasiyette belirgin iyileşmeler gösteriyor. Ölçümleri, 256K bağlamda ilk kod token'ının 58 saniyede üretildiğini, bu sürenin önceki yükseltmesinden sonraki 108.4 saniyeye göre neredeyse iki kat daha hızlı olduğunu gösteriyor. İstekte okuma, 32K'dan sonra yaklaşık 4,500 token/saniye hızında, bu da ilk yapısının yaklaşık 2,200 token/saniye hızının iki katından fazla. Kod çözme, 1K bağlamda %23 daha hızlı, ancak 32K ve üzerindeki bağlamlarda gerçek bir kazanç göstermiyor. 128K bağlamda üç istekte toplamda yaklaşık 360 token/saniye kod ve 213 token/yasal belgeler elde edildi.

V100 Mimarisi FP4 Formatı için Yazılım Çözümleri Gerektiriyor

V100'de FP4 veya FP8 tensor çekirdekleri yok. Her NVFP4 sayısı önce yazılımda yarı hassasiyete açılmak zorunda. Kompakt uzmanlar hâlâ fayda sağlıyor çünkü kartlar daha az bayt okuyor, daha hızlı hesapladıkları için değil. Bu, 2018'deki bir kartın Blackwell dönemine ait bir formatı çalıştırabilmesinin nedenini açıklamaya yardımcı oluyor.

Yapılandırma Üç Kart ile PCIe Anahtarlama Topolojisi Kullanıyor

Modelin katmanları, 0-13, 14-27 ve 28-39 arasında kartlara bölünmüş durumda ve her kartın bölümü kendi dört kartı arasında dağıtılmış. Bir karttaki kartlar Nvidia'nın hızlı bağlantısını (NVLink) paylaşıyor ve kartlar arasındaki geçişler, ev sahibinin PCIe'si üzerinden iki ayrı PCIe anahtarı ile geçiyor. İlk iki kart, PEX88096 anahtarını paylaşıyor, bu nedenle geçişleri içinde kalıyor, ancak üçüncü kart ayrı bir PLX 8749'un arkasında, bu nedenle ikinci geçiş de ev sahibinin PCIe köprülerini geçmek zorunda kalıyor, bu da gecikme ekliyor. Her kartın güç sınırı 150 W'dan 175 W'a yükseltildi ve saat sınırı 1,522 MHz'den 1,452 MHz'ye düşürüldü.

Mermiges Toplu Çözümleme Çalışması Planlıyor

Mermiges, Reddit'te Sparks'ın sahip olduğu ve istediği tek şeyin toplu çözümleme olduğunu yazdı. Bunun ötesinde, bir konunun belgelerinin yeniden başlatma sırasında hayatta kalabilmesi için konuşma deposunu açma planları var. Yapılandırma, Pazartesi gününden beri onun varsayılan DeepSeek makinesi oldu ve modelin, onun için Opus 4.6 gibi çalışan ilk model olduğunu söylüyor.

SSS

Avukat neden 8'den 12 Nvidia V100 GPU'ya yükseldi? Orijinal sekiz 32GB kart 254 GiB bellek sağlıyordu, ancak tüm DeepSeek V4.1 Flash uzmanlarını 4-bit NVFP4 hassasiyetinde çalıştırmak 278.9 GiB gerektiriyor, bu da tam modeli sıkıştırmadan barındırmak için üçüncü bir dört-GPU kartını zorunlu kılıyor.

12-GPU yapılandırması, Nvidia DGX Spark yığınları ile performans açısından nasıl karşılaştırılıyor? Mermiges, 9,450 $'lık yapılandırmanın, tek bir isteği çözmede yayımlanan DGX Spark yığınlarını geride bırakabileceğini, üç Spark biriminin yarı fiyatına mal olduğunu ve kod üzerinde saniyede 184 token'e kadar ulaşabileceğini belirtiyor.

Sorumluluk Reddi: Bu içerik yalnızca bilgilendirme amaçlıdır. Yatırım tavsiyesi niteliği taşımaz ve kripto varlık alım satımını teşvik etmeyi amaçlamaz. İçerik, sektörel gelişmeler hakkında bilgi sunmak amacıyla hazırlanmış olup Gate TR tarafından sunulan hizmetlerle doğrudan bağlantılı değildir. Üçüncü taraf kaynaklardan elde edilen bilgiler dikkatle incelenmiş olsa da Gate TR, bu bilgilerde bulunabilecek hata veya eksikliklerden sorumlu tutulamaz. Kripto varlıklar yüksek risk taşır ve önemli fiyat dalgalanmalarına maruz kalabilir. Herhangi bir yatırım kararı vermeden önce finansal durumunuzu ve risk toleransınızı değerlendirmeniz, kendi araştırmanızı yapmanız ve kararlarınızı bağımsız olarak almanız önerilir.