Bir Reddit homelab kurucusu, Moonshot AI'nin 2.8 trilyon parametreli Kimi K3 AI modelini, kullanımdan kaldırılmış ikinci nesil Intel Optane PMem 200 bellek ile, 40 çekirdekli 3. nesil Xeon Scalable CPU ve GPU olmadan çalıştırdı. Kurucu, Optane'i "eşdeğer DRAM'ın bir kısmı" maliyetine sahip olduğu için tercih etti; DRAM fiyatları ise fırlamış durumda. Proje, ilk nesil Optane üzerinde 1 trilyon parametreli bir model çalıştıran ayrı bir kullanıcı tarafından yapılan önceki bir kurulumun ardından geldi ve uygun soğutma olmadan komşu bellek bileşenlerini zarar verebilecek kritik termal yönetim zorluklarını vurguladı.
Reddit Kurucusu CPU-Sadece Çıkarım ile Saniyede 0.85 Token Elde Etti
Reddit'in r/homelab topluluğunda paylaşılan homelab projesi, 1-bit kuantizasyon ile saniyede 0.85 token ve 3-bit kuantizasyon ile 0.75 token elde etti. Bu hızlar, RTX 3060'ın daha küçük 1 trilyon parametreli K2.5 modelinin bir kısmını işlediği önceki bir kurulumda elde edilen yaklaşık 4 token/saniye ile karşılaştırıldığında daha düşüktür. Bir yorumcu, 50,000 token'lık bir görevin yaklaşık 13 saat süreceğini tahmin etti, ancak bir diğeri gece parti işleme işleminin hızı önceliklendirmediğini belirtti.
Kurucu, Optane'i yazılımın doğrudan haritaladığı ayrı, kalıcı bir alan olarak açığa çıkaran App Direct Modu'nu kullandı. Bu yaklaşım, modelin tensörlerinin nerede bulunduğu üzerinde "daha fazla kontrol" sağlayabilir, ilk kurulumun yaratıcısı u/APFrisco'ya göre. Alternatif Bellek Modu, Optane'in sistem belleği olarak DRAM ile önbellek olarak işlev görmesini sağlar.
Optane PMem 200 Aşırı Isı Üretiyor ve Aktif DRAM Soğutması Gerektiriyor
Kurucu, Optane DIMM'lerinin sürekli çıkarımda "son derece sıcak" hale geldiğini ve komşu DRAM'ı tehlikeye atabileceğini belirterek kritik bir termal uyarı yayınladı. Kurucunun tavsiyesi, "aktif DIMM soğutmasını zorunlu olarak ele almak" ve sıcaklıkları kontrol etmek için modüllere yönlendirilmiş çift 12W blower fanları kullanmaktır. Intel, her Optane PMem 200 modülünü kapasiteden bağımsız olarak 12W veya 15W olarak derecelendiriyor; bu da dört çubuğun sistem belleğinin hemen yanında yerleştirildiğinde 60W'a kadar ısı üretebileceği anlamına geliyor.
Intel, modüllerin soğutma için 2.4 ila 2.7 metre/saniye zorunlu hava akışına ihtiyaç duyduğunu belirtmektedir; bu koşullar genellikle veri merkezlerinde bulunur, ev sistemlerinde değil. 83 derece Santigrat'ta kısıtlama meydana gelirken, 85 derece Santigrat'ta termal kapanma gerçekleşir. Karşılaştırıldığında, tipik DDR4 sunucu belleği 85 derece Santigrat ve genişletilmiş aralıkta 95 dereceye kadar derecelendirilmiştir.
İkinci Nesil Optane, Birinci Nesilden %32 Daha Fazla Bant Genişliği Sağlıyor
Intel, 2020 yılında 3. nesil Xeon Scalable CPU'lar için 128GB, 256GB ve 512GB kapasitelerde Optane Kalıcı Bellek 200 Serisini (PMem 200) piyasaya sürdü. İki soketli Xeon platformlarında, birinci nesil PMem 100'den daha yüksek bir etkili MT/s hızında çalışır ve ortalama %32 daha fazla bellek bant genişliği sunabilir.
Moonshot AI, Kimi K3'ü çalıştırmak için veri merkezi çıkarım motorlarını öneriyor ve en küçük topluluk kuantizasyonunun en az 610GB RAM gerektirdiğini belirtiyor. İkinci el Optane kullanmak, kurucunun belirttiği gibi, bu kapasiteye evde ulaşmanın birkaç yolundan biridir; çünkü DRAM fiyatları önemli ölçüde artmıştır.
Kurucu GPU Entegrasyonu ve DRAM Katman Optimizasyonu Planlıyor
Kurucu, verilen performans rakamlarının ayar öncesi olduğunu, yani iş parçacığı sayıları veya NUMA bağlılığı ayarlanmadan verildiğini, bu nedenle iyileştirme için alan olduğunu belirtti. Kurucu, GPU'lar eklemeyi ve modelin bazı kısımlarını Optane ile birlikte daha hızlı bir katman olarak DRAM'e yüklemeyi planlıyor. Bir yorumcu, en çok kullanılan uzmanlar için DRAM önbellekle birlikte Bellek Modu kullanımı hakkında soru sordu. Kurucu, "daha fazla kıyaslama gelecek" dedi.
SSS
Reddit kurucusu 2.8 trilyon parametreli AI modelini çalıştırmak için hangi donanımı kullandı?
Kurucu, 40 çekirdekli 3. nesil Xeon Scalable CPU ile ikinci nesil Intel Optane PMem 200 belleği kullandı ve modeli yalnızca CPU ile, herhangi bir GPU olmadan çalıştırdı.
Bu kurulumda Optane belleği neden aktif soğutma gerektiriyor?
Optane PMem 200 modülleri her biri 12W ila 15W ısı üretiyor ve uygun hava akışı olmadan komşu DRAM'ı zarar verebilecek toplam 60W'a kadar ısı oluşturuyor. Kurucu, Optane'in yakınlardaki belleği "yakabileceğini" uyararak termal hasarı önlemek için çift 12W blower fanları kullandı.
İkinci nesil Optane performansı, AI çıkarımı için birinci nesil Optane ile nasıl karşılaştırılıyor?
İkinci nesil Optane PMem 200, birinci nesil PMem 100'den %32 daha fazla bellek bant genişliği sunuyor; ancak mevcut kurulum, RTX 3060 GPU ve daha küçük bir model kullanan önceki birinci nesil kurulumda elde edilen yaklaşık 4 token/saniye ile karşılaştırıldığında 0.85 token/saniye elde etti.
