Homelab Builder, yalnızca CPU ile Optane Bellek üzerinde 2.8T-parametreli AI modelini çalıştırıyor.
Bir Reddit homelab kurucusu, Moonshot AI'nin 2.8 trilyon parametreli Kimi K3 AI modelini, kullanımdan kaldırılmış ikinci nesil Intel Optane PMem 200 bellek ile, 40 çekirdekli 3. nesil Xeon Scalable CPU ve GPU olmadan çalıştırdı. Kurucu, Optane'i "eşdeğer DRAM'ın bir kısmı" maliyetine sahip olduğu için tercih etti; DRAM fiyatları ise fırlamış durumda. Proje, ilk nesil Optane üzerinde 1 trilyon parametreli bir model çalıştıran ayrı bir kullanıcı tarafından yapılan önceki bir kurulumun ardından gel
OliverGrant·6dk önce
