Alibaba, QwenGyre'yi tanıttı; bu, tek bir rollout'un saatlerce sürebildiği ve neredeyse bir milyon token tüketebildiği aşırı uzun ufuklu ajan eğitim görevleri için tasarlanmış bir pekiştirmeli öğrenme çerçevesidir. Çerçeve, geleneksel çevrimiçi RL boru hatlarındaki iki temel sorunu ele alır: uzun yürütme kuyrukları sırasında GPU'ların boşta kalmasına neden olan rollout süresindeki ciddi varyans ve büyük miktarda gereksiz eğitim verisi üreten dallanma yürütme yolları. LLM ajanları, bireysel depo sorunlarını çözmekten tüm kod tabanlarını inşa etmeye evrildikçe, QwenGyre'nin iki bileşenli mimarisi—esnek bir zamanlayıcı ve bir yol işleyici—milyon token iş akışlarında GPU kullanımını ve eğitim verisi verimliliğini optimize etmeyi amaçlamaktadır.
Esnek Zamanlayıcı, GPU Kaynaklarını Uçuş Ortasında Yeniden Dağıtıyor
Esnek Zamanlayıcı, tamamlanmamış rollout işlerinin hacmi değiştikçe donanımı bağımsız olarak değiştirilebilen "hücreler" olarak organize ederek GPU'nun düşük kullanımını ele alır. Geleneksel çerçeveler, ya rollout ve eğitim arasında bir GPU havuzunu sırayla kullanır (birlikte yerleştirme), bu da uzun rollout kuyrukları sırasında donanımı boşta bırakır, ya da iki aşama arasında GPU'ları statik olarak böler (eşzamanlı), bu da bir tarafın diğerinin boş kapasitesini ödünç almasını engeller. QwenGyre'nin yaklaşımı, canlı harness yürütmelerini asla kesmez: model talepleri, uçuş ortasında kalan rollout motorlarına yönlendirilir ve KV önbellekleri yeniden hesaplamayı önlemek için RDMA üzerinden taşınır. Yeni serbest kalan hücreler, yetkili ağırlıkları bir ana hücreden çekerek ek veri-paralel kopyalar olarak devam eden bir eğitim adımına katılırken, akış eğitimi her grubun ilerlemesine göre mikro partileri dağıtır, böylece hücreler adım adım tamamlanır. Rol geçişleri hızlıdır—rollout'tan eğitime ortalama 8.5 saniye ve geri dönüşte 3.5 saniye—bu, saatler süren rollout yürütmeleri karşısında önemsizdir.
Dallanma Yollarını Kontrol Altına Alma
Yol İşleyici, eğitim verisini kendisi yönetir. XLong ufuklarda, ajan harness'leri kompakt doygun bağlamlar kullanır, alt görevleri alt ajanlara devreder ve başarısız yolları tekrar dener, böylece bir yürütme, doğrusal bir yol yerine dallanan bağlam yollarının bir ağacını üretir. Her yolu naif bir şekilde genişletmek, paylaşılan ön ekleri çoğaltır ve eğitim maliyetini artırır. QwenGyre, yürütmeyi bir ön ek paylaşım yol ağacı olarak yeniden yapılandırır ve her model çıktısının tam orijinal koşullandırma bağlamını korur. Politika tarafından gerçekten üretilen token'lar üzerinde eğitim yapılır ve paylaşılan hedefler, ağaç üzerindeki maskeleme ile bir kez sayılır. Çerçeve ayrıca kısmi ilerlemeleri de puanlar: zaman aşımına uğrayan yürütmeler, korunan çalışma alanı durumlarına göre hala değerlendirilir, böylece kısmi girişimler atılmak yerine anlamlı ödüller taşır. Eğitim kabulünde, her yürütme için rol önceliği (önce ana ajan, sonra alt ajanlar, sonra özet yollar) ile sınırlı sayıda yol seçilir ve token kayıpları, yol sayısının ağırlığı çarpıtmasını önlemek için her yürütme içinde ortalama alınır.
QwenGyre, %1.85'e Kadar Eğitim Hızlandırması Sağlıyor
Alibaba'nın amiral gemisi Qwen 3.8-2.4T modeline yaklaşık 700K token başına ölçeklendiğinde, QwenGyre, NL2RepoBench geçiş oranını 48 eğitim adımında %52.5'ten %58.5'e yükseltti ve bunları 75.4 saatte tamamladı; bu süre, eşzamanlı temel için 134.6 saat ve birlikte yerleştirme temel için 91.5 saat—sırasıyla %1.78 ve %1.85'e kadar hızlandırmalar sağladı ve temel eğitim puanlarını eşleştirdi. Üç değerlendirilen iş yükü—NL2RepoBench, DeepSWE ve TerminalBench—altında kazançlar, eşit GPU bütçeleri altında tutarlı bir şekilde sürdü.
SSS
Alibaba'nın QwenGyre çerçevesi pekiştirmeli öğrenmede hangi sorunu çözüyor?
QwenGyre, aşırı uzun ufuklu RL'deki iki temel sorunu ele alır: uzun yürütme kuyrukları sırasında GPU'ların boşta kalmasına neden olan rollout süresindeki ciddi varyans ve neredeyse bir milyon token tüketen görevlerde büyük miktarda gereksiz eğitim verisi üreten dallanma yürütme yolları.
QwenGyre, geleneksel RL çerçevelerine göre ne kadar daha hızlıdır?
QwenGyre, 48 eğitim adımını 75.4 saatte tamamladı; bu süre, eşzamanlı temel için 134.6 saat ve birlikte yerleştirme temel için 91.5 saat, sırasıyla %1.78 ve %1.85'e kadar hızlandırmalar sağladı ve Alibaba'nın Qwen 3.8-2.4T modelinde temel eğitim puanlarını eşleştirdi.
QwenGyre, NL2RepoBench'de ne tür bir performans iyileştirmesi sağladı?
QwenGyre, Alibaba'nın Qwen 3.8-2.4T modeline ölçeklendiğinde, NL2RepoBench geçiş oranını 48 eğitim adımında %52.5'ten %58.5'e yükseltti.
