MI300X’te GLM-5.3-FP8 için DP8+EP8 düzeni
AMD’nin açıklamasına göre GLM-5.3-FP8, tek bir sekiz GPU’lu MI300X düğümünde DP8+EP8 düzeniyle çalıştırıldı. Yazı, bu yerleşimde uzmanların GPU’lara dağıtımını ve uzun-kısa bağlam iş yüklerinde TP=8 ile yapılan karşılaştırmaları inceliyor.
Bu yazıda
GLM-5.3-FP8, tek bir sekiz GPU’lu MI300X düğümünde ROCm 7.2.3 ve vLLM v0.28.0 ile DP8+EP8 modunda çalıştırıldı. Bu düzende her GPU ayrı bir veri paralelliği sırası yürütürken, 256 yönlendirilmiş uzman GPU başına 32 uzman olacak biçimde dağıtılır.
DP8+EP8 düzeni nasıl çalışıyor?
Modelin toplam parametre sayısı 744 milyar, ileri geçiş başına etkin parametre sayısı ise yaklaşık 39 milyardır. AMD’nin tarif ettiği DP8+EP8 yerleşiminde sekiz GPU’nun her biri ayrı bir veri paralelliği sırası çalıştırır. Yönlendirilmiş uzmanlar da sekiz GPU arasında 32’şer adet olacak şekilde paylaştırılır.
Uzun bağlamdaki karşılaştırma
AMD’nin testinde TP=8 yapılandırması, 96K giriş ve 32K çıkış kullanılan iş yükünde azami 128 eşzamanlılıkta darboğaz oluşturdu. Aynı uzun bağlam iş yükünde, 128 istek ve en fazla 128 eşzamanlılık altında DP8+EP8’in çıktı aktarımı TP=8’e göre yüzde 147 daha yüksekti.
Kısa bağlamdaki sonuç
Kısa bağlamlı 8K/1K iş yükünde sonuç ters yöndeydi: DP8+EP8’in çıktı aktarımı TP=8’in yüzde 26 altında kaldı. Bu karşılaştırmalar, belirtilen giriş-çıkış uzunlukları ve eşzamanlılık sınırlarıyla yapılan AMD testine aittir.
Bağlam penceresi ve açılış süresi
Tarifte bağlam penceresi, GPU bellek kullanımı 0,9 olarak ayarlandığında 202.752 token olarak belirlenir. Soğuk JIT önbelleğiyle ilk açılışın 30–45 dakika sürmesi beklenirken, sıcak önbellekte sonraki açılışlar yaklaşık 5 dakika sürebilir.