AMD Ryzen AI Halo Developer Platformu: Birleşik Bellek ve Yerel Büyük Dil Modelleri
AMD Ryzen AI Halo Developer Platformu, Ryzen AI Max+ PRO 495 işlemci, 192 GB’a kadar birleşik bellek ve GPU’ya ayrılabilen 160 GB VRAM ile büyük dil modellerini yerelde çalıştırmaya odaklanıyor. Platform ayrıca Zen 5 CPU çekirdekleri, RDNA 3.5 GPU birimleri ve doğrulanmış ROCm yazılım yapılandırması sunuyor.
Bu yazıda
AMD, Ryzen AI Max+ PRO 495 işlemcili Ryzen AI Halo Developer Platformu’nu tanıttı. Platform, birleşik bellek yapısıyla büyük dil modellerini yerelde çalıştırmaya yönelik bir geliştirici platformu olarak konumlanıyor.
Ryzen AI Halo’nun birleşik bellek ve donanım özellikleri
Ryzen AI Halo, 192 GB’a kadar birleşik bellek destekliyor ve bu belleğin 160 GB’a kadarı GPU için VRAM olarak ayrılabiliyor. İşlemci tarafında 16 adede kadar Zen 5 CPU çekirdeği, grafik tarafında ise 40 AMD RDNA 3.5 GPU işlem birimi bulunuyor.
Büyük dil modelleri için yazılım ve yapılandırma
AMD’nin açıklamasına göre platform, 4 bit niceleme ile 300 milyar parametreli ve daha büyük dil modellerini çalıştırabiliyor. AMD ayrıca ROCm yazılımını, sürücüleri, çerçeveleri, uygulamaları ve modelleri birlikte doğrulanmış bir yapılandırma olarak sunuyor.