AMD Instella-MoE: ilk fully open MoE dil modeli — 16B toplam / 2.8B aktif, MI300X üzerinde eğitildi, veri + kod + reçete + checkpoint hepsi paylaşıldı
Açık kaynak AI cephesinde bir başka önemli hamle: AMD, kendi ilk tamamen açık Mixture-of-Experts (MoE) dil modelini yayınladı. Instella-MoE. 16 milyar toplam parametre, token başına sadece 2.8 milyar aktif parametre. Kendi AMD Instinct MI300X ve MI325X GPU’larında, kendi AMD-Primus ve Miles framework’leri ile sıfırdan eğitildi. Ama asıl haber model boyutu değil. Asıl haber ne kadar…
