Mixture of Experts Nedir?
DeepSeek-V3’ün 671 milyar parametresi var ama ürettiği her token için bunların sadece 37 milyarını çalıştırıyor. Kulağa hile gibi geliyor; değil. Bu yazıda Mixture of Experts mimarisini adım adım kuracağız — router’ın kararını elle hesaplayacağız, “8x7B neden 56 milyar etmiyor” sorusunu cevaplayacağız ve bu tasarımın hangi faturayı ödeyerek bu tasarrufu yaptığını göreceğiz. Klasik bir dil modelinde […]