Модель із 2,8 трильйонами параметрів та контекстним вікном у 1 мільйон токенів побудована на архітектурі змішання експертів: з 896 експертів активується лише 16, що зменшує вартість інференсу. За власними даними Moonshot, ефективність масштабування зросла приблизно в 2,5 рази порівняно з попередньою версією. На більш широких бенчмарках K3 вона поступається топовим конфігураціям Claude та OpenAI – лідерство обмежене програмуванням.
Продовжити читання цієї статті в джерелі: coindesk.com