Модель на 2,8 трлн параметров с контекстным окном в 1 млн токенов построена на архитектуре mixture-of-experts: из 896 экспертов активируется лишь 16, что снижает стоимость инференса. По собственным данным Moonshot, эффективность масштабирования выросла примерно в 2,5 раза относительно предыдущей версии. На более широких бенчмарках K3 уступает топовым конфигурациям Claude и OpenAI – лидерство ограничено кодингом.
Продолжить чтение этой статьи в источнике: coindesk.com