Mô hình với 2,8 nghìn tỷ tham số và cửa sổ ngữ cảnh 1 triệu token được xây dựng trên kiến trúc mixture-of-experts: trong số 896 chuyên gia, chỉ có 16 được kích hoạt, giúp giảm chi phí suy luận. Theo dữ liệu nội bộ của Moonshot, hiệu quả mở rộng quy mô đã tăng khoảng 2,5 lần so với phiên bản trước. Trên các benchmark rộng hơn, K3 thua kém các cấu hình hàng đầu như Claude và OpenAI—lợi thế của nó bị giới hạn trong lĩnh vực lập trình.
Tiếp tục đọc bài viết này tại nguồn: coindesk.com