
โมเดลที่มีพารามิเตอร์ 2.8 ล้านล้านตัวและมีช่องว่างบริบท 1 ล้านโทเค็น ถูกสร้างขึ้นบนสถาปัตยกรรม mixture-of-experts: จากผู้เชี่ยวชาญ 896 คน จะมีเพียง 16 คนเท่านั้นที่ถูกเปิดใช้งาน ซึ่งช่วยลดต้นทุนการอนุมาน ตามข้อมูลของ Moonshot เอง ประสิทธิภาพในการขยายขนาดเพิ่มขึ้นประมาณ 2.5 เท่าเมื่อเทียบกับรุ่นก่อนหน้า ในบรรดาบันทัดฐานที่กว้างขึ้น K3 ยังคงด้อยกว่าคอนฟิกูร์ชันระดับแนวหน้าอย่าง Claude และ OpenAI—ความเป็นผู้นำจำกัดเฉพาะด้านการเขียนโค้ดเท่านั้น
อ่านบทความนี้ต่อที่แหล่งที่มา: coindesk.com