Moonshot AI представила крупнейшую в мире открытую ИИ-модель Kimi K3 с 2,8 трлн параметров
Рекордный запуск на конференции WAIC
Китайский стартап Moonshot AI, основанный в марте 2023 года выпускниками университета Цинхуа при поддержке Alibaba, анонсировал крупнейшую в мире открытую ИИ-модель Kimi K3. Об этом сообщается в рамках Всемирной конференции по ИИ (WAIC) в Шанхае. 
Технические характеристики
Новая языковая модель насчитывает 2,8 трлн параметров и поддерживает контекстное окно до 1 млн токенов. Для повышения эффективности при работе с длинными цепочками рассуждений разработчики внедрили архитектуру Mixture-of-Experts с 896 «экспертами», из которых одновременно активируются 16. Ключевые инновации включают Kimi Delta Attention (KDA) и механизм Attention Residuals (AttnRes).
Модель обеспечивает нативную мультимодальность, способна обрабатывать текст, изображения и видео. По заявлениям компании, Kimi K3 уступает по возможностям лишь закрытым моделям Anthropic Claude Fable 5 и OpenAI GPT-5.6 Sol, однако среди открытых решений демонстрирует лучшие результаты. Независимые тесты показывают, что в некоторых задачах модель сравнялась с GPT-5.6 Sol и обогнала Claude Opus 4.8.
Сценарии применения
Kimi K3 ориентирована на выполнение сложных многоэтапных задач в программировании, научных исследованиях и анализе данных. В процессе тестирования модель написала собственный компилятор для программирования графических процессоров и за 48 часов спроектировала чип для инференса ИИ на собственной архитектуре. В симуляциях кристалл площадью 4 мм² с тактовой частотой 100 МГц генерировал 8700 токенов в секунду.
В задачах вычислительной астрофизики модель исследовала 20 научных статей, спроектировала вычислительный конвейер, обработала более 300 уравнений состояния, выявила несоответствия в опубликованных формулах, написала более 3000 строк кода на Python и визуализировала результаты в HTML. Работа, которая заняла бы человеку до двух недель, модель завершила за два часа.
Наиболее впечатательным стало видеомонтажное мастерство: модель самостоятельно смонтировала рекламное видео из 56 исходных фрагментов — задача, которую обычно требует до двух рабочих дней опытному монтажеру. Kimi K3 также умеет анализировать скриншоты интерфейсов и помогать в разработке игр, веб- и CAD-проектов.
Доступность и перспективы
Модель уже доступна в чат-боте Kimi, инструментах Kimi Code и Kimi Work, а также через API. Стоимость использования составляет 3 доллара за миллион входных токенов и 15 долларов за миллион выходных токенов. Полные веса модели компания намерена опубликовать 27 июля вместе с техническим отчётом.
Размер Kimi K3 почти втрое превосходит предыдущую версию Kimi K2 и опережает китайских конкурентов, включая DeepSeek с 1,6 трлн параметров и Xiaomi с 1,02 трлн. При этом стоит отметить рост склонности модели к «галлюцинациям» — выдумыванию фактов, а также увеличение стоимости по сравнению с предшественницей, что может указывать на окончание эпохи сверхдешевых китайских нейросетей.
В мае 2024 года компания привекла около 2 млрд долларов при оценке в 20 млрд, а сейчас готовится к новому раунду инвестиций с оценкой выше 30 млрд долларов. 