Microsoft выпустила ИИ-диспетчера в 35 раз быстрее GPT-6

Сегодня, 11 октября, Microsoft представила модель Microsoft-Decision-1. Цифры говорят сами. Эта нейросеть вообще не умеет болтать: она просто выбирает из готовых вариантов и делает это в тестах в 35 раз быстрее, чем GPT-6 Sol.

Смотрите, как это работает. Вместо того чтобы генерировать бесконечные простыни текста, модель выступает эдаким быстрым судьёй, который занимается маршрутизацией и классификацией (грубо говоря, просто раскладывая все задачи по нужным полкам). Входные токены всё ещё платные. Но выходные и вовсе отдали бесплатно.

Помню, на прошлом проекте мы мучились с агентной системой, пока основной LLM думал, а фоновый гул от кулера в серверной просто сводил с ума. Этот конкретный диспетчер мог бы тогда сэкономить кучу нервов, если бы мы догадались его внедрить. Он вроде бы обещал закрыть все дыры в архитектуре — хотя нет, скорее просто ускорит инференс, но это не точно.

Именно из-за этой дороговизны инференса рынок и устал от универсальных болтунов. Собственно, компании начали понимать, что платить за каждое «здравствуйте» от нейросети — это просто сжигание бюджета. Поэтому узкоспециализированные модели сейчас выходят на первый план. Их главная задача — это контроль над агентными системами.

А это меняет всю экономику AI-разработки.

Что будет с классическими чат-ботами, когда их начнут массово оборачивать такими вот молчаливыми прослойками — вопрос открытый.