«Яндекс» перевёл поиск по картинкам на мультимодальный анализ: теперь алгоритм видит изображение и текст одновременно

«Яндекс» объявил о крупном обновлении алгоритмов сервиса «Поиск по картинкам». Главное нововведение — переход на мультимодальный подход: система теперь анализирует фотографию и сопутствующий текст на веб-странице одновременно, а не по отдельности, как это было раньше. Это позволяет точнее определять объекты на снимках в ситуациях, когда текстовое описание содержит ошибку или относится к другой модели товара. Обновление вступило в силу 10 августа 2026 года.

Как работает новая технология

Ранее «Поиск по картинкам» обрабатывал визуальные и текстовые данные изолированно. Если на странице публиковалась фотография одного смартфона, а в описании упоминалась другая модель, алгоритм мог ошибиться, опираясь на неверный текст. Теперь мультимодальная нейросеть оценивает изображение и контекст страницы вместе, что позволяет разрешать подобные противоречия в пользу визуальной информации.

В пресс-службе компании объяснили, что в основе обновления лежит специально обученная большая мультимодальная модель. Чтобы совместный анализ не замедлял выдачу результатов, инженеры «Яндекса» на её основе создали каскад из нескольких компактных моделей, каждая из которых отвечает за отдельный этап обработки. Наиболее ресурсоёмкие вычисления выполняются заранее, поэтому скорость ответа поисковика не изменилась.

Категории, где обновление заметно больше всего

Нововведение особенно эффективно в нишах, где товары внешне похожи друг на друга, а в описаниях нередко встречаются неточности или ошибки в названиях моделей. К таким категориям относятся:

• смартфоны и гаджеты;
• автомобили;
• одежда и обувь;
• мебель и предметы интерьера (например, диваны);
• бытовая техника.

Например, если на странице показана фотография одной модели телефона, а в тексте указана другая, алгоритм определит модель по самому изображению и учтёт это при формировании результатов. То же касается автомобилей, где разные комплектации могут выглядеть почти идентично, и одежды, где визуальные различия между коллекциями минимальны.

Результаты внедрения и пользовательский опыт

По данным «Яндекса», после запуска новой технологии доля релевантных изображений в верхней части поисковой выдачи заметно выросла. Пользователи стали реже формулировать уточняющие запросы — нужная картинка чаще появляется уже с первой попытки. Это сокращает время поиска и уменьшает количество лишних кликов.

Обновление доступно всем пользователям сервиса «Яндекс Картинки». Проверить работу алгоритма можно, загрузив любое фото или указав ссылку на страницу с изображением.