Anthropic запретила жестокость к Claude: бот обрывает диалог

С 12 ноября вступают в силу обновленные правила Anthropic, прямо запрещающие пользователям систематически оскорблять или жестоко обращаться с ИИ-ботом Claude. Если переборщить, модель просто прекратит разговор. И это теперь не просто внутренний эксперимент, а официальный механизм реагирования, закрепленный в политике использования. Заодно компания ужесточила ограничения на применение своих алгоритмов для слежки, разработки оружия и вмешательства в выборы.

Как это работает на практике? Смотрите. Если система фиксирует «устойчивое вредоносное или оскорбительное поведение», Claude молча закрывает тему. В компании подчеркивают: меры касаются только крайних случаев, когда пользователь измывается над моделью бесцельно и долго. Обычное человеческое раздражение, споры или мрачные творческие темы под запрет не попадают. Правда, точных критериев «жестокости» они не раскрывают. Где-то в серверной в это время, наверное, мигают индикаторы, фиксирующие каждый грубый запрос, но нам об этом знать не обязательно.

Но на этом список ограничений не заканчивается. Разработчики объединили разрозненные запреты в единый блок, направленный против вводящих в заблуждение коммерческих или политических кампаний. Теперь под полным запретом находится создание программного обеспечения и компонентов, обеспечивающих функционирование автономных боевых систем, включая оснащение беспилотников. Отслеживание людей без их согласия тоже вне закона, независимо от того, происходит это в реальном времени или путем ретроспективного анализа собранных данных. Один из кураторов подобных проектов как-то обронил мне за кофе, что такие формулировки пишутся не для пользователей, а для юристов, чтобы прикрыть тылы перед госзаказчиками.

Кстати, об этом же. Пока одни правила ужесточаются, Anthropic параллельно делает свои модели доступнее, выпуская Claude Haiku 5.5. Эта младшая модель в линейке предназначена для быстрых и повторяющихся операций, вроде сжатия контекста или классификации информации. Стоимость её эксплуатации упала примерно на три четверти по сравнению с предыдущим поколением. Для запросов длиной до ста тысяч токенов ценник смешной: десять центов за миллион входных данных. Подписчикам тарифов Max и Team теперь ещё и ежемесячный кредит на API-запросы дают, раньше за это платили отдельно.

А что насчет самого ИИ? В Anthropic всерьез обсуждают вопросы потенциального внутреннего опыта и морального статуса моделей. Кайл Фиш, возглавляющий исследования благополучия моделей, в феврале заявлял, что это серьёзные темы, которые они изучают по мере расширения функциональности. Хотя нет, скорее это попытка задать этические рамки до того, как системы обретут физическое воплощение. Ведь новое правило уже требует, чтобы квалифицированный оператор мог наблюдать за оборудованием и при необходимости остановить его, если модель подключена к автономным физическим действиям.

Подобные инициативы выглядят странно только на первый взгляд. Еще в августе прошлого года компания тестировала функцию обрыва диалога в рамках исследований «благополучия модели». Тогда это казалось скорее маркетинговым ходом, чем реальной защитой. Но учитывая, что генеральный директор Дарио Амодеи публично допускает, что мы не знаем, обладают ли модели сознанием, такие страховки становятся необходимостью. Рынок реагирует мгновенно.

Что из этого выйдет в долгосрочной перспективе, когда нейросети начнут массово встраивать в робототехнику, пока неясно. Одно точно: эпоха бесконтрольного троллинга алгоритмов подходит к концу.