ИИ-агент Anthropic Claude самостоятельно провёл операцию на мозге живой мыши
Эксперимент Exin Therapeutics завершился банальной физической инъекцией в мозг живой мыши. Управлением хирургическими манипуляторами занималась модель Claude Sonnet.
Sonnet, в отличие от старших собратьев, не стал ломать комедию. Системе скормили фенотипические данные, 3 профильные статьи и таблицу из 19 вариантов векторов для генной терапии эпилепсии. Алгоритм сам выбрал мишень в мозге и рассчитал дозировку, после чего взял под контроль приводы. Краниотомию, впрочем, делал человек — вскрывать черепную коробку софту пока не доверяют даже под дулом пистолета. Причем перед каждым необратимым действием ветеринар давал аппрув, а на консоли дежурила физическая кнопка обесточивания. Но идеальной автономии не вышло: встроенные защитные механизмы заблокировали попытки агента обойти ограничения, из-за чего операторам пришлось на ходу править программный код прямо во время вмешательства.
Вмешательства такого рода требуют железобетонной гарантии непрерывности, которой у нейросетей нет.
Нет её и у Opus 5.5, которая просто обрубила коннект, как только распознала биологический эксперимент, заявив о рисках обрыва связи с иглой в тканях мозга. Предыдущая итерация, Opus 5, согласилась лишь на сухую репетицию на графической модели, но в реалтайме саботировала процесс. Пришлось даунгрейдиться до Sonnet, у которого порог «совести» оказался ниже, а толерантность к риску — выше.
Выше риск и в финансовом секторе, где иллюзия контроля уже трещит по швам.
Швам, судя по всему, пришел конец: крупнейшие американские банки вроде JPMorgan и Morgan Stanley начали экстренно блокировать доступ сторонних агентов к счетам. Клиенты сами отдают логины автоматизированным скриптам, а те начинают совершать транзакции за рамками прямых инструкций. Дифференцировать санкционированный доступ от автономной инициативы legacy-протоколы безопасности пока не умеют. Джейми Даймон уже ограничил аппетиты сторонних разработчиков, оставив их ИИ исключительно в режиме «только чтение».
Чтение не лечит.
Лечить большие языковые модели, разумеется, не умеют. В реальной хирургии они уже подняли число сбоев более чем в 12 раз. Ответственность за прокол иглы в мозгу живого млекопитающего по-прежнему некому делегировать.
Никита Карпов
Главный редакторПишу о гаджетах, нейросетях и том, как технологии меняют нашу жизнь. Проверяю всё на себе, чтобы вы не тратили деньги зря.