ИИ Google загаллюцинировал золото в камерах Flock Safety — началась волна вандализма, а компания открыла код модели прогноза ураганов
Функция AI Overview в поиске Google с уверенностью выдала пользователям дезинформацию о составе дорожных камер компании Flock Safety, утверждая, что в каждом устройстве содержится 1–5 граммов золота и 0,9–10,4 кг меди. Нейросеть не заметила элементарного противоречия: масса самой камеры составляет всего 1,36 кг, то есть заявленное количество меди превышало вес всего прибора. Эта галлюцинация провоцировала волну вандализма в США, а на фоне скандала Google анонсировала открытие исходного кода ИИ-модели WeatherNext для прогнозирования циклонов.
Как фейк стал «техническим фактом»
История началась на фоне скандалов вокруг системы наблюдения Flock Safety — автономных камер распознавания автомобильных номеров. Сообщалось о случаях злоупотреблений полицейскими, использующими систему для слежки в личных целях, что вызвало негативное отношение части населения. На этой почве в интернете появился фейк о высоком содержании драгоценных металлов и меди в камерах, поощрявший их уничтожение.
Алгоритм AI Overview подхватил недостоверную информацию из анонимного поста на Substack и сатирической публикации в Instagram, не выполнив элементарной проверки правдоподобия. ИИ представил вымышленные данные как технические спецификации: согласно выдаче, только стоимость золота в одной камере оценивалась примерно в $650. Реальность же такова: золото в такой электронике присутствует лишь в следовых количествах — в покрытиях контактов и разъёмов, а медь используется в проводниках и дорожках печатных плат в ничтожно малых дозах, измеряемых микрограммами.
Реальные последствия: волна вандализма
Люди, поверившие «авторитетному» ответу поисковой системы, начали охоться за камерами. В городе Вайнона неизвестные срезали и похитили сразу восемь городских камер слежения — полиция обнаружила лишь пустые спиленные столбы. Ущерб от таких «раскопок» исчисляется десятками тысяч долларов, не считая дыры в системе безопасности. Журналисты Futurism первыми обратили внимание на проблему, после чего Google экстренно скорректировал выдачу: теперь AI Overview предупреждает, что рассказы о граммах золота и килограммах меди — это шутка и результат галлюцинаций ИИ.
Проблема системного доверия к генеративному ИИ
Инцидент с «золотыми камерами» стал характерным примером повторения и распространения генеративным ИИ недостоверных фактов. Платформа не проверила базовую физическую правдоподобие утверждений — заявленная масса меди многократно превышала массу всего устройства. Сколько камер пострадало в итоге, официальные данные не сообщают. Автор материала Геннадий Детинич отмечает, что люди хорошо справляются с распространением фейков и без ИИ: в 2020 году вышки сотовой связи поджигали без каких-либо подсказок со стороны нейросетей.
Google открывает WeatherNext — ИИ для прогноза ураганов
На фоне скандала Google анонсировала позитивное развитие: исследователи Google DeepMind и Google Research опубликовали веса модели WeatherNext и исходный код на GitHub. Модель обучена на более чем 20 Тбайт глобальных данных об атмосфере и исторической информации, что позволяет единой нейросети прогнозировать и траекторию, и интенсивность тропических циклонов — ураганов и тайфунов.
Традиционно глобальные модели эффективно анализируют атмосферные течения в планетарном масштабе, а интенсивность шторма лучше предсказывают специализированные локальные модели, оценивающие термодинамические процессы в ядре циклона. WeatherNext объединяет оба подхода. По словам исследователей, модель генерирует один прогноз на 15 дней менее чем за минуту на ИИ-ускорителе Google TPU, давая синоптикам возможность быстро оценивать распределение вероятностей для потенциально разрушительных угроз.
В проекте приняли активное участие американские и британские профильные организации. Сопутствующая исследовательская работа опубликована в журнале Nature. Открытый код позволит ученым использовать модель в собственных работах по улучшению погодного прогнозирования.
