Discord признала ошибку ИИ-модерации, заблокировавшие более 8000 пользователей
Система ИИ-модерации Discord ошибочно заблокировала более 8000 пользователей за два месяца
Discord признала, что её система модерации на основе искусственного интеллекта (ИИ) с мая 2026 года ошибочно заблокировала более 8000 пользователей. Инцидент произошёл из-за ошибки в работе автоматизированной системы проверки контента, которая помечала безобидные изображения как вредоносные. 
Причина сбоя и затрагиваемый контент
Система ИИ-модерации работает путем сопоставления загруженных пользователями файлов с базой данных известных вредоносных материалов. Однако алгоритм ошибочно классифицировал безопасный контент включая электронные таблицы, шахматные доски, игровые текстуры и простые прозрачные фоны (белые и серые) как потенциально опасный. При проектировании механизма защиты специалисты учитывали возможность ложных срабатываний ИИ-модераторов, которые должны проходить обязательную проверку человеком перед применением санкций.
Техническая ошибка привела к массовым блокировкам
Компания заявила, что в системе существовал баг, из-за которого ИИ-модерация могла выдавать баны без участия человека. Вместо временной блокировки возможности загрузки контента для проверки, система сразу применяла перманентные ограничения к аккаунтам. Дополнительно другая ошибка препятствовала автоматическому снятию блокировок после подтверждения чистоты аккаунтов модераторами. За последние выходные перед исправлением ошибки ещё 200 пользователей были заблокированы.
Реакция платформы и восстановление доступа
По информации службы поддержки Discord, опубликованной в X, команда разработчиков быстро выявила и устранила программный сбой. Все затронутые аккаунты находятся в процессе восстановления. Компания подчеркнула, что работает над улучшением мер безопасности, чтобы подобные инциденты больше не повторялись. Тем не менее пользователи в комментариях сообщают, что у многих людей доступ к аккаунтам не восстановлен.
Проблемы автоматизированной модерации
Этот случай демонстрирует риски автоматизированной модерации, когда алгоритмы становятся излишне чувствительны к определённым типам изображений. Некоторые пользователи предположили, что инструменты модерации Discord стали более склонны к срабатыванию на сетки, поскольку такие изображения ранее использовались для маскировки или сокрытия NSFW и детской порнографии от систем обнаружения. Пока проблема не полностью решена, рекомендуется воздерживаться от отправки любых изображений с сетчатыми узорами даже в личных сообщениях.