Discord признал ошибку в ИИ-модерации: более 8000 аккаунтов заблокированы по ошибке
Сбой в системе автоматической модерации
Сервис Discord признал, что его система модерации на основе искусственного интеллекта ошибочно заблокировала более 8000 безобидных аккаунтов за последние два месяца. Инцидент произошёл после внедрения новой автоматизированной системы в мае 2026 года, предназначенной для поиска вредоносного контента на платформе.
Причины ложных срабатываний
Согласно официальным сообщениям компании, система помечала загруженные пользователями изображения как вредоносный контент после сопоставления их с базами данных известных запрещённых материалов. Однако алгоритм начал некорректно работать, выдавая ложные срабатывания. Среди проблемных изображений оказались электронные таблицы, шахматные доски, игровые текстуры (включая скриншоты инвентаря из Minecraft) и даже простые прозрачные фоны серого и белого цвета.
В выходные перед исправением ошибки ещё 200 пользователей были заблокированы. Пользователи в соцсетях сообщали, что их аккаунты блокировались навсегда просто за загрузку изображений с квадратными сетчатыми узорами. Как объяснили в компании, ранее такие сетки использовались для маскировки контента для взрослых и детской порнографии, что могло повлиять на чувствительность ИИ-системы.
Как работала система
Обычно процесс проверки предполагает, что после пометки контента как потенциально вредоносного он должен быть проверен человеком-модератором. В это время должна приостановиться только загрузка контента, а не блокироваться сам аккаунт. Однако из-за бага система немедленно блокировала учётные записи. Кроме того, другая ошибка препятствовала автоматическому снятию блокировок даже после того, как сотрудники проверили аккаунты и признали их «чистыми».
Реакция компании и последствия
Discord заявил, что уже исправил ошибку в системе проверки изображений и восстанавливает затронутые аккаунты. Компания подчеркнула, что работает над улучшением мер безопасности, чтобы подобное не повторялось в будущем. Инцидент стал напоминанием о рисках использования автоматизированных систем модерации без должшего человеческого контроля, когда ИИ-алгоритмы могут ошибочно интерпретировать обычные пользовательские данные.
