Компании ИИ закупают и уничтожают миллионы книг для обучения нейросетей: подробности скандала с Anthropic

Масштабная закупка бумажных изданий для ИИ-обучения

Крупнейшие разработчики искусственного интеллекта, в том числе компания Anthropic, начали массово закупать бумажные книги с последующим их уничтожением для обучения нейронных сетей. Об этом сообщило издание 404 Media со ссылкой на материалы судебного разбирательства. По данным источников, речь идет о миллионах экземпляров, которые скупаются из расформированных библиотечных фондов и через специализированные базы данных.

Почему ИИ-компании обратились к бумажным книгам

Основная причина — поиск высококачественных обучающих данных. Интернет уже длительное время заполнен посредственным контентом, созданным другими ИИ-моделями, что приводит к деградации качества обучения («коллапс модели»). Книги, прошедшие профессиональную редактуру, считаются более чистым и ценным источником информации.

Механизм уничтожения и роль посредников

Процесс оцифровки происходит двумя способами. Щадящий метод предполагает постраничную съемку под камерой с сохранением книги в целости. Деструктивный — используемый для обучения больших моделей — включает резку корешка, пропуск листов через протяжной сканер и отправку остатков в макулатуру. Второй вариант выбирают из-за большей скорости и низкой стоимости.

Ключевым посредником выступает онлайн-база ISBNdb, содержащая более 110 миллионов записей. Компания 30 лет вела базу книжных штрихкодов, а теперь предлагает услуги по оптовой закупке книг для ИИ-лабораторий партиями до миллиона экземпляров за заказ. В описании услуги значится «ответственная утилизация» как «завершение жизненного цикла книги: от дерева к знанию и обратно к дереву».

Источники книг и рост продаж

Книги поставляются из библиотек, которые закрываются или сокращают финансирование. Букинисты, опрошенные 404 Media, сообщают о многократном росте продаж: если раньше уходило десятки экземпляров в неделю, то теперь — тысячи. При этом покупателям не интересна цена изданий.

По косвенным признакам журналисты 404 Media сделали вывод, что наиболее масштабные закупки осуществляются именно компаниями вроде Anthropic. Бывший глава Google Books Том Харви в ходе одного из судебных исков подтвердил, что Anthropic использует метод переработки книг: разделяет их и подает постранично в высокопроизводительный сканер, в результате чего были уничтожены миллионы книг.

Судебное решение: 1,5 миллиарда долларов компенсации, но принцип проигран

Авторы книг подали коллективный иск против Anthropic, требуя признать массовое сканирование и уничтожение экземпляров нарушением авторских прав. Суд постановил выплатить авторам 1,5 миллиарда долларов — крупнейшую компенсацию по авторскому праву в истории США. Однако принципиальный вопрос был решен в пользу ИИ-лабораторий.

Суд признал законным приобретение и уничтожение бумажных книг для обучения нейросетей, если содержание переходит в нематериальный актив на балансе компании. Плата присуждена не за сам факт использования книг, а за то, что компания не позаботилась о легальной покупке лицензий до начала процесса. Таким образом, истцы получили компенсацию, но проиграли принцип — использование книг для обучения ИИ признано добросовестным использованием (fair use).

Опасения за культурное наследие

Издание 404 Media и эксперты выражают обеспокоенность тем, что многие редкие и ценные издания могут быть навсегда утрачены. При этом базы данных компаний остаются закрытыми для пользователей, поэтому прочитать эти книги иначе может не представиться возможным. Наблюдатели отмечают, что культурный капитал, который веками был единственным активом образованного человека, перестает быть преимуществом.