Энтузиасты предложили запустить локальный ИИ на картофелине: от «железа» до теста в духовке

Почему облачные нейросети — для слабаков

В среде инженеров и любителей крайних экспериментов набирает популярность идея развертывания больших языковых моделей (LLM) на нестандартных носителях. Как сообщается в обзоре концепции, настоящий искусственный интеллект должен «пахнуть землей и крахмалом», а не скрываться в дата-центрах. Авторы проекта иронично называют свою цель — доказать, что «ChatGPT есть у нас дома», используя в качестве вычислительной платформы обычную картофелину.

Выбор «железа»: молодой картофель против проросшего

Ключевым этапом становится подбор подходящего экземпляра корнеплода. В источнике рассматривается сравнение производительности: «молодой картофель» против «старого проросшего». Особое внимание уделяется сорту — так, «синюшный картофель из Пятерочки» по мнению авторов не выдает необходимый «тензорный FPS». Критерии отбора включают содержание влаги, плотность крахмала и степень проростания, которые метафорически приравниваются к тактовой частоте и пропускной способности шины данных.

Архитектура питания: от огурца к гальванической паре

Для обеспечения автономной работы «картофельного сервера» рассматривались альтернативные источники энергии. В частности, обсуждалась схема с огурецом и батарейкой из монет, однако инженеры пришли к выводу, что надежнее использовать классическую гальваническую пару — медный и цинковый электроды, вонзаемые прямо в клубень. Такой подход обеспечивает стабильный, хоть и микровольтный, ток для питания микроконтроллера, управляющего процессом инференса.

Софт и квантование: запихиваем Llama-3 в 0,5 КБ

Программная часть проекта основана на радикальном квантовании моделей. В качестве кандидатов рассматриваются Llama-3 и TinyLlama — последняя для «особо оптимистичных». Главная задача — уместить веса модели в 0,5 КБ оперативной памяти, доступной в картофельной архитектуре. Для этого предлагается квантование до 0,1-битной точности. По словам авторов, на таком уровне сжатия модель перестает осмысленно генерировать текст и начинает «просто угадывать буквы с вероятностью 14%».

Бенчмарки: от заката до рассвета и тест на запекание

Тестирование системы выявило экстремальные характеристики. Время генерации одного токена составляет «от заката до рассвета», что делает интерактивный диалог практически невозможным. Специальным стресс-тестом стал «тест на запекание»: картофелину с работающей моделью помещали в духовку при 200°C. Результат предсказуем — функция потерь (loss) уходит в бесконечность, однако, как отмечается в отчете, «пахнет вкусно».

Итоги: работает ли это технически?

Подводя черту, авторы концепции дают честные ответы на главные вопросы. Стоит ли оно того? — «Нет». Работает ли? — «Технически — если очень сильно зажмуриться». Проект позиционируется не как практическое решение, а как сатирический манифест против избыточных аппаратных требований современного ИИ. Для желающих повторить опыт предлагается помощь в написании кода на C/Arduino, а также формулировка смешных комментариев от «экспертов» для обсуждения в технических сообществах.