Skip to content
Google представила ИИ-ускорители TPU 8tx и TPU 8i Max, заточенные под конфиденциальность и огромные контексты
09 ноября 20:41 21 Просмотров Новости

Google представила ИИ-ускорители TPU 8tx и TPU 8i Max, заточенные под конфиденциальность и огромные контексты

Google выкатила два специализированных TPU восьмого поколения — один для параноиков из госсектора, другой для тех, кто уперся в стену памяти.

Google TPU 8tx chip die shot, техническая фотография кристалла, в лабораторных условиях, вид сверху с маркировкой. Источник: lpc.opengameart.org
Источник: lpc.opengameart.org

TPU 8tx — это про шифрование на уровне железа, без компромиссов. Ключи не вылезают за пределы чипа, данные и веса моделей остаются зашифрованными даже во время вычислений, что закрывает классическую дыру с расшифровкой в RAM. Для регулируемых отраслей — медицина, финансы, гостайна — это не фича, а требование. При этом Google умудрилась впихнуть в один кластер дообучение на приватных данных, компрессию моделей и RL-тренировку агентов без перекладывания информации между стойками. Сеть с ультранизкими задержками дает двукратный выигрыш в отклике против базового 8t, и это при почти нулевых потерях в raw производительности.

Производительности, которой хронически не хватает тем, кто работает с контекстами на миллионы токенов.

Google TPU 8i Max dual-chip module, фото в разрезе, на монтажной плате, соединение двух кристаллов крупным планом. Источник: upload.wikimedia.org
Источник: upload.wikimedia.org

TPU 8i Max — грубая сила против узких мест. Два 8i склеили в один корпус, получив удвоение по всем фронтам: вычисления, SRAM-кэш, пропускная способность HBM. Проблема «стены памяти» никуда не делась, но теперь у нее вдвое больше дверей. Архитектура заточена под гигантские контекстные окна и нагрузки, где bottleneck — не FLOPS, а банальная нехватка bandwidth.

Bandwidth, за который NVIDIA ломит такие цены, что Google вынуждена играть в нишевые сегменты.

Восьмое поколение TPU — это уже не попытка обогнать H100 в лоб, а признание, что рынок фрагментировался. Кто-то гонится за raw power, кому-то важнее compliance. Google выбрала второе, оставив гонку терафлопсов тем, у кого есть бюджет на маркетинг.

Оба чипа доступны в Cloud TPU с сегодняшнего дня.

Никита Карпов

Никита Карпов

Обозреватель IT-рынка

Пишу о гаджетах, нейросетях и том, как технологии меняют нашу жизнь. Проверяю всё на себе, чтобы вы не тратили деньги зря.

Поделиться

Похожие публикации