OpenAI заявляет, что чип Jalapeno превзошёл Nvidia GB300 в тестах инференса
Материал подготовлен искусственным интеллектом на основе нескольких источников — ссылки на оригиналы приведены ниже.
OpenAI заявила, что её новый чип Jalapeno превзошёл Nvidia GB300 по двум ключевым метрикам инференса в ходе тестирования. Чип, разработанный совместно с Broadcom, начнёт поддерживать модели OpenAI позднее в этом году. Заявление прозвучало на конференции Hot Chips, где OpenAI представила первые бенчмарки.
Ключевые факты
- Jalapeno лидировал по объёму ИИ-работы на единицу мощности и скорости отклика против Nvidia GB300.
- OpenAI планирует начать использовать Jalapeno для поддержки своих ИИ-моделей позднее в этом году.
- Jalapeno обеспечивает в 1,5–1,9 раза больше ИИ-работы на ватт при пиковой пропускной способности на трёх протестированных моделях.
- Чип тестировался на публичном бенчмарке InferenceX от SemiAnalysis, часть прогонов проверена на месте.
- Jalapeno использует техпроцесс TSMC N3P, память HBM4 и пропускную способность 15,4 ТБ/с на корпус.
Результаты бенчмарков
Jalapeno превзошёл Nvidia GB300 по объёму ИИ-работы на единицу мощности и скорости отклика. Глава чипового направления OpenAI Ричард Хо сообщил, что чип показал высокие результаты при 700 ваттах, снижая расходы на электропитание дата-центров. На трёх протестированных моделях Jalapeno обеспечил в 1,5–1,9 раза больше ИИ-работы на ватт при пиковой пропускной способности. Сквозная задержка оказалась в 1,7–3,6 раза ниже, чем у лучших коммерчески доступных систем. На GPT-OSS 120B Jalapeno достиг около 1400 токенов в секунду на пользователя; на Deepseek R1 670B — более 700 токенов в секунду.
Архитектура чипа
Jalapeno объединяет один вычислительный кристалл ретикульного размера на техпроцессе TSMC N3P с чиплетом ввода-вывода N3E и памятью HBM4. Корпус обеспечивает пропускную способность памяти 15,4 ТБ/с, ядра и память разделены на согласованные срезы. Jalapeno использует числовые форматы MXFP, сжимая данные ИИ-вычислений до 4 бит в MXFP4. Чип предназначен только для инференса, а не для обучения ИИ-моделей.
Планы внедрения
OpenAI определит, какие из её ИИ-моделей будут работать на Jalapeno, позволяя клиентам выбирать экономию средств или более высокую производительность. Компания планирует начать использовать новые чипы для поддержки своих ИИ-моделей позднее в этом году. Jalapeno разработан в партнёрстве с Broadcom, о котором было объявлено в прошлом году и которое завершилось в рекордные сроки.
4 источника
OpenAI заявляет, что чип Jalapeno превзошёл Nvidia GB300 в тестах инференса
