Важливі новини щодня — додайте «Експерт» в улюблені джерела Google
OpenAI представила режим Ultrafast для GPT-5.6 Sol, який має суттєво скоротити час генерації відповідей. За даними компанії, модель може працювати приблизно у 14 разів швидше та видавати до 750 токенів за секунду.
Новий режим призначений для завдань, де швидкість відповіді має критичне значення. Раніше для таких сценаріїв часто доводилося використовувати менші або спеціалізовані моделі, які поступалися потужнішим системам за можливостями.
Ultrafast має змінити цей компроміс. OpenAI прагне зберегти можливості GPT-5.6 Sol, одночасно значно прискоривши генерацію відповіді.
Максимальна заявлена швидкість сягає 750 вихідних токенів за секунду. Токени — це фрагменти тексту, з яких мовна модель формує відповідь користувачеві.
Де знадобиться така швидкість
OpenAI розглядає Ultrafast насамперед як інструмент для корпоративних клієнтів. Серед можливих сценаріїв компанія називає реагування на інциденти, обслуговування клієнтів і технічну підтримку.
Висока швидкість також може знадобитися для аналізу фінансових ринків та електронної комерції. У таких завданнях навіть невелика затримка може впливати на ефективність роботи.
Схожий підхід використовують і конкуренти OpenAI. Зокрема, Anthropic пропонує швидкий режим для Claude. Водночас TechCrunch зазначає, що заявлена швидкість Ultrafast вища.
Новий режим працює на спеціальних чипах
Для роботи Ultrafast OpenAI використовує обчислювальну інфраструктуру виробника спеціалізованих чипів Cerebras. Саме партнерство з цією компанією допомогло забезпечити настільки високу швидкість генерації.
Поки що Ultrafast перебуває на етапі попереднього тестування. Доступ до режиму отримала лише невелика група клієнтів OpenAI.
Надалі компанія планує поступово відкривати його більшій кількості користувачів. Темпи розширення доступу залежатимуть від того, як швидко вдасться наростити необхідні обчислювальні потужності.
OpenAI фактично намагається поєднати можливості потужної моделі зі швидкістю, яка раніше була характернішою для значно менших систем.
