Велика мовна модель із 27 млрд параметрів тепер може займати менше місця, ніж деякі сучасні відеоігри. Стартап PrismML стиснув модель на базі Qwen3.8 27B до 5,9 ГБ і заявляє, що при цьому вдалося зберегти близько 98% продуктивності оригіналу.
Нова модель отримала назву Bonsai 2 27B. Її створили на основі відкритої Qwen3.8 27B від Alibaba, але обсяг пам’яті, необхідний для її зберігання, скоротили приблизно у 9–10 разів.
Завдяки цьому модель можна запускати локально на звичайних комп’ютерах. Розробники також допускають її роботу на потужних смартфонах, що дозволило б користуватися ШІ без постійного звернення до хмарних серверів.
PrismML заснували дослідники Каліфорнійського технологічного інституту. Компанію очолює професор цього університету Бабак Хассібі, який спеціалізується на технологіях стиснення даних.
Серед радників стартапу — співзасновник Databricks Іон Стоїка, який також очолює Sky Computing Lab Каліфорнійського університету в Берклі.
Ключова особливість Bonsai 2 полягає у способі зберігання ваг моделі — параметрів, сформованих під час навчання. Замість звичного 16-бітного представлення PrismML застосувала тернарні ваги.
У такій системі кожен параметр може мати лише одне з трьох значень: +1, -1 або 0. Це різко скорочує обсяг інформації, необхідної для зберігання моделі.
Повністю уникнути втрати продуктивності при такому стисненні не вдалося. Однак у PrismML стверджують, що Bonsai 2 зберігає близько 98% результатів початкової моделі у тестах.
Для порівняння, перше покоління Bonsai, представлене в березні, демонструвало близько 95% показників оригіналу. За даними компанії, цю версію завантажили понад 11 млн разів, а менші моделі сімейства — ще понад 2,6 млн разів.
Розробники вважають, що різниця приблизно у 2% для більшості повсякденних завдань може залишитися непомітною. Натомість значно менший розмір відкриває можливість запускати потужний ШІ безпосередньо на пристрої користувача.
Такий підхід має ще одну перевагу: запити та дані не обов’язково передавати на зовнішній сервер. Локальна модель може працювати на вже придбаному пристрої, що потенційно зменшує витрати на використання ШІ та дає більше контролю над даними.
Тепер PrismML планує взятися за моделі із сотнями мільярдів параметрів. Хассібі припускає, що великі системи можуть навіть краще піддаватися такому стисненню, оскільки в них є більше можливостей скоротити обсяг даних зі збереженням більшої частини можливостей моделі.
Для Bonsai розробники обрали сімейство Qwen, яке стало однією з найпоширеніших відкритих платформ ШІ. Моделі цієї лінійки раніше перевищили позначку у 3 млрд завантажень за пів року на Hugging Face.
🌟 Читайте «Експерт» у своєму смартфоні — додайте нас в Google Discover