Multiverse Computing отримала $215 млн для створення компактних моделей ШІ для смартфонів

Великі мізки, компактні моделі: Іспанська компанія Multiverse Computing отримала $215 млн для скорочення ШІ для смартфонів

Іспанський стартап в галузі штучного інтелекту щойно переконав інвесторів видати $215 мільйонів на основі сміливої заяви: вони можуть скоротити великі мовні моделі на 95% без шкоди для їх продуктивності.

Інновація Multiverse Computing базується на технології CompactifAI, методі стиснення, який запозичує математичні концепції з квантової фізики, щоб звузити моделі ШІ до розмірів смартфона.

Компанія зі Сан-Себастьяна стверджує, що їх стиснена модель Llama-2 7B працює на 25% швидше під час інференсу, використовуючи на 70% менше параметрів, з точністю, що знижується лише на 2-3%.

Якщо це буде підтверджено в масштабах, це може вирішити велику проблему ШІ: моделі, які настільки великі, що потребують спеціалізованих дата-центрів для роботи.

«Вперше в історії ми можемо профілювати внутрішні механізми нейронної мережі, щоб усунути мільярди спірних кореляцій і насправді оптимізувати всі види моделей ШІ», — сказав Роман Орюс, головний науковий співробітник Multiverse, у публікації блогу в четвер.

Bullhound Capital очолив раунд серійного фінансування B на $215 мільйонів за підтримки HP Tech Ventures та Toshiba.

Фізика за стисненням

Застосування концепцій, натхненних квантовою фізикою, для вирішення однієї з найактуальніших проблем ШІ звучить малоймовірно, але якщо дослідження підтвердиться, це справжнє досягнення.

На відміну від традиційного стиснення, яке просто обрізає нейрони або знижує числову точність, CompactifAI використовує тензорні мережі — математичні структури, які фізики розробили для відстеження взаємодій частинок без перенасичення даними.

Процес працює як орігамі для моделей ШІ: матриці ваг складаються в менші, взаємопов`язані структури, звані операторами добутку матриць.

Замість того, щоб зберігати кожне з`єднання між нейронами, система зберігає лише значущі кореляції, відкидаючи надмірні патерни, такі як інформація або стосунки, які повторюються знову і знову.

Multiverse виявила, що моделі ШІ не є рівномірно стискними. Ранні шари виявляються крихкими, тоді як глибші шари — останніми показано, що вони менш критичні для продуктивності — можуть витримувати агресивне стиснення.

Такий вибірковий підхід дозволяє досягати драматичних зменшень розміру там, де інші методи не справляються.

Після стиснення моделі проходять короткий «відновлення» — повторне навчання, яке триває менше однієї епохи завдяки зниженій кількості параметрів. Компанія стверджує, що цей процес відновлення проходить на 50% швидше, ніж навчання оригінальних моделей, завдяки зменшенню навантаження на передачу даних між GPU та CPU.

Коротко кажучи, відповідно до власних пропозицій компанії, ви починаєте з моделі, запускаєте магію Compactify і отримуєте стиснуту версію, яка має менше 50% своїх параметрів, може працювати вдвічі швидше, коштує набагато менше і так само здатна, як оригінальна.

У своєму дослідженні команда показує, що ви можете зменшити потреби моделі Llama-2 7B в пам`яті на 93%, скоротити кількість параметрів на 70%, прискорити навчання на 50% і пришвидшити відповідь (інференс) на 25% — втрачаючи лише 2–3% точності.

Традиційні методи зменшення, такі як квантизація (зниження точності, використовуючи менше знаків після коми), обрізка (повне видалення менш важливих нейронів, подібно до обрізки мертвих гілок з дерева) чи методи дистиляції (навчання меншої моделі відповідати поведінці більшої) навіть близько не досягають цих показників.

Multiverse вже обслуговує понад 100 клієнтів, включаючи Bosch і Банк Канади, застосовуючи свої алгорити, натхнені квантовою теорією, не тільки в ШІ, але й в оптимізації енергії і фінансовому моделюванні.

Іспанський уряд співінвестував €67 мільйонів у березні, що підвищило загальне фінансування до понад $250 мільйонів.

Наразі пропонуючи стиснуті версії моделей з відкритим кодом, таких як Llama та Mistral через AWS, компанія планує розширитися на DeepSeek R1 та інші моделі розумування.

Призначені системи від OpenAI чи Claude залишаються очевидно недоступними, оскільки вони не доступні для експериментів або вивчення.

Обіцяючість технології виходить за межі заощадження витрат. Участь HP Tech Ventures свідчить про інтерес до впровадження ШІ на краю — запуску складних моделей локально, а не на хмарних серверах.

«Інноваційний підхід Multiverse має потенціал принести переваги ШІ з поліпшеною продуктивністю, персоналізацією, конфіденційністю та ефективністю витрат для компаній будь-якого розміру», — сказав Туан Тран, президент технологій та інновацій HP.

Отже, якщо одного дня ви знайдете себе з DeepSeek R1 на своєму смартфоні, ці хлопці можуть бути тими, кому варто дякувати.

Редакція: Джош Кітнер і Себастіан Сінклер