Испанский стартап Multiverse Computing привлек $215 миллионов для сжатия ИИ до размеров смартфонов без потери производительности

Большие мозги, маленькие модели: испанская компания Multiverse Computing получила 215 миллионов долларов на сжатие ИИ для смартфонов

Испанский стартап в области ИИ только что убедил инвесторов выдать 215 миллионов долларов, основываясь на смелом заявлении: они могут сократить большие языковые модели на 95% без ущерба для их производительности.

Инновация Multiverse Computing основана на технологии CompactifAI, методе сжатия, который заимствует математические концепции из квантовой физики для уменьшения размеров ИИ-моделей до размеров смартфона.

Компания из Сан-Себастьяна утверждает, что их сжатая модель Llama-2 7B работает на 25% быстрее при использовании на 70% меньше параметров, при этом точность падает всего на 2-3%.

Если это будет подтверждено на практике, это может решить огромную проблему ИИ: модели стали такими громоздкими, что для их работы требуются специализированные дата-центры.

«Впервые в истории мы можем профилировать внутреннюю работу нейронной сети, чтобы исключить миллиарды ложных корреляций и по-настоящему оптимизировать все виды ИИ-моделей», — сказал Роман Орюс, технический директор Multiverse, в блоге в четверг.

Компания Bullhound Capital возглавила раунд финансирования серии B на сумму 215 миллионов долларов с поддержкой HP Tech Ventures и Toshiba.

Физика за сжатием

Применение концепций, вдохновленных квантовыми технологиями, для решения одной из самых насущных проблем ИИ звучит неправдоподобно, но если исследования оправдают себя, это будет реальностью.

В отличие от традиционного сжатия, которое просто вырезает нейроны или уменьшает числовую точность, CompactifAI использует тензорные сети — математические структуры, разработанные физиками для отслеживания взаимодействия частиц без погружения в данные.

Процесс работает как оригами для ИИ-моделей: матрицы веса складываются в меньшие взаимосвязанные структуры, называемые операторами произведения матриц.

Вместо того чтобы хранить каждую связь между нейронами, система сохраняет только значимые корреляции, отбрасывая избыточные паттерны, такие как повторяющаяся информация или отношения.

Multiverse обнаружила, что ИИ-модели не поддаются сжатиям одинаково. Ранние слои оказались хрупкими, в то время как более глубокие слои — недавно показанные как менее критичные для производительности — могут выдерживать агрессивное сжатие.

Этот избирательный подход позволяет достигать драматического уменьшения размера там, где другие методы терпят неудачу.

После сжатия модели проходят краткий `исцеление` — переобучение, которое занимает менее одной эпохи благодаря уменьшенному количеству параметров. Компания утверждает, что этот процесс восстановления проходит на 50% быстрее, чем обучение оригинальных моделей, из-за уменьшенных нагрузок на передачу между GPU и CPU.

Короче говоря, по словам самой компании, вы начинаете с модели, запускаете магию CompactifAI и получаете сжатую версию с менее чем 50% параметров, которая может работать вдвое быстрее, стоит гораздо меньше и так же способна, как оригинал.

В своих исследованиях команда показывает, что можно уменьшить потребление памяти модели Llama-2 7B на 93%, сократить количество параметров на 70%, ускорить обучение на 50% и ускорить ответы (инференс) на 25%, при этом теряя всего 2–3% точности.

Традиционные методы сжатия, такие как квантизация (уменьшение точности, как использование меньшего количества десятичных знаков), обрезка (полное удаление менее важных нейронов, как обрезка усыхающих ветвей дерева) или методы дистилляции (обучение меньшей модели имитировать поведение большей) даже близко не достигли этих показателей.

Multiverse уже обслуживает более 100 клиентов, включая Bosch и Банк Канады, применяя свои алгоритмы, вдохновленные квантовыми концепциями, не только в ИИ, но и в оптимизации энергетики и финансовом моделировании.

Испанское правительство совместно вложило 67 миллионов евро в марте, что увеличило общее финансирование выше 250 миллионов долларов.

В настоящее время предлагая сжатые версии открытых моделей, таких как Llama и Mistral через AWS, компания планирует расширение до DeepSeek R1 и других моделей рассуждений.

Собственные системы от OpenAI или Claude остаются явно недоступными, так как они не доступны для экспериментов или изучения.

Обещания технологии выходят за рамки мер экономии затрат. Участие HP Tech Ventures сигнализирует о заинтересованности в развертывании ИИ на краевых устройствах — запуске сложных моделей локально, а не на облачных серверах.

«Инновационный подход Multiverse имеет потенциал принести преимущества ИИ в виде повышенной производительности, персонализации, конфиденциальности и экономической эффективности для компаний любого размера», — сказал Туан Тран, президент HP по технологиям и инновациям.

Так что, если вы когда-нибудь запустите DeepSeek R1 на своем смартфоне, возможно, эти ребята будут теми, кому следует благодарить.