Лама 3: вызов для OpenAI

Лама 3 выходит в мае — должно ли беспокоиться OpenAI?

На высокопрофильном AI-мероприятии в Лондоне во вторник руководители Meta впервые официально подтвердили и обнародовали детали о скором выпуске Лама 3, долгожданной следующей версии корпоративной модели крупного языкового процессора с открытым исходным кодом.

`В течение следующего месяца, на самом деле, даже раньше, надеемся, в кратчайший срок, мы надеемся начать выпуск нашего нового набора моделей следующего поколения, Лама 3,` — объявил Ник Клegg, президент глобальных дел Meta, на Meta AI Day в Лондоне, сообщает TechCrunch.

Клегг сказал, что Лама 3 состоит из `нескольких различных моделей с различными возможностями, различной универсальностью`, которые будут выпускаться в течение этого года.

После запуска Лама 3 ожидается, что это будет самая передовая открытая модель, в которую Meta вложила много сил в разработку. Модель была обучена на 140 миллиардах параметров, говорит Meta, вдвое больше, чем ёмкость Лама 2. Генеральный директор Meta Марк Цукерберг намекал на некоторые технические детали в январе.

„Мы строим огромную вычислительную инфраструктуру для поддержки нашего будущего плана, включая 350 тыс. H100s к концу года, и в целом почти 600 тыс. эквивалентов вычислений H100s, если учитывать другие графические процессоры,“ — сказал Цукерберг в тот момент. Таких мощностей вычислений значительно больше, чем те, которые использовал OpenAI для обучения GPT-4, исходя из оценок, требующих около 25 000 графических процессоров в 90–100 дней.

Цукерберг также раскрыл, что Meta AI, его искусственный интеллект, будет определяться Лама 3.

Крис Кокс, главный продуктовый директор, сказал, что Лама 3 будет интегрирована во всю систему Meta.

„Наш план заключается в том, чтобы Лама 3 использовалась для поддержки различных продуктов и опытов по всем нашим приложениям,“ — сказал он. Открытая стратегия

Последствия выпуска Лама 3 выходят далеко за пределы Meta, учитывая философское обязательство компании развивать его как модель с открытым исходным кодом, что стоит в определенном противоречии с закрытым, закрытым подходом, принятым конкурентами, такими как OpenAI с ChatGPT.

Открывая свои языковые модели, Meta стремится культивировать экосистему открытого развития искусственного интеллекта и позиционировать семейство Лама как основу для разнообразного набора инструментов и приложений, созданных сторонними разработчиками и исследователями.

„Очень важно понимать, что инновации всегда основаны на предшествующих вкладах других, иногда очень похожих,“ — твитнул Янн ЛеКан, ответственный за искусственный интеллект в Meta, в прошлом месяце. „Поэтому открытое исследование настолько важно: оно ускоряет развитие области для всех.

Этот открытый этос уже породил живое сообщество, сходящееся вокруг Лама. Некоторые из самых передовых открытых языковых моделей сегодня, такие как Mistral, Falcon и Beluga, построены за счет настройки ранее созданной основной модели Лама 2. Несколько из этих моделей сообщества соответствуют или превзошли GPT-3.5 по определенным показателям.

Выпуск Лама-3 как еще одна открытая ключевая модель вероятно прокладывает путь для нового поколения LLM, которые поднимут планку еще выше по качеству и эффективности в области искусственного интеллекта.

Испытывая доминирование OpenAI

Принцип открытого исходного кода Лама 3 представляет серьезное и многоуровневое препятствие для текущего рыночного доминирования OpenAI и, следовательно, для других закрытых моделей, таких как Клод и Джемини.

Сообщество с открытым исходным кодом вскоре сможет строить на основе Лама 3 и быстро варьировать свои вариации, чтобы потенциально соответствовать или превзойти возможности GPT-4 — так же, как они сделали против GPT-3.5. С общими затратами на обучение, распределяемыми между участниками, открытая экосистема может опередить разработку закрытой модели OpenAI, которая требует огромных вычислительных ресурсов и затрат.

Если открытые предложения регулярно достигают равенства с коммерческими предложениями, предприятия могут стремиться к более доступным и экономически эффективным экосистемам, таким как Лама, вместо полагания и платежей за OpenAI. В настоящее время GPT-4 является самой дорогой моделью на рынке с точки зрения стоимости за токен.

Кроме того, сообщество с открытым исходным кодом становится сильнее, как только в него вовлекается больше людей. Meta получает пользу от огромного сообщества, работающего над моделью, доводя ее до совершенства, разрабатывая новые технологии и улучшая ее бесплатно. Это позволяет Meta разрабатывать лучшие версии своей модели, монетизируя ее через альтернативные схемы, например, выдачу лицензий для коммерческого использования крупными отраслями.

Иными словами, продолжающийся инерция и сетевые эффекты могут затруднить привлечение пользователей и клиентов к закрытым моделям OpenAI в будущем.

Конечно, OpenAI в настоящее время имеет сильное лидирование с точки зрения прибыльности. Anthropic может похвастаться тем, что у него лучшая производительность LLM в области искусственного интеллекта. Но Лама 3 станет еще одним стратегическим ударом со стороны Meta, чтобы изменить ландшафт генеративного искусственного интеллекта.

Конечно, многое зависит от реальной производительности и принятия Лама 3 в течение года. Но сообщество с открытым исходным кодом довольно активно — и уже полюбило Ламу-2. В следующие несколько месяцев дела станут очень интересными, особенно с GPT-5 от OpenAI на подходе.