Крипто-АИ Бенчмарк Альянс: новые стандарты для оценки моделей ИИ и крипто-агентов

Крипто-АИ Бенчмарк Альянс протестирует системы ИИ и крипто-агентов

3 июня ведущие блокчейн и ИИ организации, такие как EigenLayer, Cyber, Sentient и другие, объявили о создании CAIBA – Крипто-АИ Бенчмарк Альянса. Цель этой инициативы, осуществляемой сообществом, – установить прозрачные стандарты для оценки моделей ИИ и крипто-агентов.

Члены Альянса составляют 14 организаций: Alchemy, Cyber, EigenLayer, Goldsky, IOSG, LazAI, Magic Newton, Metis, MyShell, OpenGradient, RootData, Sentient, Surf, Thirdweb.

Эти компании предоставляют наборы данных, инструменты и специализированные знания для разработки системы бенчмаркинга. Каждый бенчмарк, публикуемый открыто на платформах для разработчиков, будет состоять из определенных задач, эталонных решений и скриптов оценки.

Бенчмарк для CAIA – Крипто-АИ Агентов – является первым выпуском Альянса и в настоящее время доступен. Он предоставляет протоколы точного ответа и вопросы, связанные с токенами, раскладывая многоступенчатые задачи и инструменты, такие как блок-обозреватели и API для их выполнения. В CAIA включены задачи, связанные с токеномикой, анализом данных в блокчейне, исследованием проектов и рабочими процессами транзакций.

Новые бенчмарки находятся в разработке, и Альянс приветствует новых участников. Разработчики, исследователи и протоколы призываются участвовать, предлагая свои модели для оценки или предлагая новые задачи для бенчмаркинга.