Альянс CAIBA: нові стандарти для оцінки крипто-штучного інтелекту та агентів

Crypto AI Benchmark Alliance для тестування AI та крипто-агентів

3 червня провідні організації у галузі блокчейн та штучного інтелекту, такі як EigenLayer, Cyber, Sentient та інші, оголосили про створенняCAIBA – Альянсу для бенчмаркінгу крипто-штучного інтелекту. Мета цієї ініціативи, яка керується спільнотою, полягає в установленні прозорих стандартів для оцінки моделей штучного інтелекту та крипто-агентів.

Членами Альянсу є 14 організацій: Alchemy, Cyber, EigenLayer, Goldsky, IOSG, LazAI, Magic Newton, Metis, MyShell, OpenGradient, RootData, Sentient, Surf, Thirdweb.

Ці компанії надають набори даних, інструменти та спеціалізовані знання для розробки рамки бенчмаркінгу. Кожен бенчмарк, який публікується відкрито на платформах для розробників, буде складатися з визначених завдань, референсних рішень та скриптів для оцінки.

Бенчмарк дляCAIA – Крипто AI Агентів – є першим випуском Альянсу та наразі доступний. Цей бенчмарк забезпечує точний протокол відповідей на питання, пов`язані з токенами, мапуючи багатоступеневі завдання та використовуючи інструменти, такі як блок-експлори та API для виконання завдань. У CAIA включені завдання, пов’язані з токеномікою, ончейновим аналізом, дослідженням проєктів і робочими процесами транзакцій.

Нові бенчмарки зараз у розробці, і Альянс вітає нових contributors. Розробники, дослідники та протоколи заохочуються до участі, подаючи моделі для оцінки або пропонуючи нові завдання для бенчмарку.