Штучний інтелект випереджає венчурних капіталістів у прогнозуванні успіху стартапів

Штучний інтелект тепер значно краще прогнозує успіх стартапів, ніж венчурні капіталісти

Чи міг би GPT-4 виявити Airbnb у 2008 році або Figma у 2012 році, перш ніж це зробили професіонали?

Нове дослідження від дослідників Оксфордського університету та Vela Research свідчить, що великі мовні моделі вже краще обирають переможців, ніж більшість інвесторів на ранніх стадіях. У галузі, яка славиться виявленням шаблонів і теплими знайомствами, перспектива, що ШІ виявляє обіцяючих засновників раніше — без знання їхніх імен — може кардинально змінити ситуацію.

Якщо моделі, подібні до GPT-4, навіть помірно покращать показники успіху, то вони можуть стати незамінними інструментами в арсеналі кожної компанії, що займається залученням інвестицій, і навіть можуть зробити інвестування в стартапи трохи більш меритократичним.

Дослідження під назвою“VCBench: Benchmarking LLMs in Venture Capital” представляє VCBench, перший відкритий бенчмарк, розроблений для тестування, чи може ШІ прогнозувати успіх стартапів до його настання. Команда створила набір даних з 9,000 анонімізованих профілів засновників, кожен з яких було поєднано з даними ранніх стадій компаній. Приблизно 810 профілів були позначені як “успішні” — визначені як досягнення великого етапу зростання, наприклад, продаж або IPO — надаючи моделям рідкісний, але значущий сигнал для навчання.

Критично важливо, що дослідники очистили набір даних від імен і прямих ідентифікаторів, тому моделі не могли просто запам`ятати тривіальні відомості з Crunchbase. Вони навіть провели супротивні тести, щоб впевнитися, що LLM не обманюють, ідентифікуючи засновників за публічними даними, що зменшило ризик повторної ідентифікації на 92%, зберігаючи при цьому прогностичні характеристики.

Під час тестування моделі показали кращі результати, ніж більшість людських бенчмарків. У документі зазначається, що “ринковий індекс” — по суті базова продуктивність усіх ранніх інвестицій венчурних капіталістів — досягає лише 1.9% точності, або одного переможця зі 50 спроб. Y Combinator показує кращий результат — 3.2%, що приблизно дорівнює 1.7 разу більше, ніж ринок, а топові венчурні фірми досягають близько 5.6%, що приблизно вдвічі перевищує цю цифру.

Великі мовні моделі, однак, перевищили цей базовий рівень.

Наприклад, DeepSeek-V3 продемонстрував більше ніж шість разів точність ринкового індексу, тоді як GPT-4 очолив рейтинг з найвищим показником F0.5, балансуючи між точністю та згадкою. Claude 3.5 Sonnet і Gemini 1.5 Pro також перевершили ринок, потрапивши в ту ж категорію продуктивності, що й елітні венчурні фірми.

Іншими словам, практично кожна перевірена мовна модель робила кращу роботу з визначення ймовірних переможців, ніж середній венчурний капіталіст — і кілька моделей відповідали або перевищували прогностичні можливості Y Combinator та топових фондів.

Дослідники випустили VCBench як публічний ресурс на сайтіvcbench.com, запрошуючи громаду тестувати свої моделі та публікувати результати. Якщо рейтинг заповниться LLM, які перевершують ринок, це може суттєво змінити інвестування на ранніх стадіях. Світ, де засновників виявляють агенти штучного інтелекту, що переглядають LinkedIn, а не холодно пишуть електронні листи партнерам, може бути не таким вже й далеким.