Atria Dawn Preview: ИИ ұсынады, адам 96,5% тапсырмада шешім қабылдайды
Материал бірнеше дереккөз негізінде жасанды интеллектпен дайындалды — түпнұсқаларға сілтемелер төменде.
744 млрд параметрлі Atria Dawn Preview моделі төрт апталық жоба барысында тапсырмалардың 96,5%-ында қолданылды. Агент әрекеттерінің адам әрекеттеріне медиандық қатынасы 11-ден 28,5-ке дейін өсті, ал адамдар әдістер мен параметрлер бойынша шешімдердің 85,5%-ын қабылдады.
Негізгі фактілер
- Atria Dawn Preview — зерттеу және инженерлік тапсырмаларға арналған, сарапшылар қоспасы архитектурасына негізделген 744 млрд параметрлі модель.
- Жоба барысында қаралған тапсырмалардың 96,5%-ында ИИ қолданылды.
- Агент әрекеттерінің адам әрекеттеріне медиандық қатынасы төрт апта ішінде 11-ден 28,5-ке дейін өсті.
- ИИ көмегімен аяқталған 455 тапсырманың 151-і ИИ-сыз орындалмайтын деп танылды — бұл шамамен үштен бірі.
- Адамдар әдістер мен параметрлер бойынша шешімдердің 85,5%-ын қабылдады, ал ИИ тек 9,2%-ын қабылдады.
Модель архитектурасы және бенчмарктер
Atria Dawn Preview сарапшылар қоспасы архитектурасына негізделген, 744 млрд параметрден тұрады. Модель әр тапсырманы нақты орындау ортасына байланыстыратын пайплайн арқылы оқытылды: ол құралдарды шақырады, аралық нәтижелерді генерациялайды және сыртқы сигналдар — тесттер, метрикалар немесе бастапқы деректер арқылы тексеріледі. Команда Atria Dawn Preview веб-іздеу мен киберқауіпсіздікті қоса алғанда, 16 бенчмарктің бесеуінде көшбасшы екенін, бірақ бәсекелестерден жалпы артықшылығы жоқ екенін хабарлайды. Ол AutomationBench, CyberGym және MLE-Bench Lite-те көшбасшы, бірақ GDPval мен SWE-Bench Pro-да артта қалады.
Адам мен ИИ шешімдерінің динамикасы
Әдістер мен параметрлер үшін ең жиі кездесетін үлгі «ИИ ұсынады, адам таңдайды» болды — жағдайлардың 55,4%-ы. Жалпы алғанда, адамдар әдістер мен параметрлер бойынша шешімдердің 85,5%-ын қабылдады, ал ИИ тек 9,2%-ын қабылдады. Адамдар мақсаттар мен көлем бойынша түпкілікті шешімді жағдайлардың 93,4%-ында қабылдады. ИИ ұсыныстарының үлесі шешім түріне байланысты 17%-дан 55%-ға дейін өзгерді, бірақ түпкілікті шешімдердің үлесі бірмәнді болып қалды. Тіпті ИИ-сыз орындалмайтын деп танылған 151 тапсырманың ішінде адамдар мақсатты жағдайлардың 95,4%-ында таңдады.
Тапсырмалардың орындалуы және араласу
ИИ көмегімен аяқталған 455 тапсырманың 151-і ИИ-сыз орындалмайтын деп танылды — бұл шамамен үштен бірі. Бұл тапсырмалар 56 қатысушының 27-сіне бөлінді, яғни бірнеше белсенді пайдаланушыдан шыққан жоқ. Бұл жағдайларда ИИ бар жұмысты жылдамдатпады, керісінше, әйтпесе басталмайтын жұмысты мүмкін етті. Тіркелген күрделілігі бар 588 тапсырманың 76%-ы адамның араласуы арқылы алға жылжыды, ал 23%-ында агент мәселені өз бетінше шешті.
1 дереккөз
Уақыт · артта қалуы