Snorkel AI pārbaudīja SpaceXAI Grok 4.5 uz aptuveni 2000 ekspertu vērtētu darba uzdevumu — jaunais modelis vidēji pārspēj GPT 5.5 un Claude Opus 4.8 vairumā nozarēs.
Snorkel AI ir publicējusi Grok 4.5 salīdzinošos rezultātus, kuros SpaceXAI jaunākais modelis izgāja cauri aptuveni 2000 ekspertu vērtētiem profesionāliem darba uzdevumiem — un skaitļi rāda, ka Grok 4.5 pārspēj gan GPT 5.5, gan Claude Opus 4.8 reālos darba vietas rezultātos. Izmantojot Snorkel GDPval+ datu kopu, kas ir daļa no Snorkel Data Series (SDS), nozaru eksperti izveidoja uzdevumus un vērtēšanas kritērijus juridiskiem dokumentiem, izklājlapām, prezentācijām un citiem rezultātiem, kas atspoguļo faktiskās ASV ekonomikas profesijas. Katrs modeļa variants katru uzdevumu veica vienu reizi, izmantojot Harbor — Snorkel atvērtā koda LLM un aģentu novērtēšanas ietvaru —, un LLMaJ verifikatori novērtēja rezultātus pēc ekspertu izstrādātiem kritērijiem.
Grok 4.5 sasniedza 29% vidējo izturības rādītāju novērtējuma izlases uzdevumos, apsteidzot GPT 5.5 ar 22% un Opus 4.8 ar 21%. Uzlabojumi koncentrējās darbā, kas prasa dziļu profesionālo spriedumu: juridiskie uzdevumi (40% pret 27–28% konkurentiem), izglītība (58% pret 35–42%), veselības aprūpe (35% pret 23–25%) un QA analīze (37% pret 19–27%). GPT 5.5 joprojām bija labākais būvniecībā, bet Opus 4.8 — finanšu vadītāju scenārijos; tomēr vairumā profesiju un nozarēs Grok 4.5 bija priekšā — bieži ar ievērojamu pārsvaru. Pēc SpaceXAI pieprasījuma Grok 4.5 tika savienots ar Grok Build aģentu Harbor ietvarā; GPT 5.5 un Opus 4.8 izmantoja pielāgotu Stirrup novērtēšanas aģentu, optimizētu GDPVal tipa uzdevumiem.
Kļūdu analīze nostiprināja galveno secinājumu. Grok 4.5 uzrādīja zemāko izplatību visās sešās izsekotajās kļūdu kategorijās. Visbiežākā kļūme — trūkstoša nozares analīze — samazinājās līdz 40% paraugiem, salīdzinot ar 51–52% konkurentiem. Konkrēti piemēri ietver algu un darba laika atbildības uzdevumu, kurā vienīgi Grok 4.5 izpildīja visus ekspertu kritērijus, un komerciālā nekustamā īpašuma uzdevumu, kur tas sniedza diferencētus, vietas līmeņa ieteikumus, nevis vispārīgus padomus. Tomēr ekspertu līmeņa darbs joprojām ir grūts: neviens modelis neiztur vairāk par vienu no trim kritērijiem, kas uzsver, cik daudz vēl ir paveicams profesionālā MI jomā.
Lasiet vairāk: Snorkel AI — Grok 4.5 testēšanas rezultāti.
Original Sources
Disclaimer
This is an AI-summarized article from authoritative sources. If you want your content removed, please .