Když se do souboje postaví vlajkové modely tří velkých AI gigantů OpenAI, Anthropic a Google, kdo lépe ovládá roboty?
Dne 20. října zveřejnila RoboColiseum, embodied aréna spoluzaložená téměř 20 univerzitami, podniky a výzkumnými institucemi z celého světa včetně Mifeng Technology, Hugging Face, NVIDIA a Tsinghua University, výsledky tohoto kola hodnocení: Claude Opus 5.5 se umístil na prvním místě v celkovém hodnocení mezi čtyřmi vlajkovými modely, následován GPT-6 Astra.
Z pohledu dílčích kategorií mezi čtyřmi vlajkovými modely vede GPT-6 Astra v následování instrukcí a celkové adaptaci na poruchy, přičemž v následování instrukcí dosáhl skóre 99,35; Opus si vede lépe v prostorovém porozumění a obecné manipulaci a díky nejnižší spotřebě tokenů ve všech kolech hodnocení získal první místo v celkovém hodnocení vlajkové skupiny. V testu s poruchami kvality obrazu výrazně zaostával GPT-6.1 Sol za ostatními třemi modely, což ukazuje rozdíly ve stabilitě různých modelů při změnách vizuálních informací.
První dvě místa v celkovém žebříčku tohoto kola však stále obsadily modely embodied strategií, které si zachovávají výhodu zejména v dimenzi obecné manipulace.
Tento vzájemný souboj poskytuje oboru intuitivní referenci pro pochopení silných stránek a slabin obecných velkých modelů a modelů embodied strategií.
RoboColiseum kolem následování instrukcí, prostorového porozumění, adaptace na poruchy a obecné manipulace představil čtyři dílčí žebříčky schopností a 78 vysoce věrných simulačních evaluačních úloh, které nejen prezentují dílčí výkony modelů, ale také zaznamenávají kroky dokončení úloh a místa selhání, což vývojářům pomáhá rychle lokalizovat slabiny schopností modelů.
Jako spoluzakladatel poskytuje Mifeng pro RoboColiseum vysoce věrné object asset a simulační scény, podporuje budování evaluačního prostředí pro složité robotické manipulační úlohy a poskytuje základní zdroje pro testování schopností modelů při interakci s různými objekty, prostorovým uspořádáním a podmínkami prostředí.
Zda výsledky modelů v simulaci odrážejí skutečný výkon operací, je rovněž klíčem k evaluaci. Podle výsledků reálných testů zveřejněných platformou dosahuje korelace mezi simulačním hodnocením RoboColiseum a nasazením na reálném stroji 89,5 % a rozdíl v hodnocení stejného modelu v simulaci a v reálném světě je menší než 10 %, což může vývojářům poskytnout referenci pro výběr modelů a lokalizaci problémů před vstupem do testování na reálném stroji.
Mifeng Technology poskytuje systém dodávky dat „kompletní, kvalitní a rychlý", pokrývající tři datové paradigmaty: reálný stroj, simulaci a bez těla. V oblasti simulace poskytuje Mifeng dva typy zdrojů – object asset a environment asset – pokrývající různé každodenní předměty a interiérové scény, a nabízí schopnosti jako rekonstrukce scén, získávání expertních trajektorií a vizualizace výsledků hodnocení, což modelovým týmům pomáhá provádět rozmanité tréninky a evaluace.
Coliseum původně označovalo starořímskou kruhovou arénu; RoboColiseum si tento obraz bere jako metaforu a buduje vícedimenzionální systémový evaluační rámec, aby prostřednictvím simulačního hodnocení vysoce konzistentního s výkonem na reálném stroji vytvořil pro modely embodied inteligence veřejnou, neutrální a reprodukovatelnou „arénu" a „tréninkové hřiště". Jakákoli univerzita, výzkumná instituce nebo podnikový vývojář může svůj model přihlásit a podrobit ho standardizované „zkoušce". Od spuštění v srpnu již na platformě provádělo trénink a evaluaci modelů více než 100 týmů z domova i ze zahraničí.
RoboColiseum je nyní otevřen vývojářům po celém světě a modelové týmy jsou vítány k účasti na hodnocení.
