Negli ultimi anni, l'Intelligenza Artificiale ha fatto passi da gigante nel riconoscimento del linguaggio, nella generazione di immagini e nella risoluzione di problemi complessi. Nonostante ciò, la sua capacità di affrontare compiti pratici e dinamici, come il controllo di un videogioco, è ancora un campo di studio in piena evoluzione. Proprio per analizzare queste capacità, alcuni ricercatori hanno deciso di mettere alla prova diversi modelli AI con il leggendario Super Mario Bros, ottenendo risultati davvero sorprendenti.
L’esperimento è stato condotto dall'Hao AI Lab, un centro di ricerca dell’Università della California di San Diego. Durante il test, i modelli di Intelligenza Artificiale più avanzati sono stati chiamati a giocare al celebre platform di Nintendo. Tra tutti, il migliore è stato Claude 3.7 di Anthropic, seguito da Claude 3.5. In modo inaspettato, modelli come GPT-4o di OpenAI e Gemini 1.5 Pro di Google non sono riusciti a ottenere le stesse performance, mostrando difficoltà in quello che, a prima vista, potrebbe sembrare un compito semplice. Per rendere l’esperimento possibile, i ricercatori non hanno utilizzato la versione originale del gioco del 1985, ma una versione emulata, modificata con un framework chiamato GamingAgent, uno strumento che ha permesso ai modelli AI di interagire con il videogioco come se stessero utilizzando un controller fisico. GamingAgent, sviluppato direttamente da Hao AI Lab, ha fornito all'Intelligenza Artificiale una serie di istruzioni di base per comprendere le meccaniche di gioco, integrando anche alcuni screenshot utili per analizzare la situazione in tempo reale. L’AI ha poi generato input sotto forma di codice Python per controllare i movimenti di Mario sullo schermo.
Il risultato dell'esperimento ha rivelato un aspetto molto interessante: i modelli AI dotati di capacità di ragionamento avanzato hanno mostrato maggiori difficoltà nel gestire il gioco rispetto a quelli meno evoluti, un vero e proprio paradosso che si spiega con il fatto che i modelli più sofisticati impiegano più tempo per analizzare le informazioni e prendere decisioni, rallentando così la reattività necessaria per affrontare le sfide del platform. Al contrario, i modelli con tempi di elaborazione più rapidi si sono dimostrati più adatti a un ambiente dinamico come quello di Super Mario Bros.
Il risultato ottenuto suggerisce che la velocità di risposta e l'adattabilità sono determinanti per l’efficacia dell'AI in contesti interattivi e ad alta dinamicità.
È plausibile pensare che se lo stesso esperimento fosse stato condotto con un videogioco strategico a turni, dove la riflessione e la pianificazione sono più importanti dell'immediatezza, i modelli con capacità di ragionamento più avanzate avrebbero avuto un netto vantaggio.
Anche se il test non può essere considerato un benchmark definitivo per valutare le prestazioni complessive di un modello AI, esso offre comunque spunti interessanti su come queste tecnologie affrontano situazioni di problem-solving in tempo reale. L'esperimento dimostra che non tutte le intelligenze artificiali sono uguali e che la loro efficacia dipende molto dal tipo di compito che devono svolgere. Gli studi rappresentano un passo importante verso la comprensione dei limiti e delle potenzialità dell'AI in ambiti che vanno oltre il linguaggio o la generazione di contenuti. Con il miglioramento continuo delle tecnologie e dei framework di interazione, è probabile che in futuro l'Intelligenza Artificiale possa diventare sempre più abile nel gestire contesti dinamici, riuscendo a padroneggiare anche giochi complessi come Super Mario Bros e, chissà, persino titoli moderni con ambienti 3D più articolati.
Interessanti i risultati dei test, tra l’altro ricordano le applicazioni basate sull’utilizzo di logica “fuzzy” in cui le decisioni devono essere prese rapidamente semplificando il modello decisionale.