AI Models Attempt to Drive in Real-World Test
AI models tested in real-world driving scenario reveal progress and limitations in physical understanding.
Un team di ingegneri ha recentemente testato la capacità di modelli di intelligenza artificiale di guidare un’auto senza alcuna formazione specifica, mettendo alla prova il loro grado di comprensione del mondo fisico. Gli esperimenti, condotti con modelli come GPT, Claude e Grok, hanno rivelato sia progressi significativi che limiti evidenti nel campo della percezione e della navigazione in contesti reali. L’esperienza, che ha visto un modello riuscire a raggiungere il 45% del percorso, ha suscitato interesse e preoccupazione nel settore della ricerca AI.
Testing AI in the Real World
Aditya Ramabadran, Simon Mahns e Tobias Gessler, ingegneri presso una startup chiamata Axiom, hanno scelto un’esperienza pratica per valutare le capacità di modelli di intelligenza artificiale. Utilizzando un’interfaccia chat collegata a un server, hanno connesso un’auto Toyota Corolla a una serie di telecamere e al sistema di sterzo. L’obiettivo era raggiungere un take-out di un fast food, un’attività che richiede una comprensione del contesto e della fisica del mondo reale. Solo un modello, Astra, ha completato il percorso, sebbene lentamente.
Emergent Capabilities and Limitations
Sebbene i modelli abbiano dimostrato una certa capacità di adattamento, i ricercatori sottolineano che la loro comprensione del mondo fisico è ancora limitata. Andrew Dai, CEO di Elorian AI, ha spiegato che migliorare la capacità di ragionamento visivo aprirebbe nuove possibilità per l’AI, come sistemi in grado di capire se un cliente sta godendo del suo pasto o robot in grado di operare in casa. Tuttavia, i test hanno rivelato che i modelli non sono ancora pronti per superare un esame di guida.
Il benchmark sviluppato dai ricercatori, chiamato DrivingBench, ha mostrato che i modelli, pur mostrando un certo adattamento in tempo reale, non riescono a completare un percorso in modo affidabile. La capacità di navigare in contesti reali rimane un’area in cui l’AI ha ancora molto da imparare. I ricercatori sottolineano che, nonostante i progressi, l’obiettivo di creare modelli in grado di operare autonomamente nel mondo fisico è ancora lontano.
La comprensione del mondo fisico rappresenta una frontiera per l’AI, un settore in cui le aziende stanno investendo per migliorare la capacità di ragionamento spaziale. Xingang Guo, ricercatore presso Scale AI, ha affermato che la maggior parte della ricerca visiva si concentra sulla percezione, ma i ricercatori cercano di capire come un modello possa comprendere un contesto intuitivamente, come fanno le persone. L’esperienza con l’auto ha dimostrato che i modelli possono adattarsi a situazioni nuove, ma non sono ancora pronti per guidare in modo sicuro e autonomo.
Questi test rappresentano un passo avanti nella ricerca sull’AI, ma anche un monito sulle sfide che rimangono. Mentre i modelli mostrano un certo grado di comprensione del mondo fisico, la strada per raggiungere un livello di autonomia sufficiente per guidare in modo sicuro è ancora lunga. I ricercatori continueranno a esplorare queste capacità, cercando di colmare il divario tra il mondo virtuale e il mondo reale. La sperimentazione ha anche rivelato che alcuni modelli, come Astra, riescono a adattarsi in tempo reale alle situazioni, migliorando la loro navigazione. Tuttavia, il fatto che solo un modello abbia completato il percorso indica che la capacità di guidare in modo autonomo e sicuro è ancora un obiettivo lontano. I ricercatori sottolineano che, nonostante i progressi, la comprensione del mondo fisico rimane un’area in cui l’AI ha bisogno di ulteriori sviluppi.