L’Intelligenza Artificiale identifica una melodia studiando il linguaggio del corpo di un musicista

Lo strumento di Intelligenza Artificiale (IA) di gesti musicali sviluppato presso il MIT-IBM Watson AI Lab utilizza i movimenti del corpo per isolare i suoni dei singoli strumenti.

Un nuovo strumento di Intelligenza Artificiale sviluppato dal MIT-IBM Watson AI Lab sfrutta gli occhi e le orecchie virtuali di un computer per separare suoni simili che sono difficili da distinguere anche per gli umani. "I punti chiave del corpo forniscono potenti informazioni strutturali", afferma l'autore principale dello studio, Chuang Gan, ricercatore IBM presso il laboratorio. "Lo usiamo qui per migliorare la capacità dell'IA di ascoltare e separare il suono". In questo progetto, e in altri simili, i ricercatori hanno sfruttato le tracce audio-video sincronizzate per ricreare il modo in cui gli umani imparano. "Impariamo da tutti i nostri sensi", afferma Antonio Torralba, professore del MIT e autore dello studio. "L'elaborazione multisensoriale è il precursore dell'intelligenza incorporata e dei sistemi di Intelligenza Artificiale che possono svolgere compiti più complicati." Questo strumento, che utilizza i gesti del corpo per separare i suoni, si basa su lavori precedenti che sfruttavano segnali di movimento in sequenze di immagini.

Figura 1. Il sistema di Intelligenza Artificiale è in grado di riconoscere i suoni a partire dai movimenti dei musicisti

Il lavoro evidenzia l'importanza dei segnali visivi nell'addestramento dei computer per avere un orecchio migliore e l'uso di segnali sonori per dare loro occhi più nitidi. Torralba ed i suoi colleghi hanno dimostrato che i modelli di apprendimento profondo addestrati su dati audio-video accoppiati possono imparare a riconoscere suoni e immagini.

Riferimenti

Identifying a melody by studying a musician’s body language

Scarica subito una copia gratis

Scrivi un commento

Seguici anche sul tuo Social Network preferito!

Send this to a friend