In questo blog post analizziamo come effettuare la classificazione dell'audio su Arduino GIGA R1 WiFi partendo da dati puramente sintetici.
Una delle principali difficoltà che tutti noi incontriamo quando cerchiamo di costruire i nostri modelli di edge Machine Learning è la raccolta di un set di dati ampio, ma allo stesso tempo diversificato e affidabile. I modelli audio richiedono in genere l'impostazione di un microfono, l'acquisizione di lunghe sequenze di suoni e quindi la rimozione manuale di dati errati dai file risultanti. In questo progetto, realizzato da Shakhizat Nurgaliyev, viene eliminata la necessità dell'arduo processo sfruttando i modelli generativi per produrre artificialmente il set di dati.
Per passare da tre classi audio (parlato, musica e rumore di fondo) a un set di dati completo, Nurgaliyev ha scritto un semplice prompt per ChatGPT che forniva indicazioni per creare un totale di 300 descrizioni audio dettagliate. Successivamente, ha preso un NVIDIA Jetson AGX Orin Developer Kit e ha caricato il modello generativo AudioCraft di Meta che gli ha permesso di trasmettere i prompt audio creati in precedenza e ricevere in cambio frammenti audio.
I passaggi finali hanno comportato la creazione di un progetto di classificazione audio Edge Impulse, il caricamento dei campioni generati e la progettazione di un Impulse che sfruttasse il blocco audio MFE e un modello di classificatore Keras. Una volta costruita una libreria Arduino, Nurgaliyev l'ha caricata, insieme a un semplice sketch, su una scheda Arduino GIGA R1 WiFi che ascoltava continuamente nuovi dati audio, eseguiva la classificazione e mostrava l'etichetta sullo schermo Display Shield di GIGA R1.
Per saperne di più su questo progetto completo, puoi visitare il link: Classifying audio on the GIGA R1 WiFi from purely synthetic data
Riferimenti
TinyML: Audio Classification By Utilizing Synthetic Data
