Il APVP (Aiuto (alla) Percezione Visiva (e) Prossimità) serve a fornire un modo rapido ed efficiente la percezione dell'area circostante a chi, per scarsità o disabilità, non è un grado di utilizzare i propri occhi.
Lo strumento si compone in 2 parti principali: degli occhialini cattureranno tutte le informazioni visive ed un pannello, integrato in un indossabile che aderirà quindi alla schiena, che "tradurrà" le istruzioni in istruzioni tattili che il soggetto potrà utilizzare per orientarsi. Le informazioni di tipo tattile che verranno fornite saranno principalmente due: la semplice pressione di piccoli punti che andranno quindi a sostituire i pixel visivi in tattili (in modo che le sagome in forma di luce siano "tangibili" come presenze fisiche sulla schiena) e la vibrazione, e intensità, aiuteranno a comprendere a che distanza fisica siano le forme catturate dalla telecamera. Infine, il lavoro di processazione quali la conversione del flusso di immagini in istruzioni attuative che regolano i dispositivi presenti nel pannello (nonché filtri video che miglioreranno il segnale visivo per meglio tradurre immagine in forme basilari utili) saranno affidati all' infineon XMC 2GO che risiederà nell'indossabile vicino al pannello e le batterie.
Razionale
L'apparato si presenta in due diversi "indossabili": un paio di occhialini [1] che si occupano di ricevere le informazioni visive (tramite telecamerina tipo smartphone) e una mappatura di prossimità (in modo che ogni singolo fotogramma contenga informazioni basilari sulla profondità degli oggetti in visuale), ed una maglia interna [2] che tradurrà immagini e profondità di campo, tramite un pannello aderente a pelle [3], in sensazione tattile in modo da dare percezione spaziale e rudimentale "vista" a chi non può (non vedenti) o è momentaneamente impossibilitato ad usare i propri occhi a causa di particolari condizioni/fattori ambientali.
La composizione hardware - Gli occhialini
La particolarità degli occhialini è che vanno intesi "modulari", cioè: una volta stabilito lo standard dello scambio di informazioni e l'alimentazione, dovrebbe essere possibile poter applicare sulla montatura altri moduli in modo da potenziare (migliorando le capacità elaborative o del sensore di prossimità) funzionalità già esistenti o di aggiungerne di nuove.
La composizione hardware - La maglia
L'indossabile si presenta come una maglia da indossare sotto quella interna (il pannello sul retro deve essere a contatto con la pelle); per massimizzare il comfort, quindi, almeno la parte interna, deve essere fatto in tela/tessuto; inoltre tale parte in tela/tessuto dovrebbe essere rimovibile (tramite zip o altro) in modo da permetterne il lavaggio (per ovvie questioni di igiene).
Nello spazio frontale-esterno troveranno alloggiamento i vari moduli quali batteria e l'unità di elaborazione (la scheda con CPU), mentre il retro-interno sarà occupato dalla parte pannello che si occuperà di convertire immagine in informazioni "vibranti e tattili".
La composizione hardware - il pannello
Supponiamo ora di suddividere il pannello in una griglia di celle nel quale ogni alloggiamento ospiterà un rotore/motore capace di fornire più o meno pressione sulla pelle del soggetto in base alla coordinata [x] e [y]
Applicazioni possibili variano dall'attuatore lineare al motore piezoelettrico; ma il concetto base è quello come illustrato in figura: aumentare o diminuire la pressione contro la pelle in base al valore di luminosità ((biancono contatto) (neromassimo contatto)) e posizione x/y di ogni singola cella. È importante notare che la velocità è un elemento critico giacché non si tratta di rendere una singola immagine fissa ma proprio un flusso video che sia idealmente superiore ai 5 fotogrammi al secondo (il rotore dovrebbe essere in grado di completare un giro "avanti e indietro" almeno 10 volte al secondo)
Sulla stessa griglia che ospita le celle sono incastonati componenti vibratori dello stesso tipo che si trovano negli smartphone.
Funzionamento - Gli occhialini, la telecamera (tipo smartphone)
La telecamera si occupa della funzione più semplice; quella di catturare lo stream dal vivo (figura a sinistra) ridurla in bassa risoluzione (al centro) e fornire quindi al pannello le coordinate che verranno quindi tradotte in una mappa tattile (a destra si può vedere che ogni sferetta corrisponde ad un punto di tocco: più la sfera è scura più profondo è il tocco.)
Funzionamento - Gli occhialini, sensore di prossimità
Benché esistano vari modi di ipotizzare la creazione di una mappa di profondità (basti pensare al kinect della Microsoft oppure alle varie applicazioni usate nel cinema 3d); quella che attualmente sembra offrire la migliore "consistenza" in termini di continuità (se ad esempio lo si usi in casa come all'aperto) sono i Sensori di Prossimità. Viene quindi ora ipotizzata la possibilità di miniaturizzare ulteriormente questo componente e di affiancarne in una griglia 8x8 (all'interno di una singola lente) in modo da ottenerne una di 64 punti.
Ogni sensore è orientato in modo da "proiettare" il proprio raggio di rilevazione (non sovrapposta, o moderatamente sovrapposta a tutti gli altri sensori) coprendo un area direttamente frontale agli occhiali (in modo che basti orientare la testa per "esplorare" l'ambiente circostante).
Idealmente i sensori dovrebbero essere in grado di rilevare la distanza (che chiameremo "raggio" visto che inclinando e girando la testa si possono creare assi circolari) da 0 a 2 metri (bisogna tenere conto che il pavimento immediatamente di fronte al soggetto è più lontano a causa della distanza "diagonale").
La griglia ora ottenuta è una immagine di 8x8 pixel (la dimensione di una piccola icona) che andranno poi ad istruire il pannello su quali aree dovranno vibrare e a che intensità (maggiore è la vicinanza rilevata, maggiore sarà la vibrazione). Vanno inoltre spese due parole sul fatto che queste istruzioni non andranno a rappresentare l'immagine in se, ma serviranno solo alla "comprensione spaziale" di quello che la telecamera sta riprendendo (l'immagine della telecamera e quella dei sensori di prossimità dovranno essere perfettamente sovrapposte).
Se la telecamera sta inquadrando una enorme macchia nera difronte al soggetto, in base alla assenza o presenza i vibrazione il soggetto stesso sarà in grado di comprendere ha difronte a se la notte oppure un muro.
Funzionamento combinato - Transazione immagine in mappa tattile
Al centro della montatura degli occhialini la micro telecamera riprende la scena e quindi la invia alla unità CPU che, dopo averla processata in bassa risoluzione con appositi filtri (convertita in tonalità di grigio, possibilmente rilevando i bori delle forme), controlla i rotori nelle celle (che formano il pannello) affinché si dispongano come da coordinata x/y e intensità (già esposto in precedenza)
Funzionamento combinato - Transazione mappa profondità in sensazione tattile (vibrato)
Si supponga ora di riprendere il seguente scenario
e che quindi l'immagine processata come da paragrafo precedente sia questa:
le istruzioni fornite dai sensori di prossimità in griglia da 8x8 sia quivi rappresentata
quindi i dati raccolti dai sensori di prossimità forniscono questo risultato
I "graffi" di rosso più intenso rappresentano vibrazioni dovute alla prossimità più immediata, mentre quelli più leggeri corrispondono ad aree puntuali più distanti rispetto al soggetto
I dati combinati dal pannello grazie alla pressione e alla vibrazione forniscono quindi preziose istruzioni all'utente sugli ostacoli davanti a se. Nel normale utilizzo la parte bassa del pannello (quindi quella che visualizza il terreno) sarà quella che vibrerà quasi costantemente, tuttavia basterebbe sollevare lo sguardo (inclinare la testa) per ridurne la frequenza. Molti altri accorgimenti per il comfort e sicurezza (specie per la "lettura" della irregolarità del terreno oppure catturare testi in OCR per convertirli in braille) potranno essere presi in fase più avanzata.
Il quarto vincitore della selezione del contest Infineon è un concept.
Ci è piaciuto per la sua utilità e per la creatività che l’autore ha messo in campo.
Abbiamo apprezzato l’idea, la rappresentazione ed oggi ci sono possibilità per tutti noi per collaborare con questo progetto e dare man forte ad un’ottima prospettiva di sviluppo per un’dea che fa del sociale il suo campo di interesse ed applicazione principale.
Ma in che cosa sarebbero diversi da google glass e glass up?
Non voglio certamente sostituirmi all’autore che avrà modo di rispondere, ma a me sembra che sia diverso prima di tutto lo scopo, quindi il target.
E poi si tratta di un concept che peraltro ha diversi spunti in più. Non è un progetto concluso ma in divenire. Con tante sfide progettuali aperte.
Non una possibilità ma un ventaglio di possibilità offerte a chi raccoglierà la sfida di supportare l’idea 😉
Non ti sembra una possibilità entuasiasmante?
Gli occhialini, gli smartwatch, i smartphone/tablet… tutti questi apparecchi “poggiano” la loro utilità quasi unicamente sul senso della vista.
Chi ha problemi di vista per ragioni temporanee o permanente (non vedenti) potrebbe trovarsi tagliato dalla dinamicissima industria mobile.
Inoltre la sua applicazione possibile non è solo per non vedenti… pensa a tutti i casi un cui sarebbe molto più conveniente avere un secondo canale visivo?
Esempio rapido: integrare il pannello tattile sul sedile auto del pilota… utile per avere una percezione delle “geometrie” retrovisore quando si parcheggia (palo della luce, un ostacolo, un’altra auto). In pratica si monta la telecamera è piazzata sul retro dell’auto… et voila: un secondo occhio. 🙂
Molto interessante. Quali idee hai per l’organizzazione del lavoro? Come intendi muoverti adesso?
Per il momento sono nella fase “chiedi agli amici quando sia fattibile“; le mie competenze in micro elettronica sono molto scarse; avrei in mente molte altre feature da aggiungere ma per il momento è in una fase di “ossatura portante”; cioè parliamo principalmente di un concept artistico… un pò come l’elicottero disegnato da Leonardo Da Vinci: un principio “ragionevole” che può essere valido/realizzabile con le tecnologie attualmente disponibili solo se le effettive competenze in materia saranno in grado di dircelo. All’epoca di Leonardo l’elicottero disegnato da lui non era possibile perché mancavano le conoscenze (teoria della gravità, l’aereo dinamica moderna ecc…) e le risorse tecnologiche (un motore energetico leggero e impensabilmente potentissimo all’epoca).
Ad esempio; io posso immaginare una “griglia di micro sensori di prossimità che stanno nella lente di un occhiale”… ma è poi davvero possibile miniaturizzarli tanto e fornire una sorgente elettrica continuativa per tutta la giornata (insieme a tutti gli altri apparati)?
Ciao,
io sono un ragazzo ipovedente grave e vedo con grandissimo entusiasmo la tua idea. Nella mia condizione (io ci vedo un po' di giorno o, comunque, in ambienti illuminati, di sera solo le luci), ad esempio, mi sarebbe utilissimo di notte e in particolar modo nei posti che non conosco e in cui ci vado per la prima volta (per il turismo accessibile, una soluzione così sarebbe una manna). Una cosa che mi chiedo, così, di primo acchito, però è la seguente: la schiena è una zona così sensibile da permetterci di ricostruire mentalmente le forme rappresentate dal pannello?
Se hai in mente o voglia di conminciare a far qualcosa, potremmo sentirci. Al momento ho competenze solo minime in ambito di elettronica, però sto facendo ingegneria informatica al Politecnico di Milano e, quindi, teoricamente dovrei migliorarmi sempre di più 😉 .
Grazie a prescindere.
Antonino.
Ciao, grazie per quello che hai scritto, per me vuol dire molto. 🙂
Non vorrei ritrovarmi un giorno a rileggermi come se avessi scherzato su un argomento così serio. Non è qualche tipo di miracolo che propongo, l’idea sarebbe quella di un qualcosa che va comunque “imparato” per avere una qualche utilità.
Per quanto riguarda la posizione ideale dove posizionare il pannello mi sono semplicemente basato su un “ragionamento non informato”; non è detto quindi che la schiena sia il posto ideale.
La prima ipotesi che ho vagliato è quella di un pannello più piccolo e sottile (magari basato su qualcosa di più sublimale come una micro elettrostimolazione) in modo da mimare il più possibile il processo originale dell’occhio (l’immagine è percepita sulla superficie esterna del bulbo, ma in realtà l’immagine vera è “proiettata” sul retro… il subconscio fa il resto del lavoro). Il “mini pannello” avrebbe dovuto avere un appoggio sul retro della nuca in modo simile alle audio cuffiette con lettore mp3 che andavano di moda tra i praticanti di jogging/trekking.
Ho anche vagliato l’ipotesi di metterlo in un guanto sulla parte interna del palmo; il ragionamento seguito qui è basato sul fatto che già chi legge il braille è in qualche modo “allenato” a tradurre tatto in immagini/simboli. Ma quest’ultimo sembra avere due vulnerabilità: la prima è che comunque la mano non è in grado di “esplorare” le forme (cosa su cui si basa comunque tutto il processo di letture del braille), la seconda è che… beh, comunque le mani servono.. un conto è impegnarle mentre leggi,altro e dover “chiudere gli occhi” (cioè non poter usare più il tatto) per ogni azione.
Infine ho “solidificato” la mia idea sulla schiena per diverse ragioni.
1. si può facilmente nascondere sul vestiario. Quindi rendere “pubblico o meno” il fatto di essere assistiti sta a personale discrezione
2. è tra le parti più relativamente “piatta” del corpo, quindi la percezione spaziale dovrebbe giovarne visto che comunque l’elasticità della pelle già rende tutto relativo
3. É un’area contigua relativamente vasta nel proprio corpo: quindi possono stare “più informazioni” (maggiori dettagli) oppure “informazioni più marcate” (la sagoma di una macchina in distanza sarebbe una piccola macchia nera di pochi millimetri in uno spazio ristretto… mentre potrebbe arrivare ad essere una chiazza di 1~2 centimetri sulla schiena)
4. È meno soggetta a variazioni relative alla persona (ingrassando/dimagrendo tende a deformarsi/meno
Naturalmente va considerato che le mie sono solo congetture basate sulla mera osservazione; ma dove piazzare il pannello è proprio il punto *nevralgico* dell’intero apparato (telecamerina e sensori le puoi piazzare un po dovunque sul corpo… ma la qualità di percezione tattile-spaziale cambia enormemente sulla base di fattori fisiologici/psicologici). Istintivamente direi che non bisognerebbe allontanarsi troppo dalla testa visto che lì sta il punto veramente critico tra “ego” e “tutto il resto”
Sì, il tuo ragionamento è sensatissimo e, alla fine, credo che sarebbero solo le prove sul campo, come la storia della tecnologia ci insegna, del resto, a trovare la soluzione più idonea. E, magari, non è affatto detto che sia univoca. Anche il Braille, che è ormai un sistema così assodato, ha attraversato diverse fasi durante la sua evoluzione, alcune delle quali, aveano dato una soluzione abbastanza diversa da quella che è la codifica odierna.
L'idea di lasciare le mani libere, trattandosi di persone non vedenti, è fondamentale, perché un non vedente che si muova da solo, ha almeno una delle due mani impegnate dal bastone bianco o dal cane guida. E aggiungici anche che, ormai spesso, nell'altra mano capita di trovarsi un iPhone dal quale magari ci si sta facendo guidare attraverso il navigatore. Quindi, sommare ulteriori informazioni potrebbe rivelarsi addirittura controproducente.
Riguardo al miracolo, tieni conto che, quando sei in una condizione come il non vedere, qualsiasi ausilio, qualsiasi mezzo accresca la tua autonomia o la tua cognizione sensoriale, rappresenta un miracolo…
Salve, innanzitutto complimenti per il progetto, io sto sviluppando una cosa simile (studio design, non mi intendo di elettronica)…ho scritto un pò per chiedere informazioni sul forum, ma non ho avuto tutte le risposte che cercavo, quindi provo a scrivere anche qui. Il mio progetto riguarda un dispositivo di assistenza allo sport per ipovedenti, in particolare la corsa, e si sviluppa su tre pezzi, un sensore da attaccare ai lacci delle scarpe che controlla i possibili ostacoli, una maglietta che riceve i segnali e li trasforma in vibrazioni nei punti specifici per premettere all'utente di evitare gli ostacoli, ed infine delle eventuali cuffie bluetooth (per ricevere invece un segnale di tipo sonoro).
Ora, quello che mi chiedo io è, in che modo il sensore ai piedi interagisce con la maglietta, sicuramente ci dovrà essere un altro elemento che riceve il segnale e lo trasmette alla maglia tramite tecnologia nfc o bluetooth…non so, sono ignorante, e vorrei solo sapere se esiste e se è possibile.
In più ho visto che te, per i sensori, useresti dei sensori di prossimità; di che tipo? A che distanza riescono ad individuare gli ostacoli? E che dimensioni hanno?
Io ho pensato a dei sensori ad ultrasuoni che il più piccolo mi sembra sia 16mm di diametro per 14mm di profondità,quali sono meglio?
Devo sviluppare il mio progetto di tesi, se qualcuno può aiutarmi sarei molto grata.
Per quanto riguarda il trasferimento delle informazioni un sistema wireless (che non deve essere per forza uno standard bluetooth/ncf/wifi; ma si potrebbe usare anche in sistema “ad-hoc” che usano le frequenze libere per piccoli dispositivi.. come ad esempio i mouse wireless) sarebbe quello che offrirebbe un comfort migliore visto che l’alternativa sarebbe quella di far passare un “fastidioso filo” come già per le cuffiette audio. Però con il wireless vengono anche dei piccoli svantaggi:
il primo è che, con il wireless, dovrai comunque integrare un trasmettitore ed un ricevitore e quindi due sorgenti elettriche diverse per le “separate sedi” (equivale a due batterie da indossare)… mentre con il filo avresti solo da decidere dove far indossare una singola-grande batteria che alimenta il tutto (senza il “costo elettrico aggiuntivo” fatto proprio dal ricevitore e trasmettitore).
Naturalmente con il filo ne verrebbero tutti i problemi di scomodità del caso tra possibili inciampi o movimento reso più difficoltoso.
Penso che l’ideale sarebbe pensare il progetto con il filo (la versione più facile da realizzare) è quindi lasciare “una porta aperta” all’integrazione del wireless da pensare in una fase più avanzata o semplicemente “disegnandola” come modulo aggiuntivo.
Per quanto riguarda i sensori di prossimità non sono molto esperto; tendenzialmente sarei orientato verso quelli ottici perché promettono di essere più adatti alla velocità di un flusso di immagini, inoltre pare siano più economici rispetto a quelli ultrasuoni. Tuttavia pare che gli ottici abbiano lo svantaggio di non essere adatti a tutti i casi… inoltre bisogna sempre stare attenti a non proiettare raggi (infrarossi o simili) che possano danneggiare le altre persone; insomma… non saprei proprio! Alla fine credo che per trovare il sensore più adatto bisognerebbe tenere a mente queste cose:
1 Sicurezza per gli altri (già ho accennato al fatto che i fasci infrarossi per i sensori ottici possono rilevarsi dannosi per le altre persone quando “rilevate”
2 Sicurezza per se (quando continuativamente, e senza interruzioni, il sensore potrà offrire i suoi dati senza interruzioni dovute a cause d’ambiente (superfici o oggetti che diventano “invisibili” in particolari condizioni) oppure dovute all’utilizzatore (ad esempio: il tuo progetto è per una persona in corsa, quindi quanto “pulito e costante” sarà la rilevazione sotto tutti questi scossoni?)
3 Complessità (esclusi ingeneri che lavorerebbero “per beneficenza”… si suppone che maggiori competenze per sviluppare qualcosa, richiedano stipendi pià alti… e quindi relativi costi di sviluppo)
4 Costo del componente (Non parliamo di un iPhone, ma diun tipo di dispositivo che vorresti “per tutti”, o mi sbaglio?)
5 Consumo elettrico (che fa lievitare il costo e peso dovuti alla batteria)
Spero che, se non proprio le mie risposte, altri con migliore e più precise competenze possano rispondere ai tuoi dubbi.