Il seguente articolo teorico fa parte di un progetto didattico , nato in modo informale da circa un anno presso l’ Istituto Serale “G.Giorgi” (Treviso), impegnato nella modellazione ed implementazione su singolo chip FPGA di reti neurali. Il nostro intento è di rendere questo progetto ufficiale e, di ampliare così l’offerta formativa dell’istituto. Il gruppo di studio si trova una sera alla settimana e, sarà aperto a quanti volessero dare il loro contributo, come insegnanti o come studenti e perché no come utenti di Elettronica Open Source

Walter Pitts

Walter Pitts nacque a Detroit il 23 aprile del 1923 e all'età di 15 anni scappò di casa perché il padre voleva abbandonasse gli studi per il lavoro. Da qui la storia prosegue con un aneddoto che amava raccontare il neuro-fisiologo Warren McCulloch (1898-1969) .
Il giovane Pitts arrivato a Chicago passò le sue ore nel parco vicino all'università conversando di filosofia e logica con Bert.
Ignaro in realtà che fosse il famoso matematico Bertrand Russell (1872-1970) ospite alla University of Chicago nell'anno accademico 1938-39 per un seminario. Sempre secondo McCulloch, Russell consigliò a Pitts di leggere “La costituzione logica del mondo” (1928) del logico Rudolf Carnap (1891-1970) membro del circolo di Vienna, che si trovava a Chicago per il seminario di Russell. Pitts si accorse che il libro presentava un errore ed andò a trovare Carnap in ufficio all'università, ma non essendosi presentato solo mesi dopo Carnap seppe chi era il giovane e per aiutarlo gli trovò un lavoro presso l'università.

Anni '40: Il sogno booleano

Nel 1943 il giovane Pitts e McCulloch proposero uno studio pionieristico "A logical calculus of the ideas immanent in nervous activity" sulle reti neurali artificiali (ANN) dimostrando che l'algebra di Boole poteva essere applicata allo studio delle reti neurali biologiche , studiando come 1 (eccitato) e 0 (inibito) l'attività del neurone.
Inserendosi così negli intenti, già definiti dal matematico inglese George Boole fin dal 1854, “di ricercare le leggi fondamentali di quelle operazioni dello spirito mediante le quali si attua il ragionamento, dare loro un'espressione nel linguaggio simbolico del calcolo, e costruire su questo fondamento la scienza della logica e il suo metodo”.
Boole (1815-1864) riteneva che le sue ricerche fossero più un contributo alla psicologia che alla matematica e che leggi da lui scoperte fossero realmente quelle del pensiero perché dimostravano che la logica proposizionale e quella sillogistica aristotelica erano due aspetti della stessa realtà. Bastava infatti sostituire "1 = vero" e "0 = falso" come due insiemi che rappresentano il Tutto ed il Nulla.
Infine l'ingegnere Claude Shannon (1916-2001) nella sua tesi del 1937 “A Symbolic Analysis of relay and Switching Circuits” evidenziò come l'algebra di Boole poteva rappresentarsi anche come un interruttore aperto (0) o chiuso (1) mettendo così le basi per la costruzione dei computers.
L'analogia tra circuiti elettrici e neuronali permetteva quindi di pensare metaforicamente al cervello come a un computer biologico (wetware) e al computer come un cervello elettronico permettendo così di risolvere il dualismo cartesiano in chiave materialista.
Inoltre trasformava le reti neuronali in una macchina di Turing (TM) portando all'identificazione dei processi cognitivi con quelli formali algoritmici di una macchina dando così la possibilità di riprodurre meccanicamente la coscienza come auspicato dalla nascente ricerca sull'intelligenza artificiale .
Posizione che sarebbe stata criticata negli anni '80 dal filosofo americano John Searle con l'esperimento mentale della stanza cinese (“Menti, cervelli e programmi”,1980) e da Thomas Nagel con la celeberrima frase:
”Che cosa si prova ad essere un pipistrello?”.

Per Searle,l'approccio computazionale fornisce solo un una dottrina formale del funzionamento della mente,parla di operazioni mentali e di processi, ma solo raramente di contenuti. Mentre sembra che l'intenzionalità sia una caratteristica della coscienza, cioè la sua necessità di pensare qualcosa, vedere qualcosa, immaginare qualcosa.
Con questa metodologia dunque non è possibile spiegare la questione dei qualia, le qualità soggettive degli stati di coscienza, ciò che il filosofo americano Thomas Nagel ha definito come l'effetto che fa essere un determinato tipo di essere.

Il modello proposto da McCulloch e Pitts mancava però di una caratteristica fondamentale: la possibilità di apprendere.
Contributo che giunse nel 1949 dallo psicologo canadese Donald Hebb (1904-1985) che propose nella sua opera “L'organizzazione del comportamento” un semplice meccanismo di apprendimento: “quando un assone della cellula A prende parte ripetitivamente nel processo di eccitamento della cellula B, qualche cambiamento strutturale o metabolico subentra in una o entrambe le cellule in modo che l'efficienza di A, come cellula eccitatrice di B, aumenti”.

Anni '50: L'età dell'oro del sogno booleano

Alla fine degli anni '50 vennero pubblicate tre opere che incentivarono ulteriori sviluppi delle reti neurali artificiali : “Pandemonium: A paradigm for learning” (1958) di Selfridge, Il Perceptron (1958) di Rosenblatt e l'Adaline di Windrow e Hoff.
L'idea di Pandemonium, termine coniato dal poeta inglese John Milton nel “Paradiso perduto”(1667), secondo Oliver Selfridge “era quella di avere un gruppo di demoni che davano la voce a quelli del livello superiore, e questi a quelli di un livello ancora superiore” cioè di disporre di diverse reti neurali , appunto di demoni, semi-indipendenti che comunicavano il loro output per ogni singola proprietà per esempio di un volto o di una parola (Pattern Recognition).

L'idea dei demoni venne ripresa nel 1985 da Marvin Minsky come modello della mente come società di multi-agenti (“La società della mente”,1985).
Nel 1958 lo psicologo Frank Rosenblatt scrisse “The Perceptron, a Probabilistic Model for Information Storage and Organization in the Brain” rifiutando l'uso della logica simbolica di Pitts e McCulloch a favore di metodi probabilistici. Il perceptron risultava quindi un classificatore e riconoscitore di schemi che simulava la visione umana.
Nel loro saggio “Adaptive Switching Circuits” (1960) Bernard Windrow e Marcian Hoff introdussero una rete simile al perceptron, chiamata Adaline (Adaptive Linear Element) ed in seguito la Madaline (Multiple Adaline) la prima rete ad essere applicata nel mondo reale per la riduzione dell'eco nelle linee telefoniche.

La principale differenza con il modello di Rosenblatt era l'algoritmo di apprendimento basato sulla minimizzazione della somma dei quadrati degli errori nelle sinapsi (delta rule) e sulla somministrazione di esempi per ottenere l'output desiderato (apprendimento supervisionato).

In questo contesto ritroviamo anche l'esperimento del 1959 condotto da Jerome Lettvin (1920-2011), dal neuroscienziato cileno Humberto Maturana, da McCulloch e Pitts sulla percezione visiva della rana:
“Ciò che l'occhio della rana comunica al cervello della rana”.

Il rapporto fra vista e percezione, fra il vedere ed il decodificare un' immagine, è da sempre uno degli argomenti alla base delle questioni legate all'esperienza cosciente.
Lo scopo dell'esperimento, richiamandosi alla “Critica della ragion pura” (1787) del filosofo tedesco Immanuel Kant (1724-1804), era di dimostrare sperimentalmente le "basi fisiologiche del sintetico a priori" cioè all'esistenza di filtri naturali che selezionano i contenuti dell'esperienza.
Se ad esempio una mosca passasse davanti all'occhio della rana questa verrebbe percepita e di riflesso mangiata però se dinanzi alla rana poniamo un oggetto statico, anche una mosca uccisa dallo sperimentatore, non se la mangerebbe, non perché lo decida, ma perché non la vede!
L'immagine della mosca si forma nella retina della rana però l'informazione non viene elaborata dal cervello.

Le opere di Rosenblatt, Windrow e Hoff stimolarono numerose ricerche tuttavia l’entusiasmo cessò nel 1969 con il saggio “Perceptrons: An Introduction to Computational Geometry” di Marvin Minsky e Seymour Papert in cui si dimostravano i limiti del perceptron come l'impossibilità di realizzare funzioni linearmente separabili come la Xor. Infatti ciò avrebbe richiesto l'addestramento dei neuroni nascosti (Hidden Layer).
Termina così per più di un decennio ciò che il matematico Douglas Hofstadter , autore di “Godel, Escher e Bach”, aveva definito come l'età dell'oro del sogno booleano dell'intelligenza artificiale.

Anni '80: Il risveglio dal sogno di Boole

Nel 1982 il finlandese Teuvo Kohonen, ispirandosi alla topologia della corteccia del cervello, introdusse un nuovo tipo di ANN le SOM
(self-organizing map) in grado di sviluppare un comportamento
auto-organizzante senza l’addestramento da parte di un supervisore, attraverso l’eccitazione di neuroni vicini e l'inibizione di quelli lontani.
Nel 1986 venne introdotto, grazie alle pubblicazioni degli psicologi David Rumelhart, Geoffrey Hinton e Ronald Williams, l’algoritmo di retro-propagazione (Error BackPropagation EBP), capace di addestrare anche il livello di neuroni nascosti (hidden layer) attraverso una modifica sistematica degli errori tra i nodi, superando così le critiche degli anni 60'.
Bisogna però ricordare che tale algoritmo era già stato pensato nel 1974 da P. Werbos nella sua tesi di dottorato.
Inoltre David Rumelhart (1942-2011) ed il suo collega James McClennand pubblicarono in due volumi “Parallel Distributed Processing” (PDP) rilanciando così il programma connessionista.
Proponevano quindi tre elementi predominanti nella riproduzione dell'attività cognitiva attraverso le ANN : il processamento in parallelo, memoria distribuita ed adattabilità.
Al contrario di come avveniva nell'intelligenza artificiale: processamento sequenziale, memoria localizzata ed istruzioni imperative.
Il connessionismo definiva l'intelligenza come apprendimento e non più come mera elaborazione e programmazione di simboli infine come nel cervello i dati venivano “evocati” e non “cercati”.
Ulteriore successo del connessionismo fu che Rumelhart e McClennand resero disponibili per anni i sorgenti dei loro programmi agli studenti delle università dove insegnavano esortandoli a testarli e a modificarli.

Ringraziamenti

Vorrei ringraziare il filosofo e neuro-psicologo Marco Mozzoni , direttore della rivista di neuroscienze BrainFactor, per l'aiuto datomi nella stesura di questo breve articolo introduttivo alle reti neurali.

Bibliografia di riferimento

James A. Anderson, Edward Rosenfeld, “Talking Nets, An oral History of Neural Networks”, Mit, 2000

Marco Mozzoni, “Alzheimer, come diagnosticarlo precocemente con le reti neurali”, FrancoAngeli, 2010

Donald O. Hebb. tr.it. “L'organizzazione del comportamento: una teoria neuropsicologica”, Franco Angeli, 1975

Roger Penrose ,“La mente nuova dell'imperatore”, Bur, 2000

Albert Newen,”Filosofia analitica”, Einaudi, 2010

Humberto Maturana, Francisco Varela “El Arbol del conocimiento, La bases biològicas del entendimineto humano”,Lumen,

Silvio Cammarata,”Reti neuronali, dal perceptron alle reti caotiche e neuro-fuzzy”,1997

Oliver Selfridge, "Dalla cibernetica alle reti neuronali", intervista realizzata allo Smau il 22/09/95

David Rumelhart, James McClennand “Parallel Distributed Processing” 1986

Steven Pinker ,“Come funziona la mente”, Mondadori,2002

Marvin Minsky, “La società della mente”, Adelphi, 1989

Andres Reyes

Integrational Mind Labs (Iml)
Socio Junior e Vice-segretario
http://integrationalmindlabs.it/
Come aderire:
http://integrationalmindlabs.it/iml-adesioni.html