Discorsi sulle reti neurali e l'apprendimento

Carlotta Domeniconi, Michael Jordan

Discorsi sulle reti neurali e l'apprendimento

Edizione a stampa

35,00

Pagine: 304

ISBN: 9788846426802

Edizione: 1a edizione 2001

Codice editore: 743.3

Disponibilità: Discreta

Negli ultimi anni, le reti neurali sono diventate un elemento centrale nella ricerca sull'intelligenza artificiale, e un gran numero di architetture e algoritmi sono stati sviluppati per questo tipo di modelli. L'obiettivo di questo libro è spiegare, con un linguaggio il più semplice e intuitivo possibile, gli elementi chiave che hanno guidato questa evoluzione.

Il libro presenta in modo vivace ed esauriente i temi classici delle reti neurali: il percettrone, l'algoritmo LMS, la macchina di Boltzmann, l'algoritmo di Kohonen e gli algoritmi per l'apprendimento non supervisionato. Tratta inoltre altri metodi probabilistici, tra i quali i modelli composti da gaussiane e l'algoritmo EM, le reti a moduli di esperti, e i modelli di Markov nascosti (HMM). Presenta inoltre alcuni tra gli argomenti più studiati recentemente, quali le macchine a supporto vettoriale (SVM), l'analisi delle componenti indipendenti (ICA), e l'apprendimento con rinforzo (RL). Tutto questo è presentato in un linguaggio matematico rigoroso ma chiaro ed intuitivo, accessibile ai principianti e di interesse per gli esperti.

Il libro è rivolto a ricercatori che si occupano della teoria delle reti neurali e dell'apprendimento. È stato anche pensato come testo per un corso avanzato di livello universitario sulle reti neurali. La trattazione dei vari modelli di reti neurali e degli algoritmi di apprendimento è completa, e non richiede alcuna conoscenza a priori sulle reti neurali.

Carlotta Domeniconi si è laureata in Scienze dell'Informazione all'Università Statale di Milano nel 1992. Ha quindi trascorso 18 mesi presso il Massachusetts Institute of Technology nel gruppo di ricerca del professor Michael Jordan, con il quale ha approfondito i suoi interessi sulle reti neurali e l'apprendimento. Nel 1997 ha conseguito il Master in Tecnologie Avanzate dell'Informazione e della Comunicazione presso l'Istituto Internazionale per gli Alti Studi Scientifici "Eduardo R. Caianiello". Dal gennaio 1998 è impegnata nel conseguimento del dottorato di ricerca (Ph.D.) in Computer Science alla University of California, Riverside, dove svolge ricerca occupandosi soprattutto di apprendimento, data mining, pattern classification e di reti neurali.

Michael Jordan è professore ordinario presso il dipartimento di Electrical Engineering e Computer Science e presso il dipartimento di Statistics alla University of California, Berkeley. I suoi interessi di ricerca si collocano tra l'informatica e la statistica, e hanno prodotto più di 100 articoli. Ha esplorato diversi aspetti dell'apprendimento, tra cui le reti neurali, gli alberi di decisione, i modelli di Markov nascosti e i modelli grafici. Negli ultimi anni si è dedicato allo sviluppo di metodi di approssimazione per effettuare inferenze probabilistiche con i modelli grafici, prestando particolare attenzione ai metodi variazionali (mean field). Ha sostenuto seminari alla International Conference on the Mathematical Theory of Networks and Systems, alla American Association for Artificial Intelligence, alla International Joint Conference on Neural Networks, alla ACM Conference on Computational Learning Theory, e alla Conference on Uncertainty in Artificial Intelligence.


Tomaso Poggio , Prefazione
Introduzione
(Apprendimento supervisionato; Apprendimento con rinforzo; Apprendimento non supervisionato)
Reti ad uno strato
(Approccio statistico all'apprendimento; Un esempio: riconoscimento di caratteri manoscritti; Regressione e classificazione; Algoritmo LMS; Il Percettrone)
Reti multistrato
(Motivazioni; Caratteristiche di una funzione booleana; Funzioni booleane linearmente separabili; Reti multistrato; Premessa all'algoritmo di retropropagazione dell'errore: reti duali; Algoritmo LMS generalizzato; Regola delta e discesa del gradiente; Regola delta per funzioni di attivazione semilineari in reti feedforward: algoritmo di retropropagazione; Osservazione sull'equazione di retropropagazione; Funzioni di attivazione; LMS come algoritmo "on-line" e gradiente stocastico; Tasso di apprendimento e momento; Algoritmo di Newton e regola delta; Macchine a supporto vettoriale)
Modelli probabilistici
(Apprendimento e stima della massima verosimiglianza; Stima della massima verosimiglianza gaussiana; Modello lineare: regressione lineare; Modelli lineari generalizzati (GLIM): problemi di classificazione a due casi; Significato della funzione logistica nell'ambito della teoria di Bayes; Modelli lineari generalizzati: problemi di classificazione a più di due casi; Caratteristiche della famiglia esponenziale di distribuzioni di probabilità)
Reti a moduli di esperti
(Il concetto di modularità e i suoi vantaggi; Architetture modulari: reti esperto e rete "gating"; Modello probabilistico per reti a moduli di esperti; Algoritmo di apprendimento; Architettura gerarchica a moduli di esperti; Modello probabilistico per una rete a due livelli; Architetture gerarchiche e CART; Varianza e distorsione)
Reti ricorrenti
(Cenni sulla teoria di Lyapunov; Reti di Hopfield; Apprendimento in reti ricorrenti; Regola di Hebb; Retropropagazione nel tempo; Architetture semplificate; Apprendimento ricorrente in tempo reale; Retropropagazione ricorrente)
Macchine di Boltzmann
(Annealing simulato; Energia libera (di Helmholtz); Algoritmo di Metropolis; Ragionamento probabilistico; Algoritmo di apprendimento; Quantità derivate dall'energia libera; Input e Output nelle macchine di Boltzmann)
Controllo adattativo
(Il nuovo ruolo dell'insegnante; Cinematica e dinamica; Modello inverso-diretto; Apprendimento supervisionato a distanza)
Apprendimento non supervisionato
(Una singola unità lineare; Analisi delle componenti principali; Analisi delle componenti principali multiple; Apprendimento competitivo; Analisi delle componenti indipendenti)
Modelli composti
(Algoritmo K means; Modelli composti da gaussiane; Algoritmo EM per i modelli composti da gaussiane; Algoritmo K means riveduto; Algoritmo EM: teorema di convergenza; Modelli di Markov nascosti; Approccio EM per la stima dei parametri di HMM)
Apprendimento con rinforzo
(Caratteristiche dell'apprendimento con rinforzo; Programmazione dinamica e stocastica; Algoritmi per l'apprendimento con rinforzo).