GASPARETTI FABIO
Obiettivi
Gli obiettivi sono fornire competenze avanzate e specifiche nell'ambito delle più recenti architetture di reti neurali Deep. Particolare attenzione sarà data a modelli multimodal, e alle reti capaci di analizzare strutture di dati complesse, quali grafi e multivariate time series; e al deep reinforcement learning.Al termine del corso lo studente sarà in grado di: progettare e ottimizzare in maniera adeguata reti neurali Deep, saper distinguere e valutare diverse soluzioni, e saper selezionare e personalizzare le architetture di reti più efficaci da utilizzare in ambiti applicativi reali, supervised, unsupervised o seguendo un approccio basato su un apprendimento per rinforzo. Il corso è costituito da una parte teorica e metodologica sui concetti avanzati e innovativi, e da una attività laboratoriale in cui tali concetti sono applicati nella risoluzione di problemi mediante i più recenti framework di sviluppo
Programma
Introduzione al Deep Learning; Addestramento di architetture Deep: tecniche di hyperparameter tuning, batch normalization, faster optimizers, regularization per reti deep; Convolutional Neural Networks (CNN/ConvNets); Analisi di sequenze: Recurrent Neural Networks (GRU, LSTM, Bidirectional); Architetture Encoder-Decoder, Autoencoders, Variational Autoencoders; Attention layers ; Generative Adversarial Networks (GAN); Deep Reinforcement Learning; Embeddings; Principali architetture convolutive (AlexNet, VGG, NiN, GoogLeNet/Inception, ResNet, DenseNet); Applicazioni alla Computer Vision e all'Analisi del linguaggio naturale in linguaggio Keras.Prerequisiti
Conoscenze di base su percettrone e backpropagation, e le principali tecniche di addestramenti dei modelli di machine learning.Testi Adottati
Simon J.D. Prince. "Understanding Deep Learning". MIT Press 2025 A. Geron,A. Geron, “Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems”, O'Reilly Media, Inc, USA, 2019.
Modalità Frequenza
Non obbligatoria ma fortemente consigliata.Modalità Valutazione
Le valutazioni consistono in prove in itinere che, se sostenute con successo, permettono di sostenere una prova finale limitata rispetto alla prova standard. Tutte le prove sono in forma scritta, e consistono sia in risposte aperte e chiuse.Esempi Domande
Reti neurali convoluzionali. Si consideri un'immagine di dimensioni 32×32×3 elaborata da un livello convoluzionale con 16 filtri di dimensione 3×3, stride 1 e padding 1. Determinare le dimensioni del tensore di uscita e il numero di parametri addestrabili, includendo i bias. Illustrare i calcoli.Architetture profonde. Confrontare le architetture ResNet e DenseNet, spiegando le differenze tra connessioni residue e concatenazione delle feature map. Discutere le implicazioni per la propagazione dei gradienti, il riutilizzo delle caratteristiche e il consumo di memoria.
Addestramento e generalizzazione. Durante l'addestramento di una rete neurale, la training loss continua a diminuire mentre la validation loss inizia ad aumentare dopo un certo numero di epoche. Identificare il fenomeno, spiegarne le possibili cause e proporre almeno due strategie per migliorare la generalizzazione del modello.
Progettazione di architetture neurali. Progettare un modello di Deep Learning per classificare sequenze temporali di lunghezza variabile. Descrivere un'architettura basata su LSTM oppure Transformer, motivando le scelte progettuali e discutendo i principali vantaggi e limiti dell'approccio adottato.
