Corsi di Laurea Corsi di Laurea Magistrale Corsi di Laurea Magistrale
a Ciclo Unico
Scuola di Scienze umane, sociali e del patrimonio culturale
STRATEGIE DI COMUNICAZIONE
Insegnamento
AUGMENTED AND VIRTUAL REALITY
SUP9087218, A.A. 2019/20

Informazioni valide per gli studenti immatricolati nell'A.A. 2019/20

Principali informazioni sull'insegnamento
Corso di studio Corso di laurea magistrale in
STRATEGIE DI COMUNICAZIONE
IF0315, ordinamento 2015/16, A.A. 2019/20
N0
porta questa
pagina con te
Crediti formativi 6.0
Tipo di valutazione Voto
Denominazione inglese AUGMENTED AND VIRTUAL REALITY
Dipartimento di riferimento Dipartimento di Studi Linguistici e Letterari (DiSLL)
Obbligo di frequenza No
Lingua di erogazione INGLESE
Sede PADOVA
Corso singolo È possibile iscriversi all'insegnamento come corso singolo
Corso a libera scelta È possibile utilizzare l'insegnamento come corso a libera scelta

Docenti
Responsabile SIMONE MILANI ING-INF/03

Dettaglio crediti formativi
Tipologia Ambito Disciplinare Settore Scientifico-Disciplinare Crediti
AFFINE/INTEGRATIVA Attività formative affini o integrative L-ART/06 6.0

Organizzazione dell'insegnamento
Periodo di erogazione Secondo semestre
Anno di corso I Anno
Modalità di erogazione frontale

Tipo ore Crediti Ore di
didattica
assistita
Ore Studio
Individuale
LEZIONE 6.0 42 108.0

Calendario
Inizio attività didattiche 02/03/2020
Fine attività didattiche 12/06/2020
Visualizza il calendario delle lezioni Lezioni 2019/20 Ord.2015

Commissioni d'esame
Commissione Dal Al Membri
1 1920 01/10/2019 30/11/2020 MILANI SIMONE (Presidente)
BADIA LEONARDO (Membro Effettivo)
ERSEGHE TOMASO (Supplente)

Syllabus
Prerequisiti: Viene richiesta una conoscenza minima dell'uso del calcolatore.

Possono essere utili (ma non strettamente necessarie) alcune conoscenze preliminari sull'utilizzo di software di computer graphics.
Conoscenze e abilita' da acquisire: Il corso fornisce una profonda comprensione dell'interconnesione fra computer vision, computer graphics e machine learning che sta alla base delle applicazioni di realtà aumentata e virtuale. Esso inoltre offre la possibilità di capire come queste tecnologie possono essere applicate in vari ambiti della comunicazione, nella riabilitazione e nel training.
Le lezioni sono strutturate in modo da fornire una buona conoscenza dei principi che ne stanno alla base e dei loro possibili utilizzi.

In dettaglio, il corso porterà gli studenti ad acquisire e sviluppare le seguenti conoscenze e abilità:
1. Conoscenza dei principi base della computer vision e delle sue possibili applicazioni.
2. Conoscenza delle principali tecniche di computer graphics e della loro applicazione nella realizazione delle interfacce uomo-macchina.
3. Conoscenza dei fondamenti della machine learning e delle principali tecniche alla base dell'intelligenza artificiale, con particolare attenzione alle reti neurali.
4. Conoscenza delle caratteristiche principali delle applicazioni VR e AR e della loro applicazione in diversi campi della comunicazione.
5. Sviluppare capacità pratiche nella realizzazione di applicazioni AR/VR.


Gli studenti avranno inoltre l'opportunità di sviluppare e testare alcune tecniche in esperienze di laboratorio.
Modalita' di esame: La verifica delle conoscenze e delle abilità attese verrà effettuata tramite una prova scritta e un progettino finale che verrà presentato in data di esame. La valutazione finale sarà costituita dalla media pesata della valutazione della prova scritta (60%) e dei report (40%).

Gli argomenti di valutazione della prova scritta verranno chiaramente indicati nel materiale fornito e durante la lezione.
Criteri di valutazione: La valutazione finale sarà determinata in base al livello di conoscenza dello studente degli argomenti del corso e alla capacità di analizzare l'applicazione delle tecniche presentate al mondo della comunicazione.
Gli argomenti di valutazione verranno chiaramente indicati nel materiale fornito e durante la lezione.

In dettaglio, i criteri di valutazione sono:
1. Completezza delle conoscenze acquisite negli ambiti della computer vision, grafica 3D e machine learning .
2. Capacità di analizzare una possibile applicazione di realtà virtuale/aumentata e identificare le soluzioni tecniche utilizzate.
3. Proprietà di linguaggio tecnico, sia scritto sia orale.

Il giudizio finale terrà conto sia dei risultati raggiunti sia dell'impegno e dell'interesse dello studente nella materia trattata.
Contenuti: 1) Il modello percettivo umano: la percezione visiva e uditiva. Qualità soggettiva e Quality-of-Experience.

2) Usabilità di un applicazione AR/VR. Interfacce uomo-macchina (HCI). Interfacce gestuali. Interfacce vocali. Principi di visualizzazione delle informazioni.

3) Sistemi di acquisizione di immagini e modelli 3D.
Acquisizioni di immagini standard, fotocamere fish-eye e 360°. Sistemi di ricostruzione 3D: metodi attivi e passivi. Sistemi stereo e multi-camera, tecniche di Structure-from-Motion (SfM), depth-from-focus e defocus. Sensori di profondità (Kinect) e laser scanner.

4) Machine Learning e reti neurali
Introduzione alla machine learning e principali applicazioni.
Le reti neurali: principi base e il loro utilizzo nella realizzazione di interfacce uomo-macchina.
Tecniche di intelligenza artificiale applicate alla computer vision.

5) Visualizzazione e rendering grafico
Display 3D, visori VR e dispositivi per la realtà aumentata
Principi di rendering.

6) Realtà virtuale e aumentata.
Applicazioni in ambito medicale e in riabilitazione
Applicazioni in ambito museale, beni culturali, restauro
Applicazioni in ambito training e educativo
Applicazioni pubblicitarie e giornalistiche
Attivita' di apprendimento previste e metodologie di insegnamento: Il corso offre una panoramica delle tecniche di computer vision, machine learning, e computer graphics finalizzate allo sviluppo di applicazioni di reatà virtuale e aumentata.
La struttura del corso può essere divisa in tre parti:
a) descrizione e modellizazione dei sistemi di acquisizione delle immagini e di modelli 3D;
b) tecniche di classificazione e deep learning in applicazioni AR;
c) rendering di oggetti virtuali o reali su immagini bidimensionali standard e dispositivi/visori per la realtà aumentata.

Lo scopo della prima parte è quello di descrivere il modello matematico e le operazioni che definiscono il funzionamento dei sistemi di imaging attuali (cioè, video e foto camere, sensori di profondità ToF come il dispositivo MS Kinect, e molti altri) tramite il linguaggio della computational photography. L'analisi di tali sistemi sarà focalizzata sulla ricostruzione di modelli 3D di una scena statica o dinamica tramite immagini bidimensionali (sistemi stereo passivi e attivi, sistemi multi-camera) e/o mappe di profondità. Nella parte b) del corso verrà trattato anche il problema della caratterizzazione semantica della scena (classificazione della scena e riconoscimento oggetti) tramite algoritmi di machine learning. La parte (c) introdurrà il problema del rendering descrivendo i vari algoritmi e come adattarli allo specifico dispositivo di visualizzazione. In questa parte finale, verrà affrontato il problema dell'interazione fra mondo virtuale e reale (applicazioni di realtà mista, interfaccia uomo-macchina).


Gli argomenti verranno affrontati durante lezioni frontali con esempi pratici in MATLAB, OpenCV, Unity.
L'apprendimento è stimolato da sessioni di laboratorio (MATLAB) e da un progetto finale che permetteranno agli studenti di confrontarsi in situazioni pratiche collegate ai concetti visti durante le lezioni.

La parte teorica del corso verrà affrontata in 19 lezioni frontali, mentre 5 esperienze di laboratorio guideranno gli studenti nella realizzazione di alcune applicazioni di realtà aumentata.
Eventuali indicazioni sui materiali di studio: Il materiale di studio è costituito da lucidi e appunti sulle lezioni forniti dal docente prima di ogni lezione.
Gli appunti sono generati da diversi articoli scientifici e testi sull'argomento.

L'attivià didattica frontale utilizzerà lucidi, appunti alla lavagna, ed esempi di programma che potranno essere verificati a casa. Tutto il materiale presentato a lezione sarà disponibile sulla piattaforma http://elearning.dei.unipd.it. Gli studenti potranno usufruire della licenza MATLAB fornita dall'Università di Padova per lo svolgimento delle esercitazioni e per la programmazione. Inoltre, sarà possibile scaricare online una licenza studente della piattaforma Unity.
Testi di riferimento:
  • Klette, Reinhard, Concise Computer Vision. Springer London: --, 2014. Cerca nel catalogo

Didattica innovativa: Strategie di insegnamento e apprendimento previste
  • Lecturing
  • Laboratory
  • Case study
  • Working in group
  • Problem solving
  • Quiz o test a correzione automatica per feedback periodico o per esami
  • Active quiz per verifiche concettuali e discussioni in classe
  • Videoriprese realizzate dal docente o dagli studenti
  • Utilizzo di video disponibili online o realizzati
  • Files e pagine caricati online (pagine web, Moodle, ...)
  • Unity

Didattica innovativa: Software o applicazioni utilizzati
  • Moodle (files, quiz, workshop, ...)
  • Kaltura (ripresa del desktop, caricamento di files su MyMedia Unipd)
  • Matlab

Obiettivi Agenda 2030 per lo sviluppo sostenibile
Salute e Benessere Istruzione di qualita' Lavoro dignitoso e crescita economica Industria, innovazione e infrastrutture Citta' e comunita' sostenibili