Corsi di Laurea Corsi di Laurea Magistrale Corsi di Laurea Magistrale
a Ciclo Unico
Scuola di Ingegneria
ICT FOR INTERNET AND MULTIMEDIA - INGEGNERIA PER LE COMUNICAZIONI MULTIMEDIALI E INTERNET
Insegnamento
3D AUGMENTED REALITY - REALTA' AUMENTATA 3D
INP6075460, A.A. 2017/18

Informazioni valide per gli studenti immatricolati nell'A.A. 2017/18

Principali informazioni sull'insegnamento
Corso di studio Corso di laurea magistrale in
ICT FOR INTERNET AND MULTIMEDIA - INGEGNERIA PER LE COMUNICAZIONI MULTIMEDIALI E INTERNET
IN2371, ordinamento 2017/18, A.A. 2017/18
N0
porta questa
pagina con te
Curriculum TELECOMMUNICATIONS [001PD]
Crediti formativi 6.0
Tipo di valutazione Voto
Denominazione inglese 3D AUGMENTED REALITY
Dipartimento di riferimento Dipartimento di Ingegneria dell'Informazione (DEI)
Sito E-Learning https://elearning.dei.unipd.it/course/view.php?idnumber=2017-IN2371-001PD-2017-INP6075460-N0
Obbligo di frequenza No
Lingua di erogazione INGLESE
Sede PADOVA
Corso singolo È possibile iscriversi all'insegnamento come corso singolo
Corso a libera scelta È possibile utilizzare l'insegnamento come corso a libera scelta

Docenti
Responsabile SIMONE MILANI ING-INF/03

Mutuazioni
Codice Insegnamento Responsabile Corso di studio
INP6075460 3D AUGMENTED REALITY - REALTA' AUMENTATA 3D SIMONE MILANI IN0524
INP6075460 3D AUGMENTED REALITY - REALTA' AUMENTATA 3D SIMONE MILANI IN2371
INP6075460 3D AUGMENTED REALITY - REALTA' AUMENTATA 3D SIMONE MILANI IN2371
INP6075460 3D AUGMENTED REALITY - REALTA' AUMENTATA 3D SIMONE MILANI IN2371

Dettaglio crediti formativi
Tipologia Ambito Disciplinare Settore Scientifico-Disciplinare Crediti
CARATTERIZZANTE Ingegneria delle telecomunicazioni ING-INF/03 6.0

Modalità di erogazione
Periodo di erogazione Primo semestre
Anno di corso I Anno
Modalità di erogazione frontale

Organizzazione della didattica
Tipo ore Crediti Ore di
Corso
Ore Studio
Individuale
Turni
LEZIONE 6.0 48 102.0 Nessun turno

Calendario
Inizio attività didattiche 25/09/2017
Fine attività didattiche 19/01/2018

Syllabus
Prerequisiti: Analisi delle immagini e video( attualmente denominato "Computer Vision") è consigliato ma non strettamente necessario.
Conoscenze e abilita' da acquisire: Il corso offre una panoramica delle tecniche di computer vision e computer graphics finalizzate allo sviluppo di applicazioni di reatà virtuale e aumentata.
La struttura del corso può essere divisa in tre parti:
a) descrizione e modellizazione dei sistemi di acquisizione delle immagini;
b) creazione di modelli 3D della realtà tramite immagini bidimensionali e/o mappe di profondità;
c) rendering di oggetti virtuali o reali su immagini bidimensionali standard e dispositivi/visori per la realtà aumentata.
Lo scopo della prima parte è quello di descrivere il modello matematico e le operazioni che definiscono il funzionamento dei sistemi di imaging attuali (cioè, video e foto camere, sensori di profondità ToF come il dispositivo MS Kinect, e molti altri) tramite il linguaggio della computational photography. La seconda parte è focalizzata sulla ricostruzione del modello 3D di una scena statica o dinamica tramite immagini bidimensionali (sistemi stereo passivi e attivi, sistemi multi-camera) e/o mappe di profondità. Verrà trattato anche il problema della caratterizzazione semantica della scena (classificazione della scena e riconoscimento oggetti) tramite algoritmi di machine learning. La parte (c) introdurrà il problema del rendering descrivendo i vari algoritmi e come adattarli allo specifico dispositivo di visualizzazione. In questa parte finale, verrà affrontato il problema dell'interazione fra mondo virtuale e reale (applicazioni di realtà mista, interfaccia uomo-macchina).


Il corso è strutturato in modo da fornire agli studenti una buona conoscenza sia teorica sia pratica delle tecniche e delle problematiche relative alle applicazioni di realtà virtuale, aumentata, mista. Esso fornisce inoltre una profonda comprensione dell'interconnesione fra computer vision e computer graphics.

Gli studenti avranno inoltre l'opportunità di sviluppare e testare tecniche e algoritmi di computer vision, computer graphics, e realtà aumentata in alcune esperienze di laboratorio.

Il corso inoltre fornirà una panoramica dei possibili strumenti forniti dalle librerie OpenCV, PCL e OpenGL.
Modalita' di esame: Prova scritta + report
Criteri di valutazione: Il corso "Realtà aumentata 3D" copre un ampia gamma di argomenti nell'ambito della Computer Vision e della Computer Graphics in modo da fornire una conoscenza diversificata che permetta di seguire l'evoluzione costante di questi settori.

La valutazione finale sarà focalizzata sull'abilità dello studente di ricostruire e visualizzare modelli 3D in applicazioni di realtà virtuale e aumentata.
Gli argomenti di valutazione verranno chiaramente indicati nel materiale fornito e durante la lezione.

Il giudizio finale terrà conto sia dei risultati raggiunti sia dell'impegano e dell'interesse dello studente nella materia trattata.
Contenuti: a) Dalla scena reale all'immagine

1) Creazione dell'immagine e modello della fotocamera
Proiezione prospettica
Modello pin-hole o stenopeico
Equazione delle lenti sottili
Lenti fish-eye
Modello semplificato e generale della camera
Immagini digitali

2) Calcolo dei punti salienti e features

Metodo di Harris e Stephens
Scale Invariant Feature Transform (SIFT)
Calcolo delle corrsipondenze fra punti salienti

3) Camera calibration

Nozioni base sulla calibrazione

4) Calcolo delle omografie

Calcolo dell'omografia (DLT)
Omografie e riconoscimento oggetti
Applicazioni di realtà aumentata 2D


b) Creazione di modelli 3D

1) Sistemi stereo: geometria

Triangolazione 3D
Geometria epipolare
Rettificazione epipolare
Matrice essenziale e la sua fattorizzazione
Moto e struttura da omografia


2) Sistemi stereo: corrispondenze

Metodi di corrispondenza locale
Metodi a finestra
Indicatori di affidabilita’
Occlusioni
Altri metodi locali
Metodi di corrispondenza globale

3) Ricostruzione 3D da altri sensori

Sensori di profondità a luce-strutturata (MS Kinect v.1)
Sensori di profondità a tempo di volo (MS Kinect v. 2)
Sensori stereo attivi
Laser scanner


4) Ricostruzione non calibrata

Matrice Fondamentale e la sua stima
Ricostruzione prospettica da 2 a N viste
Metodo di Mendonca e Cipolla
Metodo di Tomasi-Kanade
Ricostruzione incrementale
Structure-from-Motion
Bundle adjustment

5) Flusso ottico

Campo dei vettori di moto: calcolo del movimento e struttura
Flusso ottico: metodo di Lucas-Kanade

6) Metodi di registrazione

Quaternioni
Orientazione 2D-2D
Orientazione 3D-3D: metodi DLT, ICP
Orientazione 3D-2D
Integrazione di più superfici
Algoritmi di semplificazione

7) Riconoscimento oggetti e classificazione della scena

Features da immagini e modelli 3D
Strategie di identificazione e classificazione degli oggetti
Algoritmi di machine learning per la classificazione
Classificazione tramite Support Vector Machine
Classificazione tramite Deep Neural Networks
Interfacce uomo-macchina (HCI)

c) Dal modello 3D alle immagini e oltre

1) Display 3D, visori VR e dispositivi per la realtà aumentata

2) Rendering

Rendering: geometria proiettiva e convenzioni
Ray tracing e ray casting
L' equazione della radianza e la sua soluzione

3) Illuminazione

Soluzioni della radianza tramite metodi locali: modelli di
Phong e Cook-Torrance
Tipi di illuminazione
Soluzioni della radianza tramite metodi globali
Ray tracing: metodo di Whitted
Radiosità: l'equazione della radiosità in forma continua e discreta
Ombreggiatura

4) Rasterization

La pipeline OpenGL
Attivita' di apprendimento previste e metodologie di insegnamento: Il corso offre una panoramica delle tecniche di computer vision e grafica al calcolatore utilizzate nelle applicazioni di realtà virtuale e aumentata. Le tematiche principali sono:

• Creazione di un'immagine: modello matematico
* Sensori di profondità e strumenti per l'acquisizione di modelli 3D
• Computational stereopsis: ricostruzione di una scena 3D da 2 o più fotocamere calibrate
• Structure-from-Motion: ricostruzione di una scena 3D da 1 o più fotocamere in movimento
• Ricostruzione da fotocamere non-calibrate
• Registrazione 3D: registrazione di immagini e/o depth map in una nuvola di punti (SLAM)
• Integrazione di dati 3D
* Classificazione della scena e riconoscimento oggetti
* Display 3D e dispositivi per la realtà aumentata
• Metodi di rendering methods: ray casting, ray tracing, radiosity e rasterization

Gli argomenti verranno affrontati durante lezioni frontali con esempi pratici in MATLAB, OpenCV, OpenGL.
L'apprendimento è stimolato da sessioni di laboratorio (MATLAB) e da un progetto finale che permetteranno agli studenti di confrontarsi in situazioni pratiche collegate ai concetti visti durante le lezioni.
Eventuali indicazioni sui materiali di studio: Il corso combina due diverse discipline, la computer vision e la computer graphics, allo scopo di focalizzarsi sulla costruzione di modelli 3D e la loro visualizzazione nell'ambito delle applicazioni di raltà aumentata.

Il materiale di studio è costituito da lucidi e appunti sulle lezioni forniti dal docente prima di ogni lezione.
Gli appunti sono generati da diversi articoli scientifici e testi sui due argomenti tra cui

A. Fusiello, "Visione Computazionale", F. Angeli, Milano, 2013

Klette, Reinhard, Concise Computer Vision. Springer London: --, 2014.

Kenichi Kanatani, Yasuyuki Sugaya, Yasushi Kanazawa, Guide to 3D Vision Computation. --: Springer International Publishing, 2016.

C. M. Bishop, "Pattern recognition and machine learning", Springer, New York, 2006
Testi di riferimento:
  • Fusiello, Andrea, Visione computazionaletecniche di ricostruzione tridimensionale. Milano: Angeli, 2013. Cerca nel catalogo
  • Klette, Reinhard, Concise Computer Vision. Springer London: --, 2014. Cerca nel catalogo
  • Bishop, Christopher M., Pattern recognition and machine learning. New York: Springer, --. Cerca nel catalogo
  • Forsyth, David; Ponce, Jean, Computer VisionA Modern ApproachDavid A. Forsyth, Jean Ponce. Boston: ©Pearson, 2012. Cerca nel catalogo
  • Szeliski, Richard, Computer visionalgorithms and applicationsRichard Szeliski. New York: Springer, 2011. Cerca nel catalogo
  • Kenichi Kanatani, Yasuyuki Sugaya, Yasushi Kanazawa, Guide to 3D Vision Computation. --: Springer International Publishing, 2016. Cerca nel catalogo