Corsi di Laurea Corsi di Laurea Magistrale Corsi di Laurea Magistrale
a Ciclo Unico
Scuola di Ingegneria
ICT FOR INTERNET AND MULTIMEDIA - INGEGNERIA PER LE COMUNICAZIONI MULTIMEDIALI E INTERNET
Insegnamento
3D AUGMENTED REALITY - REALTA' AUMENTATA 3D
INP6075460, A.A. 2017/18

Informazioni valide per gli studenti immatricolati nell'A.A. 2017/18

Principali informazioni sull'insegnamento
Corso di studio Corso di laurea magistrale in
ICT FOR INTERNET AND MULTIMEDIA - INGEGNERIA PER LE COMUNICAZIONI MULTIMEDIALI E INTERNET
IN2371, ordinamento 2017/18, A.A. 2017/18
N0
porta questa
pagina con te
Curriculum TELECOMMUNICATIONS [001PD]
Crediti formativi 6.0
Tipo di valutazione Voto
Denominazione inglese 3D AUGMENTED REALITY
Dipartimento di riferimento Dipartimento di Ingegneria dell'Informazione (DEI)
Obbligo di frequenza No
Lingua di erogazione INGLESE
Sede PADOVA
Corso singolo È possibile iscriversi all'insegnamento come corso singolo
Corso a libera scelta È possibile utilizzare l'insegnamento come corso a libera scelta

Docenti
Responsabile SIMONE MILANI ING-INF/03

Mutuazioni
Codice Insegnamento Responsabile Corso
INP6075460 3D AUGMENTED REALITY - REALTA' AUMENTATA 3D SIMONE MILANI IN0524
INP6075460 3D AUGMENTED REALITY - REALTA' AUMENTATA 3D SIMONE MILANI IN2371
INP6075460 3D AUGMENTED REALITY - REALTA' AUMENTATA 3D SIMONE MILANI IN2371
INP6075460 3D AUGMENTED REALITY - REALTA' AUMENTATA 3D SIMONE MILANI IN2371

Dettaglio crediti formativi
Tipologia Ambito Disciplinare Settore Scientifico-Disciplinare Crediti
CARATTERIZZANTE Ingegneria delle telecomunicazioni ING-INF/03 6.0

Modalità di erogazione
Periodo di erogazione Primo semestre
Anno di corso I Anno
Modalità di erogazione frontale

Organizzazione della didattica
Tipo ore Crediti Ore di
Corso
Ore Studio
Individuale
Turni
LEZIONE 6.0 48 102.0 Nessun turno

Calendario
Inizio attività didattiche 25/09/2017
Fine attività didattiche 19/01/2018

Syllabus
Prerequisiti: Analisi delle immagini e video( attualmente denominato "Computer Vision") è consigliato ma non strettamente necessario.
Conoscenze e abilita' da acquisire: Il corso offre una panoramica delle tecniche di computer vision e computer graphics finalizzate allo sviluppo di applicazioni di reatà virtuale e aumentata.
La struttura del corso può essere divisa in tre parti:
a) descrizione e modellizazione dei sistemi di acquisizione delle immagini;
b) creazione di modelli 3D della realtà tramite immagini bidimensionali e/o mappe di profondità;
c) rendering di oggetti virtuali o reali su immagini bidimensionali standard e dispositivi/visori per la realtà aumentata.
Lo scopo della prima parte è quello di descrivere il modello matematico e le operazioni che definiscono il funzionamento dei sistemi di imaging attuali (cioè, video e foto camere, sensori di profondità ToF come il dispositivo MS Kinect, e molti altri) tramite il linguaggio della computational photography. La seconda parte è focalizzata sulla ricostruzione del modello 3D di una scena statica o dinamica tramite immagini bidimensionali (sistemi stereo passivi e attivi, sistemi multi-camera) e/o mappe di profondità. Verrà trattato anche il problema della caratterizzazione semantica della scena (classificazione della scena e riconoscimento oggetti) tramite algoritmi di machine learning. La parte (c) introdurrà il problema del rendering descrivendo i vari algoritmi e come adattarli allo specifico dispositivo di visualizzazione. In questa parte finale, verrà affrontato il problema dell'interazione fra mondo virtuale e reale (applicazioni di realtà mista, interfaccia uomo-macchina).


Il corso è strutturato in modo da fornire agli studenti una buona conoscenza sia teorica sia pratica delle tecniche e delle problematiche relative alle applicazioni di realtà virtuale, aumentata, mista. Esso fornisce inoltre una profonda comprensione dell'interconnesione fra computer vision e computer graphics.

Gli studenti avranno inoltre l'opportunità di sviluppare e testare tecniche e algoritmi di computer vision, computer graphics, e realtà aumentata in alcune esperienze di laboratorio.

Il corso inoltre fornirà una panoramica dei possibili strumenti forniti dalle librerie OpenCV, PCL e OpenGL.
Modalita' di esame: Prova scritta + report
Criteri di valutazione: Il corso "Realtà aumentata 3D" copre un ampia gamma di argomenti nell'ambito della Computer Vision e della Computer Graphics in modo da fornire una conoscenza diversificata che permetta di seguire l'evoluzione costante di questi settori.

La valutazione finale sarà focalizzata sull'abilità dello studente di ricostruire e visualizzare modelli 3D in applicazioni di realtà virtuale e aumentata.
Gli argomenti di valutazione verranno chiaramente indicati nel materiale fornito e durante la lezione.

Il giudizio finale terrà conto sia dei risultati raggiunti sia dell'impegano e dell'interesse dello studente nella materia trattata.
Contenuti: a) Dalla scena reale all'immagine

1) Creazione dell'immagine e modello della fotocamera
Proiezione prospettica
Modello pin-hole o stenopeico
Equazione delle lenti sottili
Lenti fish-eye
Modello semplificato e generale della camera
Immagini digitali

2) Calcolo dei punti salienti e features

Metodo di Harris e Stephens
Scale Invariant Feature Transform (SIFT)
Calcolo delle corrsipondenze fra punti salienti

3) Camera calibration

Nozioni base sulla calibrazione

4) Calcolo delle omografie

Calcolo dell'omografia (DLT)
Omografie e riconoscimento oggetti
Applicazioni di realtà aumentata 2D


b) Creazione di modelli 3D

1) Sistemi stereo: geometria

Triangolazione 3D
Geometria epipolare
Rettificazione epipolare
Matrice essenziale e la sua fattorizzazione
Moto e struttura da omografia


2) Sistemi stereo: corrispondenze

Metodi di corrispondenza locale
Metodi a finestra
Indicatori di affidabilita’
Occlusioni
Altri metodi locali
Metodi di corrispondenza globale

3) Ricostruzione 3D da altri sensori

Sensori di profondità a luce-strutturata (MS Kinect v.1)
Sensori di profondità a tempo di volo (MS Kinect v. 2)
Sensori stereo attivi
Laser scanner


4) Ricostruzione non calibrata

Matrice Fondamentale e la sua stima
Ricostruzione prospettica da 2 a N viste
Metodo di Mendonca e Cipolla
Metodo di Tomasi-Kanade
Ricostruzione incrementale
Structure-from-Motion
Bundle adjustment

5) Flusso ottico

Campo dei vettori di moto: calcolo del movimento e struttura
Flusso ottico: metodo di Lucas-Kanade

6) Metodi di registrazione

Quaternioni
Orientazione 2D-2D
Orientazione 3D-3D: metodi DLT, ICP
Orientazione 3D-2D
Integrazione di più superfici
Algoritmi di semplificazione

7) Riconoscimento oggetti e classificazione della scena

Features da immagini e modelli 3D
Strategie di identificazione e classificazione degli oggetti
Algoritmi di machine learning per la classificazione
Classificazione tramite Support Vector Machine
Classificazione tramite Deep Neural Networks
Interfacce uomo-macchina (HCI)

c) Dal modello 3D alle immagini e oltre

1) Display 3D, visori VR e dispositivi per la realtà aumentata

2) Rendering

Rendering: geometria proiettiva e convenzioni
Ray tracing e ray casting
L' equazione della radianza e la sua soluzione

3) Illuminazione

Soluzioni della radianza tramite metodi locali: modelli di
Phong e Cook-Torrance
Tipi di illuminazione
Soluzioni della radianza tramite metodi globali
Ray tracing: metodo di Whitted
Radiosità: l'equazione della radiosità in forma continua e discreta
Ombreggiatura

4) Rasterization

La pipeline OpenGL
Attivita' di apprendimento previste e metodologie di insegnamento: Il corso offre una panoramica delle tecniche di computer vision e grafica al calcolatore utilizzate nelle applicazioni di realtà virtuale e aumentata. Le tematiche principali sono:

• Creazione di un'immagine: modello matematico
* Sensori di profondità e strumenti per l'acquisizione di modelli 3D
• Computational stereopsis: ricostruzione di una scena 3D da 2 o più fotocamere calibrate
• Structure-from-Motion: ricostruzione di una scena 3D da 1 o più fotocamere in movimento
• Ricostruzione da fotocamere non-calibrate
• Registrazione 3D: registrazione di immagini e/o depth map in una nuvola di punti (SLAM)
• Integrazione di dati 3D
* Classificazione della scena e riconoscimento oggetti
* Display 3D e dispositivi per la realtà aumentata
• Metodi di rendering methods: ray casting, ray tracing, radiosity e rasterization

Gli argomenti verranno affrontati durante lezioni frontali con esempi pratici in MATLAB, OpenCV, OpenGL.
L'apprendimento è stimolato da sessioni di laboratorio (MATLAB) e da un progetto finale che permetteranno agli studenti di confrontarsi in situazioni pratiche collegate ai concetti visti durante le lezioni.
Eventuali indicazioni sui materiali di studio: Il corso combina due diverse discipline, la computer vision e la computer graphics, allo scopo di focalizzarsi sulla costruzione di modelli 3D e la loro visualizzazione nell'ambito delle applicazioni di raltà aumentata.

Il materiale di studio è costituito da lucidi e appunti sulle lezioni forniti dal docente prima di ogni lezione.
Gli appunti sono generati da diversi articoli scientifici e testi sui due argomenti tra cui

A. Fusiello, "Visione Computazionale", F. Angeli, Milano, 2013

Klette, Reinhard, Concise Computer Vision. Springer London: --, 2014.

Kenichi Kanatani, Yasuyuki Sugaya, Yasushi Kanazawa, Guide to 3D Vision Computation. --: Springer International Publishing, 2016.

C. M. Bishop, "Pattern recognition and machine learning", Springer, New York, 2006
Testi di riferimento:
  • Fusiello, Andrea, Visione computazionaletecniche di ricostruzione tridimensionale. Milano: Angeli, 2013.
  • Klette, Reinhard, Concise Computer Vision. Springer London: --, 2014. Cerca nel catalogo
  • Bishop, Christopher M., Pattern recognition and machine learning. New York: Springer, --. Cerca nel catalogo
  • Forsyth, David; Ponce, Jean, Computer VisionA Modern ApproachDavid A. Forsyth, Jean Ponce. Boston: ©Pearson, 2012.
  • Szeliski, Richard, Computer visionalgorithms and applicationsRichard Szeliski. New York: Springer, 2011.
  • Kenichi Kanatani, Yasuyuki Sugaya, Yasushi Kanazawa, Guide to 3D Vision Computation. --: Springer International Publishing, 2016.