Dal pixel al voxel: come Occupancy Networks e AI stanno cambiando il rilievo fotogrammetrico

Negli ultimi anni il rilievo fotogrammetrico ha compiuto un'evoluzione rapidissima. Dopo l'affermazione di tecniche come Structure from Motion (SfM), NeRF e Gaussian Splatting, una nuova generazione di algoritmi basati sulle reti neurali profonde propone un diverso modo di ricostruire la realtà: non più partendo esclusivamente dai pixel delle immagini e dalla geometria di presa, ma dalla rappresentazione tridimensionale dello spazio mediante voxel e Occupancy Networks (ONet). L'articolo analizza questo cambio di paradigma, illustrandone i principi di funzionamento, i vantaggi rispetto ai metodi tradizionali e le possibili applicazioni nel rilievo, nella digitalizzazione del costruito e nella Computer Vision.

Dalla fotogrammetria tradizionale alle Occupancy Networks: il passaggio dal pixel al voxel

Le reti neurali profonde e l'intelligenza artificiale stanno cambiando radicalmente il modo di generare modelli 3D, mettendo in discussione il tradizionale approccio basato sul pixel e sulla fotogrammetria. Per oltre due decenni il riferimento è stato Structure from Motion (SfM), sviluppato anche grazie ai contributi di Changchang Wu, da cui derivano i più diffusi software per la generazione di nuvole di punti, come Agisoft Metashape. Questo approccio, fondato sul riconoscimento automatico delle feature e dei tie points, ha rappresentato un punto di svolta nella fotogrammetria digitale, pur mostrando in alcuni casi limiti nella corretta ricostruzione e nell'orientamento delle immagini. Spesso infatti, per fuga in avanti dei calcoli di feature recognition o anche Tie Points, si ottenevano nel mezzo di una scena bundle di immagini, le classiche immagini palesemente fuori posto, quasi sempre ruotate di 90° rispetto alla tessitura delle riprese fotografiche.

Di fatto, la crescente potenza di calcolo e l'intelligenza artificiale stanno spingendo il settore verso un cambio di paradigma, superando progressivamente l'approccio tradizionale della fotogrammetria.

"Buttate alle ceneri" la determinazione dei centri di presa delle camere fotogrammetriche, il pixel è superato dall'arcinoto modello a VOXEL della realtà, procedendo in una convergenza tra collocazione spaziale degli oggetti della scena, e aiutandosi con l'approccio NerF ed altro ancora, per la fase cromatica delle superfici.

In poche parole, "abbiamo perso ogni riferimento" usuale a ciò che potevamo pensare sugli assiomi delle classica geometria della visione stereoscopica, che da sempre si poteva impiegare nel mondo della Computer Vision e, soprattutto, nell'approccio geospaziale al 3D di ogni ordine e grado.

Cosa sono i Tie Points
I Tie Points (punti chiave) sono punti omologhi individuati automaticamente su due o più immagini della stessa scena. Derivati dal riconoscimento dei feature points, costituiscono i riferimenti utilizzati dagli algoritmi fotogrammetrici per determinare le relazioni geometriche tra le immagini e ricostruire la geometria tridimensionale della scena.

Nuovi approcci alla ricostruzione e modellazione 3D

Negli ultimi anni, parallelamente all'evoluzione delle tecnologie di imaging, si è assistito alla rapida diffusione di nuovi approcci alla ricostruzione e alla modellazione 3D. Questa accelerazione tecnologica sta ridefinendo metodi e paradigmi consolidati, mettendo in discussione principi e workflow che hanno caratterizzato il settore negli ultimi cinquant'anni.

Un breve elenco non esaustivo delle innovazioni comprende questi semplici riferimenti:

• SfM
• NerF
• Gaussian Splatting

PER APPROFONDIRE
L'innovazione digitale permanente nell’AEC: tra 3D, Cloud e Intelligenza Artificiale
Questa nota editoriale esplora l'innovazione digitale nell'AEC, evidenziando come la metodologia NeRF sta rivoluzionando il mondo della fotogrammetria e del rendering 3D per esperienze sempre più realistiche e immersive.

Occupancy Networks (ONet): la ricostruzione 3D basata su reti neurali profonde e AI

In questo scenario si inserisce un'ulteriore evoluzione, resa possibile dall'integrazione tra intelligenza artificiale e reti neurali profonde: le Occupancy Networks (ONet). Questo approccio introduce un diverso modo di rappresentare lo spazio tridimensionale e costituisce uno dei più recenti sviluppi nel campo della ricostruzione 3D basata sull'apprendimento automatico. Nel seguito dell'articolo ne verranno illustrati sinteticamente i principi di funzionamento.

SfM, MVS, ONet a confronto

A differenza dei metodi tradizionali, come la fotogrammetria basata su Structure from Motion (SfM) o il Multi-View Stereo (MVS), che generano rappresentazioni discrete della scena (mesh o nuvole di punti), le Occupancy Networks (ONet) modellano lo spazio tridimensionale attraverso una funzione continua. Questo approccio consente di ottenere ricostruzioni più dettagliate, scalabili e meno vincolate alla risoluzione della rappresentazione geometrica.

Con l'affermazione delle reti neurali profonde, gli approcci alla ricostruzione 3D basati sull'apprendimento automatico (Machine Learning e Deep Learning) hanno conosciuto una rapida evoluzione. A differenza delle immagini bidimensionali, tuttavia, nel mondo del 3D non esiste ancora una rappresentazione che coniughi elevata precisione geometrica, efficienza computazionale e contenuto impiego di memoria.

L'elevato volume dei dati 3D resta una delle principali sfide computazionali

Sebbene le moderne GPU abbiano ampliato significativamente le capacità di elaborazione, la gestione di geometrie complesse e ad alta risoluzione, caratterizzate da topologie arbitrarie, continua a rappresentare una sfida rilevante. Per questo motivo, molti approcci basati su Machine Learning (ML) e Deep Learning (DL) operano ancora su rappresentazioni geometriche semplificate o a bassa risoluzione e risultano spesso limitati a specifici domini applicativi.

È in questo contesto che, alla conferenza internazionale CVPR (Conference on Computer Vision and Pattern Recognition) del 2019, viene presentato un nuovo approccio alla ricostruzione 3D basato sull'apprendimento automatico: le Occupancy Networks (ONet). L'idea alla base di questa tecnologia è rappresentare implicitamente la superficie tridimensionale come il confine decisionale continuo appreso da una rete neurale profonda, superando le tradizionali rappresentazioni discrete basate su mesh, nuvole di punti o griglie voxel.

Rispetto agli approcci convenzionali, ONet consente di descrivere la geometria tridimensionale attraverso una funzione continua, ottenendo una rappresentazione virtualmente indipendente dalla risoluzione e con un impiego della memoria significativamente più efficiente. Gli studi sperimentali hanno inoltre dimostrato la capacità del modello di ricostruire in modo accurato la struttura tridimensionale a partire da diverse tipologie di dati di input.

I risultati, sia qualitativi sia quantitativi, si sono dimostrati competitivi in numerosi scenari, tra cui la ricostruzione 3D da singole immagini, nuvole di punti affette da rumore e griglie voxel a bassa risoluzione. Per queste caratteristiche, le Occupancy Networks sono oggi considerate una delle tecnologie più promettenti per l'evoluzione delle applicazioni tridimensionali basate su Machine Learning (ML) e Deep Learning (DL).

L’antefatto storico dell’approccio ONet: il caso Tesla

L’Occupancy Network (ONet) rappresenta un nuovo approccio ai metodi di ricostruzione 3D basati su ML/DL. Questo concetto è stato proposto per la prima volta nell'articolo "Occupancy Networks: Learning 3D Reconstruction in Function Space", accettato dal CVPR 2019.

L'idea centrale dell’approccio ONet è quella di ottenere una semplice rappresentazione spaziale 3D, procedendo nell’analisi della “probabile occupazione” dello slot 3D, ovvero nel suo omologo voxel. Il metodo si basa sul rilevamento di oggetti 3D tradizionale, impiegando però il voxel come metodo di conteggio, e cercando di prevede se ogni voxel è libero o occupato.

Con questo metodo, ONet può operare a velocità superiori ai 100 FPS , e diventa pertanto estremamente efficiente nell’uso della memoria, oltre a poter lavorare tanto con immagini statiche, quanto con immagini dinamiche.

Il caso Tesla: le prime applicazioni delle Occupancy Networks nella percezione 3D

I primi test operativi con l’impiego dell’approccio ONet, furono condotti da Tesla già al CVPR 2022, oltre che al Tesla AI Day, dimostrandone l'applicazione nei sistemi di percezione. La struttura del modello ONet di Tesla include l'estrazione di caratteristiche da immagini da più prospettive, la successiva previsione dell'occupazione tramite moduli di attenzione e trasformatori, e infine la generazione di volume e flusso di occupazione dello spazio 3D.

Un ulteriore avanzamento è inoltre dovuto all’uso dell’approccio NeRF nel processo. Ottenendo con ciò una ulteriore possibilità di verifica, comprendendo quindi se la scena 3D prevista corrisponde alla scena reale. Questo metodo aiuta a risolvere problemi ambientali complessi come occlusioni, sfocature delle immagini, pioggia e nebbia.

Nell’ambito Tesla, l’approccio ONet è chiaramente impiegato per le applicazioni in guida autonoma assistita, poiché è ovviamente chiaro che in assenza di luce (nigth time), o in condizioni difficili come nebbia, etc., un sistema basato sulla solo “vision” non può essere sufficiente a gestire la sicurezza, e quindi “la guida autonoma” deve essere “assistita”^[1].

[1] In Europa le licenze per questo tipo di tecnologia a bordo dei veicoli autonomi non sono state ancora rilasciate perché presentano elevate criticità. Al contrario l’uso dei sistemi basati sul LIDAR, come hanno scelto la maggior parte dei produttori di veicoli a guida autonoma, non porrebbero nessun problema. Vogliamo qui ricordare, che proprio nella sperimentazione di processi di imaging applicati alla guida autonoma, fu proprio a Tesla che nel 2016 accadde il primo incredibile incidente durante i test di guida, con la tragica morte del tester Joshua Brown

Dal rilievo alla digitalizzazione del costruito: le prospettive delle Occupancy Networks

É indubbio in ogni caso, che l’approccio ONet offre una nuova e innovativa prospettiva in molteplici ambiti, e non solo in quello delle “percezioni nella guida autonoma”. Pensiamo soprattutto al mondo del rilievo, meglio, della “digitalizzazione” in ambito ambientale e del mondo costruito, delle infrastrutture e di tutto il settore dell’industria.

Settori dove il 3D è diventato, o sta diventando il 3D per Tutti, ovvero, sta vivendo nel pieno dell’inversione di paradigma in cui il 2D di flatlandia è un semplice ricordo di infanzia dell’homo erecticus, mentre “il 3D non è più un punto di arrivo… ma un punto di partenza”.

In conclusione, le Occupancy Networks rappresentano l'ennesimo cambio di paradigma che accompagna l'evoluzione delle tecnologie per il rilievo e la rappresentazione tridimensionale della realtà. Come accade a ogni svolta tecnologica, strumenti, metodi e competenze consolidate sono chiamati a evolversi. Resta però una riflessione più ampia: il progresso procede con una velocità tale da relegare sempre più spesso l'uomo al ruolo di osservatore di un cambiamento che egli stesso ha contribuito a generare, quasi a contemplarlo dalla celebre "torre" evocata dal filosofo Günther Anders.

Un sentito ringraziamento al prof. L. Barazzeti del Politecnico di Milano per aver ispirato questo articolo.

FAQ tecniche - Occupancy Networks, voxel e nuove tecnologie per il rilievo fotogrammetrico

Che cosa sono le Occupancy Networks (ONet)?

Le Occupancy Networks (ONet) sono modelli di intelligenza artificiale basati su reti neurali profonde che ricostruiscono la geometria tridimensionale di un oggetto o di una scena attraverso una funzione continua. A differenza della fotogrammetria tradizionale, non si limitano a generare mesh o nuvole di punti, ma descrivono direttamente l'occupazione dello spazio, ottenendo modelli più dettagliati ed efficienti.

Che differenza c'è tra pixel e voxel?

Il pixel è l'elemento minimo di un'immagine bidimensionale e contiene informazioni di colore e luminosità. Il voxel (volumetric pixel) è invece l'equivalente tridimensionale del pixel e rappresenta un piccolo volume nello spazio. Nelle moderne tecniche di ricostruzione 3D, il voxel permette di descrivere direttamente la distribuzione spaziale degli oggetti, superando i limiti delle sole immagini 2D.

Che cos'è Structure from Motion (SfM)?

Structure from Motion (SfM) è una tecnica fotogrammetrica che ricostruisce la geometria tridimensionale di una scena utilizzando immagini acquisite da punti di vista differenti. Attraverso il riconoscimento di punti comuni tra le fotografie, l'algoritmo stima automaticamente la posizione delle camere e genera una nuvola di punti 3D, base per la successiva ricostruzione del modello.

Che cos'è NeRF e perché viene considerato una rivoluzione nella ricostruzione 3D?

NeRF (Neural Radiance Fields) è una tecnica basata su reti neurali profonde che ricostruisce una scena tridimensionale apprendendone contemporaneamente geometria, colore e illuminazione a partire da immagini acquisite da punti di vista differenti. Rispetto alla fotogrammetria tradizionale, consente di ottenere rappresentazioni molto realistiche ed è oggi uno degli approcci più innovativi nella Computer Vision e nella digitalizzazione del costruito.

Che cos'è il Gaussian Splatting?

Il Gaussian Splatting è una tecnica di rappresentazione tridimensionale che utilizza primitive gaussiane anziché mesh o voxel per descrivere la scena. Grazie alla sua elevata velocità di elaborazione e rendering, è diventato uno degli approcci più promettenti per la visualizzazione di modelli 3D complessi e fotorealistici.

Perché le Occupancy Networks rappresentano un cambio di paradigma per il rilievo fotogrammetrico?

Le Occupancy Networks introducono un approccio diverso rispetto ai metodi tradizionali. Invece di ricostruire la scena esclusivamente attraverso mesh o nuvole di punti, modellano direttamente lo spazio tridimensionale mediante una funzione continua appresa da reti neurali profonde. Questo consente di ottenere ricostruzioni più robuste anche in presenza di dati incompleti o rumorosi, aprendo nuove prospettive per il rilievo, la digitalizzazione del costruito e la Computer Vision.