Blog

Jun 17, 2023

Il deep learning consente il real

Utilizzando l’intelligenza artificiale, gli scienziati possono ora generare rapidamente ologrammi 3D a colori fotorealistici anche su uno smartphone. E secondo un nuovo studio, questa nuova tecnologia potrebbe trovare impiego nel virtuale

Utilizzando l’intelligenza artificiale, gli scienziati possono ora generare rapidamente ologrammi 3D a colori fotorealistici anche su uno smartphone. E secondo un nuovo studio, questa nuova tecnologia potrebbe trovare utilizzo nei visori per realtà virtuale (VR) e realtà aumentata (AR) e altre applicazioni.

Un ologramma è un'immagine che assomiglia essenzialmente a una finestra 2D che si affaccia su una scena 3D. I pixel di ciascun ologramma diffondono le onde luminose che cadono su di essi, facendo interagire queste onde tra loro in modi che generano un'illusione di profondità.

I display video olografici creano immagini 3D che le persone possono vedere senza affaticare gli occhi, a differenza dei display 3D convenzionali che producono l'illusione della profondità utilizzando immagini 2D. Tuttavia, sebbene aziende come Samsung abbiano recentemente fatto passi da gigante verso lo sviluppo di hardware in grado di visualizzare video olografici, rimane una sfida importante generare effettivamente i dati olografici da visualizzare su tali dispositivi.

Ogni ologramma codifica una straordinaria quantità di dati per creare l'illusione della profondità in tutta l'immagine. Pertanto, la generazione di video olografici ha spesso richiesto la potenza di calcolo di un supercomputer.

Per portare il video olografico alle masse, gli scienziati hanno provato una serie di strategie diverse per ridurre la quantità di calcoli necessari, ad esempio sostituendo complesse simulazioni fisiche con semplici tabelle di ricerca. Tuttavia, questi spesso vanno a scapito della qualità dell’immagine.

Ora i ricercatori del MIT hanno sviluppato un nuovo modo per produrre ologrammi quasi istantaneamente: un metodo basato sull’apprendimento profondo così efficiente da poter generare ologrammi su un laptop in un batter d’occhio. Questa settimana hanno dettagliato i loro risultati, finanziati in parte da Sony, online sulla rivista Nature.

"Tutto ha funzionato magicamente, il che ha davvero superato tutte le nostre aspettative", afferma l'autore principale dello studio Liang Shi, uno scienziato informatico del MIT.

Usare simulazioni fisiche per l'olografia generata dal computer implica calcolare l'aspetto di molti pezzi di un ologramma e poi combinarli per ottenere l'ologramma finale, osserva Shi. Usare le tabelle di ricerca è come memorizzare una serie di pezzi di ologramma usati di frequente, ma questo sacrifica la precisione e richiede comunque la fase di combinazione, dice.

In un certo senso, l’olografia generata dal computer è un po’ come capire come tagliare una torta, dice Shi. Usare simulazioni fisiche per calcolare l'aspetto di ciascun punto nello spazio è un processo dispendioso in termini di tempo, che assomiglia all'utilizzo di otto tagli precisi per produrre otto fette di torta. Usare le tabelle di ricerca per l'olografia generata dal computer è come segnare il confine di ogni fetta prima del taglio. Anche se questo fa risparmiare un po' di tempo eliminando la fase di calcolo del punto in cui tagliare, l'esecuzione di tutti gli otto tagli richiede comunque molto tempo.

Al contrario, la nuova tecnica utilizza il deep learning per capire essenzialmente come tagliare una torta in otto fette utilizzando solo tre tagli, dice Shi. La rete neurale convoluzionale, un sistema che imita approssimativamente il modo in cui il cervello umano elabora i dati visivi, apprende scorciatoie per generare un ologramma completo senza dover calcolare separatamente come appare ogni sua parte, "il che ridurrà le operazioni totali di ordini di grandezza", ha spiegato. dice.

Una visualizzazione del calcolo dell'ologramma 3D. (Sinistra) Un modello 3D. (Al centro) Un'immagine a colori che include dati di profondità. (A destra) Una simulazione dei modelli di luce diffusa che generano un ologramma 3-D. Immagine: MIT

I ricercatori hanno innanzitutto creato un database personalizzato di 4.000 immagini generate al computer, ciascuna delle quali includeva informazioni sul colore e sulla profondità per ciascun pixel. Questo database includeva anche un ologramma 3D corrispondente a ciascuna immagine.

Utilizzando questi dati, la rete neurale convoluzionale ha imparato come calcolare il modo migliore per generare ologrammi dalle immagini. Potrebbe quindi produrre nuovi ologrammi da immagini con informazioni sulla profondità, che vengono fornite con le tipiche immagini generate al computer e possono essere calcolate da una configurazione multi-camera o da sensori Lidar, entrambi standard su alcuni nuovi iPhone.