Articoli

a cura di Antony Vitillo

Quando si parla di realtà immersive, si sente spesso parlare di Realtà Virtuale e di Realtà Aumentata. Se siete su questo sito, molto probabilmente conoscete già il significato di entrambi i termini: la realtà virtuale è in grado di teletrasportarvi in un mondo cibernetico completamente scollegato da quello reale in cui siete (è la tecnologia dei videogiochi, come Fallout 4 VR), mentre la realtà aumentata mostra degli elementi virtuali sovrimposti al mondo reale (avete presente Pokémon Go?). Ma che cosa è invece la Mixed Reality, che in Italia viene spesso localizzata quale Realtà Mista?

C’è molta confusione sia sulla definizione da dare a questi termini che sulle applicazioni che ne derivano. Troviamo interpretazioni diverse. Proviamo a soffermarci sulle tre che riteniamo essere le più diffuse nel momento in cui scriviamo.

La prima, oltretutto quella che personalmente preferisco, indica che la Mixed Reality è qualunque tecnologia che unisce elementi reali con elementi virtuali. Questa classificazione segue il famoso “Reality-Virtuality continuum”  teorizzato in contemporanea da Milgram e Kishino, che mostra come ci sia uno spettro di tecnologie che va dalla pura realtà reale alla pura realtà virtuale.

Virtuality_Continuum AR VR

Schema semplificato del Reality – Virtuality Continuum, Milgram e Kishino nel 1994 (credits Wikipedia)

Secondo questa classificazione, tutto ciò che è un po’ più virtuale della realtà reale o un po’ più reale della realtà virtuale, può essere definito Mixed Reality (o realtà mista). In altri termini, è sufficiente contaminare un po’ la realtà reale o la realtà virtuale per ottenere una realtà mista: così come lo stesso nome “realtà mista” indica, la MR (come spesso viene abbreviata) è un misto tra il reale ed il virtuale. Nulla da eccepire.

Alcuni esempi possono sicuramente aiutare a comprendere meglio sia la definizione di Mixed Reality che i significati che riesce ad assumere in più circostanze. Sul continuum di Milgram e Kishino incontriamo infatti le seguenti realtà:

  • La realtà aumentata: mostra elementi virtuali sovrapposti al mondo reale, dei layer digitali in grado di aggiungere informazioni contestuali. Il caso di Pokemon Go rappresenta finora la sua più celebre applicazioni per il mercato consumer.
  • La virtualità aumentata: nel momento in cui si mostrano degli elementi reali al di sopra di un mondo puramente virtuale (il duale di quanto accade nella realtà aumentata), si ottiene la virtualità aumentata. E’ il caso delle proprie mani (quelle vere, non le mani di un avatar digitale) all’interno di un universo virtuale, in grado di interagire con lo stesso;
  • I video in mixed reality: il modo più efficace per mostrare il contenuto di un’applicazione in realtà virtuale è quello di realizzare un video in cui si vede l’utente immerso in una applicazione virtuale. L’immagine dell’utente è catturata dal flusso video (reale) di una telecamera, mentre il mondo virtuale è quello renderizzato dal computer. C’è una compresenza di realtà reale e realtà virtuale. Il lettore più attento avrà notato che stiamo parlando di un caso di virtualità aumentata;
  • La realtà modificata: viene mostrato all’utente il mondo intorno a sé, opportunamente modificato rispetto a quello che appare nella realtà. Tali modifiche possono essere di varia natura:
    • Puntuali: vengono rimossi alcuni oggetti dalla scena (ad es. viene cancellato un tavolo che è in mezzo alla stanza), ne vengono aggiunti altri (ad es. viene aggiunta una guida virtuale), vengono cambiate le caratteristiche di altri ancora (ad es. una ragazza viene mostrata bionda anche se ha in realtà i capelli neri);
    • Globali: viene mostrata la realtà, ma in un modo completamente diverso da come essa si presenta normalmente. Ad esempio nell’applicazione da discoteca Beat Reality viene mostrata la realtà circostante come un insieme di bordi pulsanti a ritmo di musica: questo vuol dire che si può ancora vedere la realtà che abbiamo intorno, ma il modo in cui sarà vista sarà diverso dalla tipica visione umana.

Questi semplici esempi sono sufficienti a farci intuire come le potenzialità della mixed reality siano smisurate e soprattutto applicabili in tantissimi ambiti. Grazie alla sua capacità di modificare in maniera creativa la realtà, la mixed reality è molto apprezzata in campo artistico, ma non viene disdegnata da quello educativo, nel training industriale, nel medicale, piuttosto che in moltissime applicazioni nel media & entertainment. Per questa ragione, tutti i brand che producono visori e dispositivi, a partire da Oculus, HTC e Google, stanno investendo cifre immense in questa tecnologia. E’ un dato di fatto che tutti i visori standalone attualmente o prossimamente in commercio offriranno funzionalità di mixed reality.

Oltre al Virtuality Continuum di Milgram e Kishino esistono poi altre definizioni di Realtà Mista. Una seconda definizione di mixed reality è in verità molto vicina a quella, più canonica, di realtà aumentata, di cui sarebbe un caso particolare. Una seconda definizione vorrebbe infatti la mixed reality come una realtà aumentata in cui ci sono interazioni tra gli elementi virtuali e l’ambiente circostante. Secondo questo punto di vista, la realtà aumentata mostra delle informazioni o degli oggetti sopra il mondo reale, senza che si relazionino direttamente con il mondo reale. Ciò accadrebbe piuttosto nella realtà mista. Una dimostrazione pratica di questo concetto è data dalle tecnologie di Magic Leap.

La demo di Magic Leap concettualizza in modo efficace questa definizione alternativa di mixed reality: immaginate di avere un occhiale di realtà aumentata e di vedere quindi una palla da basket virtuale poggiata su un tavolo. Se, toccando questa palla, essa non si muove, oppure si muove semplicemente su un piano orizzontale (ovvero non è in grado di capire quanto accade nell’ambiente circostante), allora tale palla è visualizzata in realtà aumentata. Esiste un’altra possibilità, quando la stessa palla, una volta colpita, arriva sul bordo del tavolo e cade sul pavimento, iniziando a rimbalzare su tutto ciò che incontra lungo il suo tragitto. In questo caso, stiamo parlando di realtà mista, in quanto la palla virtuale sta interagendo con l’ambiente reale, lo percepisce ed è in grado di adattare il proprio comportamento in funzione di esso.

Secondo questa definizione, insomma, la realtà mista altro non sarebbe che una realtà aumentata interattiva.

Una terza definizione è quella che viene usata da Microsoft, che vende i suoi visori di realtà virtuale come “Windows Mixed Reality headsets”. Il motivo per cui venga utilizzata la nomenclatura di realtà mista è persino fuorviante, in quanto tali visori sono di pura realtà virtuale. Oltre a questi puramente legate ad aspetti quali il branding ed il marketing, la piattaforma di realtà immersiva di Microsoft, basata su Windows 10, vedrà probabilmente implementate anche le applicazioni di realtà aumentata, ed in quel caso ritroveremmo quella coerenza con le definizioni di realtà che ad oggi sembra mancare nell’ecosistema sviluppato dal colosso di Redmond. Se si tratti di un anticipo sui tempi o di un nome coniato per differenziare la propria offerta dalla più generica espressione di realtà virtuale, lo scopriremo insomma vivendo.

vrdeveloper-Mixed-Reality-Headsets-VR KITS

I visori Windows Mixed Reality possono contare su una flotta particolarmente nutrita, con produttori del calibro di Samsung, Hp, Lenovo, Dell e Acer (credits Microsoft)

Lo ribadiamo, nel momento in cui scriviamo, in quanto offerto da Microsoft con Windows Mixed Reality non ha nulla a che vedere con le definizioni teoriche della realtà mista. Non vi fate dunque fuorviare: i visori in commercio con il marchio Mixed Reality sono dei semplici visori di realtà virtuale. Differente il discorso per quanto concerne Microsoft Hololens, in grado di integrare nella visione elementi reali e virtuali.

Come vedete, c’è molta confusione sul termine “mixed reality” e gli stessi esperti di settore dibattono ancora sul suo significato e spesso ci si divide tra le persone che gli attribuiscono il significato numero uno (virtuality continuum) e quelle che gli attribuiscono il numero due (realtà aumentata interattiva). Riguardo al numero tre (Windows Mixed Reality), vi è un generico consenso sul fatto che Microsoft abbia usato un nome fuorviante, almeno per il momento.

Speriamo di non avervi confuso ulteriormente le idee, quanto piuttosto di aver offerto quegli spunti utili a fare un po’ di chiarezza, in modo che possiate interfacciarvi meglio con il magico mondo della mixed reality.

di Enea Le Fons (XR architect, WHITELABEL Foundation)

Nel corso della ricerca di assiomi per lavorare con lo spazio fisicamente percepibile, siamo arrivati a formalizzare la sua divisione in tre dimensioni: Altezza, Lunghezza, Profondita’. Nonostante ciò, per millenni architetti, ingegneri, matematici, artisti, medici, ricercatori hanno dovuto astrarre almeno una di queste dimensioni per via dei limiti intrinseci dei supporti bidimensionali su cui venivano rappresentate.

Nel 2018 le cose non sono cambiate più di tanto. Anche i professionisti che piu’ si avvalgono della terza dimensione (dai 3D artists agli ingegneri) si ritrovano a progettare e pubblicare le loro visioni attraverso schermi, interfacce e supporti essenzialmente bidimensionali. Tuttavia, oggi si prospettano diverse novità: grazie al convergere di potere computazionale, momentum tecnologico, expertise ed investimenti multimiliardari, la Realtà Virtuale e’ diventata una tecnologia accessibile ed utile, si e’ spinta oltre il mero intrattenimento, diventando parte integrante del flusso di lavoro giornaliero dei professionisti: dalla progettazione alla comunicazione per il cliente finale.

La Realta’ Virtuale, Aumentata (o XR, Realtà Estesa) rappresenta non solo un naturale ricongiungimento con i nostri sensi, ma un’imperdibile opportunita’ di estendere le capacita’ computazionali, cognitive e comunicative dell’essere umano permettendo di esperire la forma, il dato e lo spazio in modo immersivo e naturale.

Sfruttando la terza dimensione, che fa parte della naturale esperienza umana, e’ possibile comunicare in modo decisamente più funzionale rispetto ai tradizionali schermi 2D: in XR la dimensione di un oggetto, le proprieta’ dei materiali, il modo in cui la luce interagisce nello spazio diventano spontaneamente evidenti e comprensibili da chiunque. Oltre ad oggetti e spazi, anche la visualizzazione di dati ed informazioni (dal codice all’analisi dei big data) giovano della possibilita’ di comunicare e organizzare le informazioni per offrirne una fruizione immersiva, molto più coinvolgente ed intuitiva rispetto ai grafici e ai diagrammi bidimensionali che da sempre rappresentano lo standard di riferimento in questo settore.

Big Data Visualization VR AR XR

Dopo aver raggiunto l’obiettivo del fotorealismo, la computer grafica vola verso nuove sfide creative e tecnologiche. La ricerca di un nuovo paradigma per la visualizzazione dei dati in 3D e in VR consentirebbe un livello di fruizione capace di agevolare moltissimo il lavoro degli analisti e dei decisori (credits Virtualitics)

Anche se ancora agli albori, anche la comunicazione mediante avatar in ambienti virtuali condivisi costuisce un’esperienza dalle enormi potenzialità comunicative. Al momento della stesura di questa prefazione ci troviamo dinnanzi ad una tecnologia solida e ben stabilita, pronta a decollare ma molto lontana dall’integrazione multitasking che possiamo vedere nelle interfacce e nei sistemi operativi 2D che usiamo giornalmente. Ci troviamo nella fase pionieristica, in cui le applicazioni 2D che usiamo giornalmente sono sostanzialmente da re-inventare per il mondo XR. Ciò offre estrema libertà ed incredibili opportunità creative. E’ il momento di saper guardare oltre, ed iniziare a pensare “native XR”, per prototipare interfacce ed applicazioni impossibili da realizzare, o anche solo da concepire in 2D.

Se lo scenario ci offre grandissime potenzialità, sfruttarle non e’ mai stato cosi’ semplice: il miglior punto d’ingresso in questa tecnologia è rappresentato da 3D DCC MiddleWare Suites come Unreal Engine o Unity3D. Attraverso questi strumenti, nati per semplificare il passaggio da idea a compilato distribuibile e convergere il flusso di lavoro di sviluppatore ed artista, e’ possibile compiere in poche ore il salto da consumatore a produttore di Realta’ Virtuali Interattive. Non l’ho mai nascosto. Sono particolarmente amante dei software middleware in quanto permettono da subito di impostare l’intero flusso di lavoro in modo multidisciplinare, dando al creatore al possibilita’ di lavorare contemporaneamente su ogni parte dell’esperienza: dal 3D all’interazione/codice, al profiling (interazione tra software ed hardware) al deployment (rilasciare un applicativo per una piattaforma).

unreal engine VR

L’esperienza in VR non è un processo che riguarda soltanto l’utente finale. La fase di progettazione si avvale già di strumenti che consentono al designer un aproccio “Built in VR for VR” ed avere un feedback immediato e realistico dello spazio virtuale (credits Unreal Engine – Epic Games)

Contrariamente a quanto mediamente avviene per le applicazioni desktop, sul web troviamo un approccio piu’ aperto ed open-source, rappresentato dallo standard WebVR, in continuum con lo standard HTML+Javascript e declinato alla creazione di esperienze Web in chiave 3D / Realta’ Virtuale / Aumentata.

Per completare lo stack di skill necessarie ad un buon VR Developer non possiamo trascurare una buona comprensione del C++ o di un altro linguaggio di programmazione, della trigonometria e buone abilità su più software di creazione 3D. In ogni caso, consiglio di lanciarsi in questo mondo armati di flessibilita’ (le tecnologie e gli standard sono in continua evoluzione) e visione d’insieme (approccio multidisciplinare). Se si acquisce un mindset di questo genere, adattarsi all’evoluzione degli strumenti non sarà di certo un problema.

Stiamo creando un nuovo modo di creare, sperimentare e comunicare, legato in maniera profonda alla nostra percezione. Abbiamo bisogno piu’ che mai di professionisti multidisciplinari, che ricalchino i valori dell’Homo Universalis e ci consentano di vivere un futuro migliore grazie alla tecnologia.

30 days in VR

Applicazione di Yoga Training in augmented virtuality, sviluppata nel corso di 30 days in VR (credits WHITELABEL Foundation)