VOXReality (Voice-drive interaction in XR spaces) è un progetto innovativo co-finanziato dalla Commissione Europea che mira a integrare modelli di intelligenza artificiale per creare esperienze di realtà estesa XR multimodali che combinano visione e suono. Il Gruppo Maggioli coordina il consorzio di sviluppo del progetto formato da 10 leader del settore provenienti da 5 paesi europei (Grecia, Germania, Italia, Irlanda e Paesi Bassi) e comprendente di un panel di ricercatori, istituzioni accademiche, utenti, innovatori del settore ed esperti di XR sociale.
Creare nuovi modelli di interazione e di experience, utilizzando ed evolvendo i sistemi di AI, è l’obiettivo principale che anima VOXReality e che il consorzio convaliderà attraverso tre casi d'uso: l'interazione uomo-uomo in contesti unidirezionali (rappresentazioni teatrali), bidirezionali (conferenze virtuali) e l'interazione uomo-macchina (assistente personale per la manutenzione industriale).
Adottando un approccio interdisciplinare nei settori del Natural Language Processing (NLP), Computer Vision (CV) e Human Machine Interaction (HMI), il team di sviluppo di VOXReality creerà modelli linguistici basati sulla visione e sistemi di dialogo sensibili al contesto.
Nel contesto dello sviluppo tecnologico, il contributo di Maggioli si concentra prevalentemente sulla definizione ed adattamento delle tecnologie del progetto per il caso d’uso relativo al "Teatro Aumentato" che comprende: traduzione linguistica, associazione audio-visiva degli utenti e l'aggiunta di effetti virtuali basati sui dialoghi della performance, attivati utilizzando i modelli pre-addestrati di linguaggio e visione del progetto.
La cultura e il teatro stesso, spesso risultano meno accessibili, applicare le tecnologie della Realtà Aumentata a una rappresentazione teatrale è un’opportunità su più fronti. Il debutto di VOXReality presenterà uno stralcio dell'opera teatrale “Ippolito” di Euripide, la lingua dello spettacolo sarà il greco o l'inglese e la traduzione sarà disponibile in 5 delle lingue parlate lingue nell'ambito del progetto (inglese, greco, italiano, olandese, spagnolo).
Le informazioni testuali saranno acquisite dall'Automatic Speech Recognition (ASR) sviluppata dal consorzio, si utilizzerò la Neural Machine Translation (NMT) per le traduzioni automatiche, facendo uso anche di informazioni contestuali come note del regista, riassunto dell'opera, scenografia e descrizione dei personaggi e del tema dell'opera. Inoltre, le informazioni contestuali saranno incluse anche dagli output della componente del linguaggio visivo. I modelli di Vision Language utilizzeranno come input il video dal punto di vista del pubblico e produrrà periodicamente la descrizione della scena in forma testuale.
L’utilizzo del know-how tecnico, dell’innovazione derivante dalla ricerca e l’applicazione concreta in casi di utilizzo comune sono funzionali al raggiungimento degli obiettivi di progetto e a livello valoriale favoriscono inclusione, comprensione, interazione e il superamento di barriere linguistiche, restituendo all’attività di ricerca e sviluppo e al settore tecnologico maggior prestigio e responsabilità.
Un impegno che Maggioli approfondisce in diversi progetti di ricerca mettendo a fattor comune le proprie capabilities e crescendo grazie al confronto reciproco con altri player internazionali.