Roll vuole ricreare le carrellate e altro ancora utilizzando l'intelligenza artificiale generativa

Coloro che hanno familiarità con Faizan Buzdar, che fino a poco tempo fa era vicepresidente della gestione dei prodotti presso Box, probabilmente associano l'imprenditore a Convo, la piattaforma di spazio di lavoro digitale popolare tra le redazioni (inclusa questa). Ma Buzdar, il cui background è in ingegneria elettronica, è da tempo affascinato dai video e dagli effetti visivi.

"Appassionato di video e fotografia da sempre, ho realizzato video per conto mio per anni, ma ho notato che negli ultimi decenni la produzione video è rimasta in gran parte manuale con poche innovazioni, soprattutto per attività che richiedono molto tempo come l'editing video," mi ha detto Buzdar via email . "Nel frattempo, ho notato che la tecnologia della fotocamera e dei sensori dell'iPhone ha apportato miglioramenti graduali alle funzioni negli ultimi anni, diventando quasi equivalenti in termini di qualità dell'immagine alle DSLR."

Quindi, mentre era a Box, Buzdar afferma di aver deciso di provare a combinare il video, un mezzo sempre più popolare, con innovazioni nell'intelligenza artificiale e nell'apprendimento automatico per tentare di migliorare l'esperienza di acquisizione e modifica dei video. Buzdar ha contattato Adeel Abbas, un ingegnere video che mentre era su Twitter ha contribuito all'infrastruttura che alimenta le funzionalità di live streaming del sito, insieme a Saj Khan, Fahad Yaqub e la collega dirigente di Box Michelle Oh per esplorare le frontiere della produzione video accelerata dalla tecnologia.

Il risultato è il rollio. Una nuova app per iOS, offre bokeh, scatti multicam, grafica in movimento e, forse la cosa più intrigante per me, slider, dolly e jib "simulati con intelligenza artificiale".

Crediti immagine:Rotolo

"La nostra missione è rivoluzionare il mondo della produzione video di alta qualità e diventare il nuovo standard per la creazione di contenuti video", ha continuato Buzdar. "Creare ottimi video richiede un enorme investimento iniziale in attrezzature, attrezzature, imparare a usare quelle attrezzature e software per l'editing: ci stiamo sbarazzando di tutto questo."

Roll, che si rivolge al mercato "prosumer" (si pensi agli influencer e ai podcaster, ma anche alle aziende che creano il proprio materiale di marketing), è composto da due prodotti: l'app Roll per iPhone e l'app web. L'app per iPhone acquisisce e registra video, quindi li carica automaticamente sul cloud di Roll per l'archiviazione e l'elaborazione. L'app Web, nel frattempo, è il luogo in cui è possibile visualizzare in anteprima, accedere, condividere, scaricare e modificare i filmati da uno o un team di creatori di contenuti.

Naturalmente, le app video sono una dozzina. Quindi cosa rende Roll diverso? Innanzitutto, l'app è mirata a casi d'uso che la maggior parte delle app per fotocamere non sono, afferma Buzdar, come interviste video remote, podcast video e testimonianze dei clienti. Anche se Zoom, Microsoft Teams e Google Meet soddisfano in una certa misura questa esigenza, Buzdar sostiene che non sono progettati per la produzione video di "alta qualità".

Roll utilizza anche una serie di effetti in tempo reale per offrire (apparentemente) una gamma più ampia di scelte di post-produzione rispetto alla maggior parte delle app di acquisizione video. Ad esempio, Roll registra nello standard HEVC, offrendo circa il doppio del bitrate e una qualità dell'immagine superiore per la stessa dimensione del file. Inoltre, Roll può registrare ed elaborare fino a due riprese della fotocamera (una ripresa grandangolare e una ripresa ravvicinata) contemporaneamente, consentendo agli utenti di creare video con prospettive effettivamente "multi-camera".

L'interfaccia di modifica del rotolo.Crediti immagine:Rotolo

Certo, il multicam non è particolarmente unico: Roll è ben lungi dall'essere la prima app a offrirlo. Ma Buzdar dice che la magia sta nella post-elaborazione. Roll sfrutta l'intelligenza artificiale generativa per ricreare stanze nello spazio 3D in modo che i creatori di contenuti possano spostare una telecamera virtuale simile a un videogioco, simulando movimenti come la panoramica da un lato all'altro con un carrello o una gru.

"Oggi, l'intelligenza artificiale generativa è troppo spesso associata alla creazione di contenuti falsi dal nulla", ha affermato Buzdar. "Questa non è la nostra filosofia. Non generiamo pixel, persone o scene finte. Utilizziamo l'intelligenza artificiale generativa esclusivamente come strumento per la produttività: vogliamo democratizzare l'accesso a una produzione video di qualità superiore."

Buzdar ha spiegato che l'intelligenza artificiale di Roll è stata addestrata a comprendere la profondità 3D di una scena, utilizzando i dati per misurare profondità e forme indipendentemente dalla persona seduta nella stanza. Roll ha iniziato ad addestrare i suoi algoritmi con set di dati open source comunemente utilizzati per il benchmarking nel mondo accademico, ma ha poi registrato internamente oltre 22.000 videochiamate, creando un proprio ricco database.