Eines d'intel·ligència artificial per optimitzar la postproducció audiovisual

La intel·ligència artificial és cada dia més i més present a les nostres vides, representant un canvi de paradigma a nivell global que es podria equiparar al que, en el seu moment, va representar la irrupció d’internet. Programació, màrqueting, biomedicina, finances i molts més camps s’han vist impactats per la capacitat de la IA per a millorar processos i innovar, i el sector audiovisual no és menys.

I és que en definitiva, la IA aconsegueix analitzar l’entorn i realitzar accions determinades de manera autònoma per aconseguir objectius específics a través de programes desenvolupats per a simular processos propis de la nostra intel·ligència. 

La postproducció cinematogràfica i la indústria dels efectes especials també s’està veient transformada per la irrupció de la IA, com mostra el projecte que l’empresa Dø Postproduction va desenvolupar amb el Parc de Recerca UAB i el Centre de Visió per Computador per automatitzar algunes de les seves tasques de postproducció mitjançant eines d’IA. 

Dø Postproduction és una empresa murciana dedicada als efectes visuals, o VFX. Des de la seva creació el 2018 han participat en alguns dels projectes més sonats de Netflix i Amazon, com Sky Rojo, la Casa de Papel, Sin Huellas o Toy Boy, on han pogut mostrar les seves habilitats tècniques i creatives, sempre amb una mirada clara de desenvolupament de programari i innovació en camps com el CGI, la fotogrametria, escanejos 3D, modelatge i molt més.

El projecte d'R+D desenvolupat s’ha centrat en la rotoscòpia, una tècnica d'animació que consisteix a calcar els fotogrames d'una imatge real en moviment per tal de convertir-la en una animació.  El procés per a fer-ho ha estat tradicionalment molt manual i repetitiu; en especial pel que fa a la rotoscòpia de persones. 

Però gràcies als avenços en la visió per computadors i el deep learning, s’ha millorat molt la segmentació automàtica de persones. D’aquesta manera, el Centre de Visió per Computador ha desenvolupat una eina per Dø Postproduction que aplica a programes de postproducció per automatitzar la rotoscòpia de persones amb tècniques d'IA.

Després de la consecució del projecte, i un any i mig de treball, Dø Postproduction ha anunciat la creació d’una eina de reemplaçament facial que opera de forma local i independent, dissenyada per incorporar-se a qualsevol flux de treball professional d’efectes visuals.

Aquest projecte ha estat finançat per la Unió Europea a través dels fons Next Generation EU, dins del Pla de Recuperació, Transformació i Resiliència, i gestionat per l'Institut de les Indústries Culturals i les Arts de la Regió de Múrcia (ICA) en la convocatòria de 2022 de subvencions per a acceleració i emprenedoria.