PRESENTACIÓ PROJECTE D'ALT IMPACTE: EINES INTEL·LIGENTS PEL RESUM I GENERACIÓ DE CONTINGUT AUDIOVISUAL EN NOTÍCIES
RESUM:
En una època on la informació és abundant i el consum de notícies s’ha convertit en plataformes multimèdia, la necessitat d’eines de resum eficients s’ha fet més pronunciada que mai.
El projecte, liderat per Eurecat, amb la participació del Computer Vision Center i la Universitat Politècnica de Catalunya, s’embarca en un viatge transformador a la intersecció de la tecnologia i el periodisme, introduint eines automàtiques d’avantguarda dissenyades per a la síntesi integral del contingut de vídeo i la il·lustració dinàmica, tot impulsat pel poder dels mètodes d’aprenentatge profund.
El desenvolupament d’aquest projecte va més enllà del simple resum, ja que es reconeix el paper fonamental de la il·lustració per millorar la comprensió. Mitjançant la utilització de tècniques avançades d’aprenentatge profund, pretenem generar de manera dinàmica representacions visuals que encapsulin els elements clau de les notícies.
Els resultats del projecte permeten enriquir l’experiència del consumidor i també permet als creadors de contingut transmetre informació complexa amb claredat i impacte. En definitiva, amb aquesta presentació s’ensenyaran els resultats de la creació d’eines innovadores per realitzar noves formes de narració, revolucionant la manera com interactuem amb les notícies a l’era digital.
En aquesta sessió, el CIDAI, en col·laboració amb 3Cat presentarà els resultats i coneixements adquirits durant l’execució d’un dels Projectes d’Alt Impacte on s’han fet servir eines d’IA generativa multimodals.
DIA I HORARI:
30 maig 2024 | 10h a 12:15h
FORMAT I IDIOMA:
Presencial | Català
LLOC:
Ateneu Barcelonès
Sala Jacint Verdaguer
Carrer de la Canuda, 6
08002 Barcelona
PROGRAMA
09:30h Registre.
Presenta l’esdeveniment: Marco Orellana, gerent del CIDAI.
10:00 h Benvinguda.
Sr. Joan Mas i Albaigès, director del CIDAI i cap de l’Àrea Digital d’Eurecat.
Sr. Medir Plandolit, responsable digital d’Informatius de 3Cat.
10:15h Projecte d’alt Impacte – Eines intel·ligents pel resum i generació de contingut audiovisual en notícies.
- Rafael Redondo Tejedo, cap Línia d’Imatge en Unitat de Technologies Multimedia d’Eurecat.
El resum automàtic de vídeos és una eina que pot ajudar, per exemple, a la difusió de notícies o augmentar la productivitat d’edició i arxiu del contingut audiovisual. És un repte complex si s’aborda a nivell d’imatge.
Tot i això, en el cas de notícies i entrevistes la informació semàntica està principalment en la narració.En aquest context, per abordar aquest repte, s’han combinat models de transcripció de la parla, que proporcionen codis temporals a nivell de paraula, amb models grans de llenguatge natural, que són capaços de fer resums extractius textuals.
Per a la interacció amb l’usuari s’ha desenvolupat una interfície gràfica que permet seleccionar el nombre de frases més significatives que conté el resum, permet afegir frases manualment mitjançant paraules clau, opcionalment selecciona automàticament els segments més significatius dins d’una frase aportant un segon nivell de compressió, i a més permet eliminar silencis d’una durada determinanda, aportant més dianamisme al vídeo resum final.
Cal esmentar que el desenvolupament basat en software lliure (open source) és una peça clau dins d’aquest projecte.
- Bogdan Raducanu, investigador Senior/Director de Projecte de CVC.
Narració Gràfica Generativa de Noticies: L’objectiu d’aquest treball és el desenvolupament d’un sistema intel·ligent per la generació automàtica d’imatges per suport a la narració de la notícia que estiguin adaptades al contingut i to general del text.
El mètode es basa en un model LLM per al resum del text de la notícia i un model de difusió per a la generació de la imatge a partir del resum. L’eina té una interfície gràfica molt versàtil per al resultat final compleixi amb els requisits de l’usuari professional.
- José Adrián Rodriguez Fonollosa, director TALP Research Centre de la UPC.
Amb l’objectiu d’extreure un resum d’un vídeo a partir de la seva transcripció, s’han estudiat en primer lloc les prestacions dels sistemes actuals de conversió de veu a text en quant a qualitat i velocitat en català i documents bilingües.També s’ha analitzat la precisió amb què són capaços d’indicar l’instant temporal d’inici i finalització de cada frase.
D’altra banda, s’ha desenvolupat un sistema de generació de resums extractius que assigna un índex de rellevància a cada frase amb l’ajuda d’un Model de Llenguatge Gran (LLM) i/o paraules clau. Això permet ajustar de forma flexible i ràpida la longitud del resum en funció del nombre de frases o durada temporal del vídeo resultant.
- Rafael Bermudez Guijo, responsable Projectes Recerca Tecnològica de 3Cat.
Valoració, aplicacions i conclusions del projectes d’alt impacte per part de 3Cat
11:45h Cloenda Institucional.
Sr. Lluís Juncà, director general d’Innovació, Economia Digital de la Generalitat de Catalunya.
11:50h Cafè & Networking.
12:15h Fi de l’acte.