PRESENTACIÓN PROYECTO DE ALTO IMPACTO: HERRAMIENTAS INTELIGENTES PARA EL RESUMEN Y GENERACIÓN DE CONTENIDO AUDIOVISUAL EN NOTICIAS
RESUMEN:
En una época en la que la información es abundante y el consumo de noticias se ha convertido en plataformas multimedia, la necesidad de herramientas de resumen eficientes se ha hecho más pronunciada que nunca.
El proyecto, liderado por Eurecat, con la participación del Computer Vision Center y la Universitat Politècnica de Catalunya, se embarca en un viaje transformador a la intersección de la tecnología y el periodismo, introduciendo herramientas automáticas de vanguardia diseñadas para la síntesis integral del contenido de vídeo y la ilustración dinámica, todo impulsado por el poder de los métodos de aprendizaje profundo.
El desarrollo de este proyecto va más allá del simple resumen, puesto que se reconoce el papel fundamental de la ilustración para mejorar la comprensión. Mediante la utilización de técnicas avanzadas de aprendizaje profundo, pretendemos generar de forma dinámica representaciones visuales que encapsulen los elementos clave de las noticias.
Los resultados del proyecto permiten enriquecer la experiencia del consumidor y también permite a los creadores de contenido transmitir información compleja con claridad e impacto. En definitiva, con esta presentación se enseñarán los resultados de la creación de herramientas innovadoras para realizar nuevas formas de narración, revolucionando la forma en que interactuamos con las noticias en la era digital.
En esta sesión, CIDAI, en colaboración con 3Cat presentará los resultados y conocimientos adquiridos durante la ejecución de uno de los Proyectos de Alto Impacto donde se han utilizado herramientas de IA generativa multimodales.
DÍA Y HORARIO:
30 mayo 2024 | 10h a 12:15h
FORMATO E IDIOMA:
Presencial | Catalán
LUGAR:
Ateneu Barcelonès
Sala Jacint Verdaguer
Carrer de la Canuda, 6
08002 Barcelona
PROGRAMA
09:30h Registro.
Presenta el evento: Marco Orellana, gerente del CIDAI.
10:00 h Bienvenida.
Sr. Joan Mas i Albaigès, director del CIDAI i responsable del Área Digital d’Eurecat.
Sr. Medir Plandolit, responsable digital d’Informatius de 3Cat.
10:15h Proyecto de alto impacto – Herramientas inteligentes para el resumen y generación de contenido audiovisual en noticias.
- Rafael Redondo Tejedo, responsable Línea de Imagen en Unidad de Tecnologías Multimedia de Eurecat.
El resumen automático de vídeos es una herramienta que puede ayudar, por ejemplo, a la difusión de noticias o aumentar la productividad de edición y archivo del contenido audiovisual. Es un reto complejo si se aborda a nivel de imagen. Sin embargo, en el caso de noticias y entrevistas la información semántica está principalmente en la narración.
En este contexto, para abordar este reto, se han combinado modelos de transcripción del habla, que proporcionan códigos temporales a nivel de palabra, con modelos grandes de lenguaje natural, que son capaces de realizar resúmenes extractivos textuales.
Para la interacción con el usuario se ha desarrollado una interfaz gráfica que permite seleccionar el número de frases más significativas que contiene el resumen, permite añadir frases manualmente mediante palabras clave, opcionalmente selecciona automáticamente los segmentos más significativos dentro de una frase aportando un segundo nivel de compresión, y además permite eliminar silencios de una duración determinanda, aportando más dianamismo al vídeo resumen final. Cabe mencionar que el desarrollo basado en software libre ( open source) es una pieza clave dentro de este proyecto.
- Bogdan Raducanu, investigador Senior/Director de Proyecto de CVC.
Narración Gráfica Generativa de Noticias: El objetivo de este trabajo es el desarrollo de un sistema inteligente para la generación automática de imágenes para soporte a la narración de la noticia que estén adaptadas al contenido y tono general del texto. método se basa en un modelo LLM para el resumen del texto de la noticia y un modelo de difusión para la generación de la imagen a partir del resumen. La herramienta tiene una interfaz gráfica muy versátil para el resultado final cumpla con los requisitos del usuario profesional.
- José Adrián Rodriguez Fonollosa, director TALP Research Centre de la UPC.
Con el objetivo de extraer un resumen de un vídeo a partir de su transcripción, se han estudiado en primer lugar las prestaciones de los actuales sistemas de conversión de voz a texto en cuanto a calidad y velocidad en catalán y documentos bilingües.
También se ha analizado la precisión con la que son capaces de indicar el instante temporal de inicio y finalización de cada frase. Por otra parte, se ha desarrollado un sistema de generación de resúmenes extractivos que asigna un índice de relevancia a cada frase con la ayuda de un Modelo de Lenguaje Grande (LLM) y/o palabras clave.
Esto permite ajustar de forma flexible y rápida la longitud del resumen en función del número de frases o duración temporal del vídeo resultante.
- Rafael Bermudez Guijo, responsable Proyectos Investigación Tecnológica de 3Cat.
Valoración, aplicaciones y conclusiones del proyectos de alto impacto por parte de 3Cat.
11:45h Cierre Institucional.
Sr. Lluís Juncà, director general de Innovación y Economía Digital de la Generalitat de Catalunya.
11:50h Café & Networking.
12:15h Fin del acto.