GPT-3 (acrónimo del inglés Generative Pre-trained Transformer) es un modelo de lenguaje autorregresivo que utiliza aprendizaje profundo para producir texto realista de una calidad propia al escrito por un humano a partir de un contexto previo. Fue creado en el año 2020 por OpenAI, un laboratorio de investigación de IA fundado con el objetivo de promover y desarrollar una IA beneficiosa para la humanidad. El modelo GPT-3 se ha entrenado con cantidades masivas de datos rastreados de Internet, como por ejemplo libros, artículos o noticias y tiene más de 175.000 millones de parámetros (es dos órdenes de magnitud mayor que su predecesor, GPT-2).
Algunas de las aplicaciones prácticas que se pueden crear con GPT-3 son: completar un texto similar al que haría un humano, clasificar un texto, o responder a preguntas formuladas en lenguaje natural. En este enlace puede encontrar un artículo de La Vanguardia que ejemplifica a la perfección el impresionante comportamiento de GPT-3, el cual, habiendo visto sólo un párrafo introductorio, es capaz de generar todo un artículo sobre la IA.
En los últimos años, la popularidad de GPT-3 y OpenAI ha aumentado debido a la amplia cobertura mediática que ha recibido el lanzamiento de varios modelos que utilizan GPT-3 como base como Codex y DALL-E. El primero, Codex, es un modelo entrenado con millones de repositorios de código público de GitHub y es capaz de crear un código funcional de una calidad impresionante en más de una docena de lenguajes de programación. El segundo, DALL-E, consiste en una aplicación que, a partir de descripciones textuales, crea imágenes con un nivel de realidad y abstracción que ha impactado en el mundo entero.
Unos meses después de su creación, en Noviembre de 2021, OpenAI puso a disposición de los usuarios el acceso a los modelos GPT-3 mediante elliberación de una API. Sin embargo, los usuarios finales no tienen acceso al modelo subyacente y OpenAI requiere que las aplicaciones API pasen por una breve revisión para asegurarse de que cumplan sus políticas y requisitos de seguridad.
GPT-3 es un modelo de lenguaje pre-entrenado, que significa que entiende el lenguaje natural hasta una cierta capacidad. Los desarrolladores pueden tomar el modelo básico de GPT-3 y ajustarlo para resolver tareas específicas. Justamente, la potencia de GPT-3 radica en su forma de especializarlo. Los modelos tradicionales de aprendizaje automático que se utilizan en problemas de NLP (del inglés Natural Language Processing) requieren grandes cantidades de datos para conseguir niveles aceptables de precisión. Por el contrario, las soluciones basadas en GPT-3 requieren una pequeña cantidad de datos para conseguir una precisión muy alta en muchas tareas de NLP. Además, ajustar un modelo de GPT-3 es sencillo y no requiere de conocimientos avanzados de aprendizaje automático. Esto reduce la barrera de entrada para desarrolladores y empresas que desean crear soluciones de NLP sofisticadas. GPT-3 y otros productos similares se han convertido en una palanca para el desarrollo rápido y fácil de una amplia gama de soluciones de IA.
A nivel local, mientras que los datos de entrenamiento de GPT-2 estaban sólo en inglés, GPT-3 amplió el alcance de su conjunto de datos de entrenamiento para incluir la representación de otros idiomas, aunque éstos sólo representan un 7% del total de datos. A pesar de este porcentaje limitado de datos no ingleses, GPT-3 funciona de forma sorprendente en idiomas no globales como el catalán, dando resultados destacados como los siguientes:
- Pregunta a GPT-3: ¿Cuál es el autor de poesía catalana más famoso?
- Respuesta GPT-3: El poeta catalán más famoso es probablemente Salvador Espriu.
Paralelamente, en 2020 la Generalitat de Cataluña puso en marcha AINA, un proyecto de 13,5M€ que tiene como objetivo principal la creación y ampliación de un corpus de la lengua catalana para poder obtener modelos lingüísticos que cubran sus diferentes variantes y registros.
GPT-3 es sin duda un logro impresionante en tecnología e ingeniería de software. Sin embargo, comporta riesgos y limitaciones de las que todos deberíamos ser conscientes. En primer lugar, GPT-3 es capaz de crear textos tan realistas que podrían provocar un aumento de spams y contenidos falsos. Probablemente deberíamos tener algún tipo de normativa que obligue a los creadores de contenidos a indicar si utilizan este tipo de modelos. En segundo lugar, el modelo GPT-3 es el que se llama como un “modelo de caja negra” (no se tiene ningún conocimiento del porqué de sus resultados) y deberíamos desarrollar herramientas de explicabilidad para entender mejor cómo hace las predicciones. En tercer lugar, el coste del entrenamiento GPT-3 desde cero es del orden de millones de dólares. Esto significa que pocas empresas tienen los medios para formar, mantener y ejecutar ese tipo de modelos. Esto podría provocar una concentración de capacidades potentes de IA en manos de unas pocas entidades gigantes. Por último, hay que tener en cuenta que entrenar un GPT-3 u otros grandes modelos de NLP es caro a nivel computacional y, por tanto, consume muchos recursos. Según un reciente estudio de Google y la Universidad de California en Berkeley, el entrenamiento del GPT-3 produjo la misma cantidad de toneladas de dióxido de carbono que el que producirían 120 coches de pasajeros durante un año. Debemos ser conscientes del impacto ambiental de estos modelos y asegurarnos de que utilizamos energía verde en su entrenamiento y funcionamiento.
El lanzamiento público de GPT-3 como API se realizó hace sólo unos meses y ya se están viendo desarrolladores que lo utilizan en una variedad de aplicaciones impresionantes. Estamos seguros de que las próximas generaciones de modelos lingísticos serán aún más impactantes y tendrán el potencial de transformar los procesos empresariales basados en lenguaje natural y aumentar las capacidades humanas.