L'auge de la intel·ligència artificial generativa i la seva capacitat per generar text a partir de sol·licituds o prompts ha donat lloc a tècniques malicioses com el prompt hacking i la injecció de prompts. Aquestes tècniques tenen l’objectiu d’obtenir respostes no intencionades o inesperades i explotar vulnerabilitats en el comportament en els models de llenguatge, com els que alimenten els assistents virtuals i xatbots, i planteja riscos en termes de seguretat i ús ètic.

El prompt hacking consisteix a manipular un model de llenguatge perquè produeixi respostes no desitjades, inadequades o que excedeixin les seves restriccions, explotant vulnerabilitats en la manera com la IA processa les sol·licituds. D'altra banda, la injecció de prompts s'enfoca a inserir instruccions malicioses dins del text d'un prompt legítim, aprofitant el fet que les aplicacions de LLM no distingeixen clarament entre les instruccions del desenvolupador i les entrades de l’usuari, alterant així el comportament esperat del model.

Els impactes d’ambdues pràctiques poden incloure la generació d'informació perjudicial, fugida de dades, i fins i tot control del sistema, cosa que pot comportar greus conseqüències financeres i reguladores. Per mitigar aquests riscos, s'estan explorant mesures de defensa robusta, com la verificació d’entrades o el filtratge de contingut i millores en la seguretat dels models, tot i que la solució definitiva continua sent un repte important.