De la IA que respon a la IA que actua
Fins fa ben poc, la IA generativa a l’empresa s’aprofitava a través d’una conversa: algú preguntava i el model responia. Un agent, en canvi, consulta dades, crida eines, encadena tasques i actua en nom d’una persona o d’un procés. I quan una màquina actua, la pregunta ja no és «què diu?», sinó «què fa, amb quins permisos i qui se’n fa responsable?». Ho veiem cada setmana en moltes empreses: els pilots arriben abans que les polítiques, i els agents entren a l’empresa abans que les eines per governar-los.
Per què els agents amplifiquen el risc
Els agents no inventen riscos nous de zero; el que fan és amplificar els que ja teníem. Si una organització té dades sobreexposades, permisos heretats que ningú ha revisat o una classificació de la informació poc rigorosa, un agent ho trobarà, ho farà servir i ho exposarà a la velocitat que només una màquina pot assolir. Hi ha tres eixos on això es nota especialment.
Identitat. Un agent opera dins dels nostres sistemes, però no és ni una persona ni un compte de servei clàssic: decideix com fa servir l’accés que té i, a més, se’l pot convèncer. Un correu o un document amb instruccions amagades (injecció de prompts) pot fer que executi accions legítimes amb finalitats il·legítimes.
Permisos. La temptació és donar a l’agent tots els permisos «per si de cas», perquè funcioni a la primera. És el patró que més trobem quan revisem agents abans de passar-los a producció. Un agent manipulable, amb accés ampli i amb un canal de sortida, és una porta oberta a la fuga de dades.
Traçabilitat. Hem de poder respondre qui ha activat l’agent, amb quina identitat ha actuat, quines dades ha consultat i per què. Sense aquesta visibilitat no es pot investigar un incident ni demostrar el compliment del Reglament europeu d’IA i del RGPD.
A tot això cal sumar-hi l’explosió d’agents a les organitzacions des d’orígens diferents: natius a les aplicacions que ja fem servir, creats pels mateixos usuaris, de tercers que entren per la porta del darrere (IA a l’ombra) i propis. Quan fem el primer inventari amb un client, gairebé sempre hi ha més agents dels que l’empresa creia tenir.
Cal governar els agents com el que són: identitats que actuen
La bona notícia és que no cal començar de zero. La clau és tractar cada agent com un membre més de l’organització: amb identitat pròpia, un responsable humà, accés limitat al que necessita i un registre de tot el que fa. A la pràctica, apliquem dos principis, que també recull l’OWASP en el seu Top 10 per a aplicacions agèntiques. La mínima agència: no només limitar a què accedeix l’agent, sinó quanta llibertat té per actuar sense consultar a una persona, perquè donar autonomia a un agent és un acte de confiança, no de traslladar la responsabilitat. I l’observabilitat: saber què fa l’agent, per què i en nom de qui.
Tecnologia moderna per a un risc modern
Aquests principis no s’apliquen amb una política que ningú llegeix. Calen tecnologies pensades per a la IA i els agents, amb el govern integrat en el disseny i no com un pegat posterior.
Identitats i permisos. Cada agent amb identitat pròpia al directori corporatiu, accés condicional, propietari assignat i revocable a l’instant, i que només vegi el que pot veure la persona que l’invoca, amb etiquetes de confidencialitat i prevenció de pèrdua de dades.
Guarda-rails en temps d’execució que detectin intents d’injecció de prompts i bloquegin les accions sensibles o les condicionin a una aprovació humana.
Un pla de control centralitzat que inventariï tots els agents, en mesuri l’ús, detecti els orfes o fora de política i n’integri l’activitat amb la monitorització de la seguretat. En l’ecosistema de Microsoft, per exemple, aquesta capa la cobreixen Agent 365 pel govern, i Entra ID, Purview i Defender per la seguretat.
Governar per accelerar, no per frenar
Sovint es veu el govern com el fre de la innovació. La nostra experiència amb clients diu el contrari: les organitzacions que tenen clar qui pot crear agents, amb quines dades i sota quins controls són les que escalen més ràpid, perquè no han de tornar enrere cada cop que un pilot vol passar a producció. La recepta és senzilla d’enunciar i exigent d’executar: agents alineats amb processos de negoci i amb retorn mesurable, dades endreçades abans de connectar-hi res i una plataforma amb govern natiu.
Des de Softeng, soci promotor del CIDAI, acompanyem les empreses en la seva digitalització segura amb IA: des de la identificació de casos d’ús amb retorn real fins al desplegament d’agents governats per disseny. Maximitzem el potencial de la IA, amb seguretat.
Referències
OWASP GenAI Security Project, Top 10 for Agentic Applications for 2026: https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/
