Del misterio a la práctica: de cómo la Oficina Nacional de Auditoría de Suecia enfoca la IA en sus auditorías de rendimiento

Autora: Christina Gellerbrant Hagberg, Auditora General, Oficina Nacional de Auditoría de Suecia (Riksrevisionen)

Introducción: desmitificar la IA

Cuando en las Entidades Fiscalizadoras Superiores sale a colación el tema de la Inteligencia Artificial (IA), se suele poner el foco en la tecnología. Los debates versan sobre modelos, infraestructura de datos, marcos de gobernanza y los potenciales de futuro. A menudo, el discurso en torno a la IA se envuelve en un cierto halo de misterio; sus aplicaciones prácticas tienden a confundirse con ideas más bien visionarias, como pueden ser los agentes autónomos o incluso la computación cuántica. Así, a muchos auditores la IA les puede llegar a parecer muy compleja –y, a veces, hasta intimidante–.

El año pasado, en la Oficina Nacional de Auditoría de Suecia (NAO sueca) decidimos deliberadamente optar por un punto de partida diferente. En vez de enfocar la IA desde un nivel abstracto, pusimos todo nuestro empeño en desmitificarla – volviendo a fijar la atención en la forma de aplicarla en la auditoría-.      

Tras seis meses de uso de Microsoft Copilot en nuestras operaciones por parte de toda la organización –tanto a nivel general como de forma más amplia en la auditoría de rendimiento–, empezamos a tener las cosas más claras. Y nuestra experiencia apunta a que la verdadera transformación no reside principalmente en lo tecnológico, sino que tiene que ver más bien con la mentalidad y mentalización de nuestro personal.

Una elección estratégica: primero la práctica y después la teoría

Cuando la NAO sueca comenzó a implantar Copilot, se tomó una decisión organizativa clara. No enfocamos la IA como un programa de transformación a gran escala o un proyecto de desarrollo técnico, sino que elegimos trazar una dirección basada en tres sencillos principios:

• utilizar las herramientas seguras existentes –principalmente Copilot–;
• hacer más hincapié en el aprendizaje práctico que en el teórico;
• alentar a la experimentación en el trabajo cotidiano.

Con este enfoque recogemos también una idea fundamental en materia de desarrollo profesional: los auditores no adquieren su juicio profesional leyendo sobre políticas varias, sino a través de la práctica.

No hace falta comprender el código subyacente

Conviene establecer una distinción, muy útil, entre la auditoría de modelos de IA en sí y el examen de cómo las organizaciones aplican la IA para mejorar sus operaciones.

En algunos casos aislados, puede ser el propio modelo de IA el objeto de fiscalización -por ejemplo, cuando una autoridad pública se sirve de un algoritmo en su proceso de toma de decisiones. Entonces quizás sí podría ser necesario un cierto nivel de conocimientos técnicos para valorar cómo funciona el modelo y cuáles son los riesgos que plantea. Ahora bien, este tipo de auditoría es relativamente infrecuente en la auditoría de rendimiento.

Lo más habitual es que el foco esté puesto en cómo las organizaciones usan la IA como parte de una estrategia más amplia para mejorar la eficiencia y la efectividad. Y, en este sentido, la IA no difiere radicalmente de otras formas de digitalización. Las preguntas de auditoría relevantes están relacionadas con la gobernanza, la gestión de riesgos, los controles internos, el aprendizaje y el seguimiento: ¿prueban y validan las organizaciones el uso que hacen de la IA, evalúan los riesgos, gestionan las consecuencias imprevistas y se aseguran de que la tecnología contribuye a los resultados esperados?

Para auditar la IA no hacen falta herramientas de fiscalización completamente nuevas -lo que se requiere es aplicar los enfoques de auditoría ya consolidados a un nuevo tipo de instrumento-. Al igual que en otros ámbitos de la digitalización, hay que centrarse en el funcionamiento de la organización, más que en los mecanismos internos de la propia tecnología.

La conclusión clave es, por tanto, que la mayoría de los auditores no necesitan tener un conocimiento técnico profundo de la IA. Lo que sí necesitan, en cambio, es la capacidad de valorar cómo las organizaciones gestionan la IA y cómo la emplean en la práctica, atendiendo a los mismos principios fundamentales que sustentan la auditoría de rendimiento en general.

IA – una cuestión de liderazgo

Una de las lecciones más importantes que hemos aprendido ha sido que la adopción de la IA no tiene tanto que ver con la tecnología como con el liderazgo. En el caso de la NAO sueca, este liderazgo se ha centrado en crear las condiciones propicias para el aprendizaje, rebajar las barreras a la experimentación, aclarar las expectativas y las responsabilidades, y minimizar los miedos y temores innecesarios.

Además: alentar la experimentación no significa renunciar al control. Nuestro enfoque apuesta por una combinación de libertad y límites claros. Animamos a nuestros auditores a experimentar en su labor diaria, teniendo siempre presente que el criterio humano sigue siendo el que finalmente controla las conclusiones. Eso sí, en ningún caso, las herramientas basadas en IA deben utilizarse para tratar datos sensibles o clasificados.

Este tipo de enfoque de ‘libertad responsable’ ha demostrado ser esencial. Permite aprender, pero manteniendo al mismo tiempo la confianza, la responsabilidad y la conformidad con las normas.

Lo que apoya realmente la IA 

En la práctica, la IA ha demostrado ser muy útil como herramienta de apoyo. Nuestros auditores dedicados a la evaluación del rendimiento utilizan la IA para:

• estructurar y refinar ideas;
• analizar grandes volúmenes de texto;
• resumir documentos y entrevistas;
• mejorar la claridad y el lenguaje de los informes;
• cuestionar los supuestos iniciales.

A menudo, esto da lugar a un efecto secundario en el sentido de generar unas expectativas más altas en cuanto a claridad y razonamiento. Cuando los argumentos se pueden someter a prueba con mayor rapidez y resulta más fácil generar explicaciones alternativas, se eleva el nivel de análisis. Nuestro siguiente paso va a consistir en explorar cómo la IA puede apoyar la auditoría financiera.

Calidad, riesgo y responsabilidad

Una pregunta habitual es cómo la IA afecta a la cuestión de la responsabilidad. Aquí, la NAO sueca también ha adoptado una postura clara: la IA no cambia los principios fundamentales de la responsabilidad de auditoría.

El auditor sigue siendo plenamente responsable de todas las conclusiones. Los productos generados por la IA se tratan como simples sugerencias, equivalentes a las de un ‘becario’ o ‘copiloto’ que ayuda en la tarea. Los productos de la IA siempre se tienen que someter a una revisión crítica y una validación.

Los riesgos como el error o el sesgo son reales, por lo que deberían gestionarse igual que cualquier otro riesgo, esto es: con escepticismo profesional y a través de revisiones.

Uno de los retos más importantes en la práctica tiene que ver con los datos. Muchos de los conjuntos de datos que se utilizan en la auditoría son confidenciales o están clasificados, mientras que muchas herramientas avanzadas de IA operan en la nube. Esto entraña limitaciones en cuanto a su uso. Aquí, nuestro enfoque ha sido pragmático; en lugar de esperar a tener soluciones perfectas, nos centramos en lo que es factible dentro de las limitaciones actuales.

Seis meses de rodaje: primeras observaciones

Tras seis meses de uso operativo, se están empezando a perfilar varios patrones. Los auditores descubren cada vez más sus propias aplicaciones relevantes. La IA resulta más útil en las tareas cotidianas que en proyectos piloto aislados. El aprendizaje avanza a través de la práctica y el diálogo, más que mediante la formación reglada. La sensación de misterio que rodea a la IA se disipa en cuanto los auditores empiezan a trabajar con ella.

La principal lección aprendida en la NAO sueca es, de hecho, sencilla: no hay que empezar con un enfoque técnico –mejor, comenzar con un enfoque práctico. Para que la IA resulte útil, no hace falta comprender hasta el último detalle todos sus fundamentos técnicos. Lo que importa es cómo se integra en las tareas diarias, si se promueve el aprendizaje y si se mantiene la responsabilidad de auditoría.

La IA no sustituye al criterio profesional. Lo que hace es remodelar la forma en la que se desarrolla y se aplica ese criterio, algo que, primero y ante todo, es una cuestión de liderazgo.