¿Cómo pueden las Entidades Fiscalizadoras Superiores seleccionar temas pertinentes para sus evaluaciones y auditorías del rendimiento? Resultados de la Reunión 2024 del Grupo de Trabajo sobre Evaluación de Políticas y Programas Públicos (WGEPPP) de la INTOSAI

Autores: Nico Granitzer, Andrea Häuptli & Emmanuel Sangra, Grupo de Trabajo sobre Evaluación de Políticas y Programas Públicos (WGEPPP) de la INTOSAI

En aras de su éxito, las evaluaciones y auditorías del rendimiento requieren un sólido proceso de selección de posibles temas, ya que un examen exhaustivo y sistemático de los mismos permite identificar aquellos que más riesgos y, por tanto, más posibilidades de mejora presentan. Esto facilita, además, determinar el momento óptimo para la incorporación de los resultados en las correspondientes políticas públicas. Así pues, una selección bien ponderada de los temas de evaluación aumenta las probabilidades de influir positivamente en las políticas públicas existentes.

Como Entidades Fiscalizadoras Superiores (EFS), nos enfrentamos a varios retos en este contexto: ¿cómo podemos establecer estructuras y procedimientos institucionales que permitan identificar ideas de evaluación pertinentes? Y, ¿cómo seleccionar las evaluaciones y el momento susceptibles de generar el mayor impacto a partir de estas ideas?

Ante este trasfondo, el Grupo de Trabajo sobre Evaluación de Políticas y Programas Públicos (WGEPPP) se reunió en junio de 2024 en Bucarest, Rumanía. Exploramos cómo suelen funcionar los procesos de selección de las EFS y la manera en que dichos procesos pueden producir temas óptimos para la evaluación y la auditoría de rendimiento. Junto con los talleres y debates celebrados, una encuesta realizada entre 22 EFS antes de la reunión también nos aportó información valiosa sobre los respectivos procesos de identificación y selección. A continuación, presentamos las principales conclusiones.

Figura 1: Selección y focalización de temas de evaluación y auditoría de rendimiento en las EFS, basado en Sangra & Crémieux, 2013 (1)

Colegas de profesión y partes interesadas como fuentes clave de ideas para posibles temas

A nivel general, la reunión demostró que la mayoría de las EFS miembros operan con un alto grado de autonomía en la identificación y selección de temas de auditoría. El 91 % de las EFS encuestadas pueden elegir de forma independiente la mayoría o la totalidad de sus temas. La responsabilidad de desarrollar ideas para las auditorías recae en las propias EFS. En este sentido, uno de los requisitos previos importantes para la selección de temas pertinentes sobre rendimiento es contar con un conjunto o “pool” de ideas bien surtido. La Figura 1 ilustra de forma esquemática el proceso mediante el cual se identifican, seleccionan y focalizan los temas. 

Las sugerencias a nivel interno desempeñan un papel especialmente relevante: el 95 % de las EFS encuestadas declararon que los auditores pueden proponer temas, y el 68 % considera estas sugerencias “a menudo” o “sistemáticamente” útiles, sobre todo cuando la persona en cuestión acumula varios años de experiencia en determinados ámbitos políticos. La mayoría de las EFS consultadas completan estas propuestas con una evaluación de riesgos, identificando riesgos estructurados en todas las entidades auditadas: el 81 % de las EFS que respondieron cuentan con estos procesos, y el 64 % considera que la información obtenida es útil para la identificación de temas. La reunión puso de manifiesto que varias EFS están recurriendo progresivamente al análisis de datos para cuantificar los riesgos identificados. La Oficina Suprema de Auditoría de la República Eslovaca, por ejemplo, presentó una extensa cartografía de políticas, que le permitió descubrir deficiencias en determinados ámbitos mediante un benchmarking internacional, como en el caso de numerosos indicadores relativos a las políticas sanitarias.

Figura 2: Fuentes más útiles para la identificación de temas de evaluación, según la clasificación de los participantes en la reunión de 2024 del WGEPPP

Las dos fuentes externas más relevantes para encontrar nuevos temas de auditoría resultaron ser las partes interesadas que participan en las políticas públicas y los expertos que trabajan en los respectivos campos. Las EFS participantes emplean diversos métodos para recopilar información de estos grupos. Por ejemplo, muchas de ellas celebran reuniones informales periódicas (como Suiza), mientras que otras EFS formalizan el contacto con esos grupos a través de consejos consultivos formados por miembros de asociaciones profesionales o del mundo académico (como es el caso de Rumanía y la India) o bien mediante encuestas periódicas (p. ej., Eslovaquia). Además, el 64 % de las EFS encuestadas permiten a los ciudadanos enviar sugerencias temáticas a través de mecanismos de denuncia de irregularidades (whistleblowing) u otros canales de mensajería en línea. El 77 % de estas EFS considera que este tipo de sugerencias resultan útiles “a veces” para identificar temas.

Análogamente, el 86 % de las EFS que respondieron aceptan sugerencias de temas por parte del Parlamento o del gobierno, aunque solo el 69 % las considera útiles.Un factor importante señalado con respecto a todas las fuentes es la importancia de proporcionar feedback a los que envían ideas (colegas, ciudadanos, etc.). Las EFS deberían dejarles saber en qué medida se han implementado y considerado sus propuestas. Esto ayuda a mantener la motivación y el compromiso de todos los que contribuyen.

Criterios de selección claramente definidos y procesos de planificación estratégica

Partiendo de estas ideas, los procesos de selección y preparación de los temas de auditoría del rendimiento persiguen maximizar la relevancia de la auditoría. La meta es definir los objetivos de la auditoría, el enfoque correspondiente y el período de ejecución.

De manera general, el debate en la reunión dejó claro que es fundamental establecer criterios de selección claramente definidos. Es por ello que el 77 % de las EFS que respondieron siguen un proceso de planificación estratégica para la selección de temas con arreglo a los requisitos de la ISSAI 300, y el 68 % imponen criterios de calidad preestablecidos para la selección de temas. Por otro lado, el diseño de este proceso de planificación y los criterios utilizados varían enormemente. Algunas EFS, como las de España, Brasil y Filipinas, cada año se fijan nuevas prioridades temáticas, mientras que otras se basan en una estrategia general a más largo plazo de la EFS.

Los criterios consideran aspectos diversos, como el potencial de cambio (p. ej., Kenia y Bulgaria), los costes previstos de la evaluación (p. ej., Lituania), la sensibilidad política (p. ej., Filipinas) o las capacidades y competencias disponibles a nivel de la EFS (p. ej., el Tribunal de Cuentas Europeo). La configuración organizativa también varía significativamente. En los últimos años, varias EFS han creado unidades estratégicas específicas para la preparación de temas de auditoría, como en Rumanía, Polonia y el Tribunal de Cuentas Europeo.

Un desafío particular radica en las áreas de auditoría que rara vez o nunca antes habían sido examinadas. Para abordar dicho desafío, el 64 % de las EFS encuestadas realizan estudios preliminares para familiarizarse a fondo con los avances actuales y riesgos asociados al tema de evaluación. Este enfoque tan eficiente ayuda a tomar decisiones informadas con respecto a la ejecución y programación de la evaluación.

Selección óptima de temas a través de un desarrollo continuo

En conclusión, a pesar de las diferencias organizativas y la variedad de enfoques existen importantes puntos en común entre las EFS a nivel estratégico: prácticamente todas las EFS siguen un proceso formalizado para identificar y seleccionar los temas de evaluación. El establecimiento de redes con las partes interesadas y el mundo académico desempeña un papel importante, y la mayoría de las EFS han implementado un proceso de planificación estratégica. Con todo, en general se sigue considerando que la fuente más importante de posibles temas son los propios auditores. Los desarrollos continuos, como la integración de nuevos métodos de análisis de datos y formas de involucrar a actores externos, conforman un proceso continuo. En este sentido, las reflexiones anteriores cobran cada vez más relevancia y la creación de departamentos especializados en las EFS confirma la importancia creciente de saber cómo seleccionar de forma óptima los temas de auditoría.