Comment les Institutions supérieures de contrôle des finances publiques peuvent-elles sélectionner les bons thèmes pour les évaluations et les audits de performance ? Résultats de la réunion 2024 du Groupe de travail de l’INTOSAI sur l’évaluation des politiques et programmes publics (WGEPPP)

Auteurs : Nico Granitzer, Andrea Häuptli & Emmanuel Sangra, Groupe de travail de l’INTOSAI sur l’évaluation des politiques et programmes publics

Les évaluations et les audits de performance nécessitent un processus de sélection solide pour garantir leur succès. Un examen approfondi et systématique des thèmes potentiels d’audit de performance permet d’identifier ceux qui présentent les risques les plus élevés et offrent le plus grand potentiel d’amélioration. En outre, il facilite la détermination du moment optimal pour l’intégration des résultats dans le développement ultérieur des politiques publiques respectives. Par conséquent, une sélection réfléchie des thèmes d’évaluation a plus de chances d’influencer positivement les politiques publiques existantes.

En tant qu’Institutions supérieures de contrôle des finances publiques (ISC), nous sommes donc confrontés à plusieurs défis : Comment pouvons-nous mettre en place des structures et des procédures institutionnelles permettant d’identifier des idées d’évaluation pertinentes ? Et comment pouvons-nous sélectionner les évaluations et le calendrier qui produiront l’impact le plus significatif de ces idées ?

C’est dans ce contexte que le Groupe de travail sur l’évaluation des politiques et programmes publics (WGEPPP) s’est réuni en juin 2024 à Bucarest, en Roumanie. Nous avons exploré le fonctionnement général des processus de sélection des ISC et la manière dont ils peuvent produire des thèmes d’évaluation et d’audit de performance optimaux. Outre les ateliers et les discussions, une enquête menée auprès de 22 ISC avant la réunion a fourni des informations précieuses sur leurs processus d’identification et de sélection. Les principales conclusions sont présentées ci-dessous.

Figure 1 : Sélection et focalisation des thèmes de l’évaluation et de l’audit de performance dans les ISC, d’après Sangra & Crémieux, 2013 (1)

Les collègues et les parties prenantes, sources principales d’idées de thèmes

Dans l’ensemble, la réunion a montré que la plupart des ISC membres disposent d’un degré élevé d’autonomie dans l’identification et la sélection des thèmes d’audit. 91 % des ISC interrogées peuvent choisir de manière indépendante la majorité ou la totalité de leurs thèmes. La responsabilité de générer des idées d’audit incombe aux ISC elles-mêmes. Par conséquent, une condition préalable importante pour la sélection de thèmes de performance appropriés est de disposer d’un réservoir d’idées bien approvisionné. La figure 1 illustre schématiquement le processus d’identification, de sélection et d’orientation des thèmes. 

Les suggestions internes jouent un rôle particulièrement important : 95 % des ISC interrogées ont indiqué que les auditeurs peuvent proposer des thèmes, et 68 % considèrent que ces suggestions sont souvent ou systématiquement utiles, en particulier lorsqu’ils ont plusieurs années d’expérience dans certains domaines politiques. La plupart des ISC interrogées complètent ces suggestions par une évaluation des risques, en identifiant les risques structurés dans toutes les entités auditées : de tels processus sont en place dans 81 % des ISC ayant répondu, et 64 % d’entre elles considèrent que les connaissances acquises sont utiles pour l’identification des thèmes. La réunion a mis en évidence que plusieurs ISC utilisent de plus en plus l’analyse des données pour quantifier les risques identifiés. Par exemple, la Cour des comptes de Slovaquie a présenté une cartographie complète des politiques, qui lui permet d’identifier les secteurs politiques déficients par le biais d’une analyse comparative internationale, tels que de multiples indicateurs concernant les politiques de santé.

Figure 2 : Sources les plus utiles pour l’identification des thèmes d’évaluation, classées par les participants à la réunion 2024 du WGEPPP

Les deux sources externes les plus pertinentes pour les nouveaux thèmes d’audit ont été identifiées comme étant les parties prenantes impliquées dans les politiques publiques et les experts dans les domaines respectifs. Les ISC participantes utilisent diverses méthodes pour recueillir des informations auprès de ces groupes. Par exemple, un grand nombre d’entre elles organisent régulièrement des réunions informelles (comme en Suisse), tandis que dans d’autres ISC, le contact avec ces groupes est formalisé par le biais de conseils consultatifs composés de membres d’associations professionnelles ou des universitaires (comme en Roumanie et en Inde) ou d’enquêtes régulières (comme en Slovaquie). En outre, 64 % des ISC interrogées permettent aux citoyens de soumettre des suggestions de thèmes par le biais de mécanismes tels que la dénonciation ou d’autres systèmes de messagerie en ligne. Ces suggestions sont considérées comme parfois utiles pour l’identification des thèmes par 77 % de ces ISC. De même, les suggestions de thèmes émanant du Parlement ou du gouvernement sont possibles dans 86 % des ISC répondantes, mais ne sont jugées utiles que par 69 % d’entre elles.

Un facteur important qui a été mentionné pour toutes les sources est l’importance de fournir un retour d’information aux auteurs des idées (collègues, citoyens, etc.). Les ISC devraient leur faire savoir dans quelle mesure leurs suggestions ont été mises en œuvre et prises en compte. Cela permet de maintenir la motivation et l’engagement des contributeurs.

Critères de sélection et processus de planification stratégique clairement définis

Sur la base de ces idées, la sélection et la préparation des thèmes de l’audit de performance sont effectuées afin de maximiser la pertinence de l’audit. Le but est de définir les objectifs de l’audit, l’axe correspondant et la période d’exécution.

En général, la discussion lors de la réunion a montré clairement que l’établissement de critères de sélection clairement définis est crucial. Par conséquent, 77 % des ISC qui ont répondu suivent un processus de planification stratégique pour la sélection des thèmes conformément aux exigences de la norme ISSAI 300, et 68 % imposent des critères de qualité établis pour la sélection des thèmes. D’autre part, la conception de ce processus de planification et les critères utilisés varient considérablement. Certaines ISC, comme celles d’Espagne, du Brésil et des Philippines, fixent chaque année de nouvelles priorités thématiques, tandis que d’autres se basent sur une stratégie globale à plus long terme de l’ISC.

Différents aspects sont pris en compte dans les critères, tels que le potentiel de changement (par exemple, Kenya et Bulgarie), les coûts attendus de l’évaluation (par exemple, Lituanie), la sensibilité politique (par exemple, Philippines), ou les capacités et compétences disponibles au sein de l’ISC (par exemple, Cour des comptes européenne). La structure organisationnelle varie également de manière significative. Ces dernières années, plusieurs ISC ont créé des unités stratégiques dédiées spécifiquement à la préparation des thèmes d’audit, comme en Roumanie, en Pologne et à la Cour des comptes européenne.

Un défi particulier réside dans les domaines d’audit qui n’ont que rarement ou jamais été examinés. Pour y remédier, 64 % des ISC interrogées réalisent des études préliminaires afin de mieux comprendre les développements actuels et les risques associés au thème de l’évaluation. Cette approche efficace permet de prendre des décisions éclairées quant à l’exécution et au calendrier de l’évaluation.

Sélection optimale des thèmes grâce au développement continu

En conclusion, malgré les différences organisationnelles et les approches variées, il existe des points communs significatifs entre les ISC au niveau stratégique : pratiquement toutes les ISC suivent un processus formalisé pour l’identification et la sélection des thèmes d’évaluation. L’établissement de réseaux avec les parties prenantes et la communauté universitaire joue un rôle important et la plupart des ISC ont mis en œuvre un processus de planification stratégique. Dans l’ensemble, cependant, la source la plus essentielle de thèmes est toujours considérée, dans une large mesure, comme étant les auditeurs eux-mêmes. Les développements continus, tels que l’intégration de nouvelles méthodes d’analyse des données et de nouveaux formats pour l’implication des acteurs externes, sont un processus permanent. Ce faisant, la pertinence croissante de ces considérations et la création de départements spécialisés au sein des ISC soulignent l’importance grandissante de la sélection optimale des thèmes d’audit.