Wandel in der Wirtschaftlichkeitsprüfung: die technologiegestützte Prüfungsinnovation der ORKB Indien

Autorin: ORKB Indien

Einleitung

Die zunehmende Komplexität der digitalen Verwaltung führte zu grundlegenden Veränderungen in der Prüfungslandschaft. Oberste Rechnungskontrollbehörden (ORKB) sind heute mit umfangreichen Finanzunterlagen und sich rasch weiterentwickelnden Programmarchitekturen konfrontiert, die herkömmliche Prüfungsmethoden an ihre Grenzen bringen. Stichprobenbasierte Prüfungen und konventionelle Datenanalysemethoden erweisen sich zunehmend als unzureichend, um systemische Risiken, verborgene Zusammenhänge und Verwaltungsversagen, das in miteinander vernetzten digitalen Systemen auftritt, aufzudecken.

Die ORKB Indien reagiert auf diese Herausforderung mit einer strukturierten, technologiegestützten Prüfungsinnovation. In den letzten Jahren bezog unsere Institution moderne Analyseleistungen – darunter Netzwerkanalysen, maschinelles Lernen, optische Zeichenerkennung (OCR) und KI-gestützte Bildanalysen – in ihre Wirtschaftlichkeitsprüfungsverfahren ein.

Fallstudie 1: Wirtschaftlichkeitsprüfung von Sozialhilfeprogrammen 

Indiens soziales Absicherungssystem umfasst Dutzende sich überschneidende Sozialprogramme, von Ernährungssicherheit und Wohnbau bis hin zu Krankenversicherung und Beschäftigung im ländlichen Raum, wobei die Leistungsempfängerinnen und -empfänger jedes Programms in einer separaten Datenbank erfasst werden. Die digitale Auszahlung über Direktüberweisungen verbesserte die Transparenz zwar erheblich, schuf jedoch auch neue Herausforderungen, wie den Ausschluss berechtigter Haushalte, unbemerkte Doppelzahlungen und eine fragmentierte Reichweite über die verschiedenen Programme hinweg. Bei herkömmlichen Prüfungen wurden Programme isoliert betrachtet, wodurch eine systemische, programmübergreifende Analyse nahezu unmöglich war.

Die ORKB Indien führt derzeit eine datengestützte Prüfung der Empfängerinnen und Empfänger von Sozialleistungen durch, die sieben große Sozialhilfeprogramme in sieben indischen Bundesstaaten abdeckt. Im Zeitraum 2023–2024 beliefen sich die Staatsausgaben für die sieben Programme auf insgesamt 4,14 Milliarden Rupien. Bei der Prüfung wurde ein haushaltsorientierter, integrierter Analyseansatz eingesetzt, bei dem die Datensätze zu den Begünstigten aller sieben Programme als miteinander verbundene Knoten innerhalb eines einzigen Graphenmodells behandelt wurden. Die Datenbanken aller sieben Programme haben insgesamt etwa 800 TB, wobei rund 140 TB Daten als relevant und für die Prüfung erforderlich eingestuft wurden. Aadhaar¹-Hash-Werte dienten als anonymisierte Verknüpfungskennungen und ermöglichten so die Darstellung von Leistungskonvergenz- sowie Leistungsausschlussmustern auf Haushaltsebene, ohne die Privatsphäre zu gefährden.

Der analytische Arbeitsablauf umfasste die Extraktion und Standardisierung von Datensätzen, die programmübergreifende Haushaltsdarstellung, die Graphenmodellierung und die Analyse verknüpfter Stellen, die Erkennung von Anomalien sowie die risikobasierte Priorisierung für Überprüfungen vor Ort. Die drohnengestützte Überprüfung der Datensätze des Wohnbauprogramms im Rahmen des „Pradhan Mantri Awas Yojana“ (PMAY, ein Programm der indischen Regierung für bezahlbaren Wohnraum) an ausgewählten Standorten zeigte Diskrepanzen zwischen dem Baufortschritt der Häuser und der Freigabe von Mitteln.

Mithilfe einer Big-Data-Analyse der Gesamtbevölkerung stellten wir fest, dass etwa 3,6 Millionen Familien von den Leistungen wichtiger Sozialprogramme ausgeschlossen blieben, obwohl sie berechtigte Zielhaushalte waren – eine Erkenntnis, die mit herkömmlichen Stichproben- und Datenanalysemethoden unmöglich hätte zutage treten können. Dies unterstrich zudem, dass systemische Reformen der Zielgruppenauswahlmechanismen sowie der Koordination zwischen Programmen notwendig sind, und zeigte, wie integrierte Analysen für evidenzbasierte Erkenntnisse über den Erfolg von Sozialleistungen und eine gerechte Reichweite der Leistungen sorgen können.

Fallstudie 2: „Artifacial Intelligence“ – KI-gestütztes Bildanalyse-Tool

Bei der Überprüfung von Leistungsempfängerinnen und -empfängern im Rahmen von Sozialhilfeprüfungen wurde bislang üblicherweise auf strukturierte Datenfelder zurückgegriffen, um Anomalien aufzudecken. Ein wesentlicher Aspekt der Identität von Leistungsempfängerinnen und -empfängern blieb jedoch bislang völlig ungeprüft, nämlich die Fotos, die für nahezu jedes größere Sozialhilfeprogramm zusammen mit den Datensätzen gespeichert sind. Visueller Betrug wie die Wiederverwendung von Fotos, die Mehrfachregistrierungen ermöglicht, leere oder nicht-menschliche Bilder sowie Gruppenfotos, welche die Identität einzelner Personen verschleiern, stellen eine systematische Schwachstelle dar, die durch strukturierte Datenanalysen nicht aufgedeckt werden kann.

Das „Centre for Data Management and Analytics“ (dt. etwa „Zentrum für Datenmanagement und -analyse“), kurz CDMA, der ORKB Indien entwickelte ein KI-basiertes Bildanalyse-Instrumentarium namens „Artifacial Intelligence“ – Wortspiel aus „artificial“ für künstlich und „face“ für Gesicht –, das quelloffene Python-Bibliotheken für die bildbasierte Überprüfung der Begünstigten nutzt. Dieses Tool erkennt doppelte Bilder mittels „Perceptual Hashing“, kennzeichnet identische Fotos, die bei mehreren Registrierungen verwendet wurden (mit einem Schwellenwert einer 100-prozentigen Übereinstimmung zur Minimierung von falschpositiven Ergebnissen), erkennt fehlerhafte Bilder sowie Dateien mit gültigen Bilddateiendungen, die jedoch keine tatsächlichen Bilddaten enthalten, und führt Gesichtserkennung und Zählanalysen durch.

Die Anwendung basiert auf den Bibliotheken OpenCV, dlib und face_recognition und verfügt über eine mit PyQt6 gebaute grafische Benutzeroberfläche. Sie erfordert keinerlei Programmierkenntnisse, läuft auf Standard-Desktop-Computern und gibt die Ergebnisse als strukturierte CSV-Dateien oder organisierte Bildverzeichnisse aus. Ein Sankey-Diagramm² fasst die Analyseergebnisse für die Prüfungsberichterstattung visuell zusammen.

Im Rahmen einer Wirtschaftlichkeitsprüfung verarbeitete das Tool 238.000 Fotos, die mit 119.000 Begünstigten verknüpft waren. Dabei wurden systemische Mängel in der IT-Infrastruktur des Programms aufgedeckt, wie Bildduplikate und ungültige Einträge, die einen Sozialhilfemissbrauch ermöglichen könnten. Die Ergebnisse flossen direkt in die Prüfungsfeststellungen sowie die maßnahmenbezogenen Empfehlungen, die Fotoüberprüfungen in den IT-Systemen von Sozialhilfeprogrammen zu stärken, ein.

Fallstudie 3: Prüfungen des elektronischen Beschaffungswesens mithilfe von Maschinenlernalgorithmen

Das öffentliche Beschaffungswesen gehört nach wie vor zu den Bereichen mit dem höchsten Risiko für staatliches Versagen. Angebotsabsprachen, Kartellbildung, Rotation von Geboten, Scheingebote und vorgeschobene Anbieter sind hartnäckige Risiken, die bei herkömmlichen Beschaffungsprüfungen nur schwer zu erkennen sind. Eine Prüfung jedes einzelnen Angebots, so gründlich sie auch sein mag, kann die für systematische Absprachen charakteristischen Muster auf Netzwerkebene nicht aufdecken.

Die ORKB Indien entwickelte ein beziehungsorientiertes Netzwerkanalyse-Rahmenwerk für Prüfungen des elektronischen Beschaffungswesen, in das drei sich ergänzende Analysetechniken einbezogen werden. Die graphenbasierte Netzwerkanalyse, modelliert als miteinander verbundene Knoten und Ränder, ermöglicht die Visualisierung dichter Bietercluster, dominanter Anbieternetzwerke und ungewöhnlich enger Beschaffungsbeziehungen. Die Mustererkennung unter Verwendung des Apriori-Algorithmus³ dient dazu, wiederkehrende Bieter-Kombinationen über mehrere Ausschreibungen hinweg zu ermitteln. Die Stellen wurden mittels Fuzzy-Matching – einer Technik zur Ermittlung und Verknüpfung von Datenstrings, die zwar keine exakte Übereinstimmung aufweisen, aber wahrscheinlich zu derselben Stelle gehören – abgeglichen und zusammengeführt. Dabei wurden Bieternamen, Adressen und Registrierungsdaten gegenübergestellt, um doppelte Bieteridentitäten sowie verborgene Beziehungen zwischen scheinbar unabhängigen Bietern aufzudecken.

Das Rahmenwerk beruht vollständig auf quelloffenen Technologien wie der Programmiersprache R und Python-Bibliotheken⁴, wodurch sowohl Skalierbarkeit als auch Kosteneffizienz gewährleistet wurden. Mit dieser Methode konnte das Beschaffungsverhalten vollumfänglich analysiert werden, wobei verborgene Verbindungen zwischen Bietern, Muster, die auf Angebotsabsprachen hindeuten, sowie systemische Risiken aufgedeckt wurden, die bei einer herkömmlichen Überprüfung nicht zutage getreten wären. Zudem bauten wir durch standardisierte Vorlagen für die Arbeitsabläufe institutionelle Analysekompetenzen aus und verkleinerten so die fachlichen Hürden für spätere Prüfteams.

Fallstudie 4: OCR und KI-gestützte Dokumentenanalyse

Ein charakteristisches Merkmal von Prüfungen großer Verwaltungssysteme ist die schiere Menge an unstrukturiertem Nachweismaterial wie gescannten Bescheinigungen, handschriftlichen Sparbüchern, Rechnungen, Festsetzungsbescheiden etc. Die manuelle Prüfung dieser Nachweise ist zeitaufwendig, fehleranfällig und von Natur aus in ihrem Umfang begrenzt.

Die ORKB Indien setzte optische Zeichenerkennung (Optical Character Recognition; OCR) in zwei unterschiedlichen Prüfungsbereichen ein. Sie wurde für Sozialhilfeprüfungen und Prüfungen der Dokumentenintegrität eingesetzt, wobei zweisprachige OCR (Hindi und Englisch) mit Computerlinguistik sowie Computer Vision kombiniert wurde, um Text aus Bescheinigungen von Leistungsempfängerinnen und -empfängern, Sparbüchern sowie zugehörigen Dokumenten extrahieren und analysieren zu können. In einem forensischen Schritt werden Manipulationsindikatoren wie Spuren von Bleichmittel, veränderte Unterlagen und doppelte Fotos erkannt, während textuelle sowie visuelle Nachweise zu nachvollziehbaren, KI-gestützten Prüfungsschlussfolgerungen zusammengeführt werden. In ähnlicher Weise extrahiert die OCR bei Prüfungen direkter Steuern und von Rechnungsabschlüssen strukturierte Daten aus Steuerprüfberichten, Rechnungen, Berechnungsblättern und Rechnungsabschlüssen als PDF-Format oder gescannte Dokumente. Die extrahierten Daten werden standardisiert, über die Quelldokumente hinweg abgeglichen und auf Besonderheiten und Unstimmigkeiten analysiert. Es werden spezielle Überprüfungen durchgeführt, darunter die Kontrolle von Rechnungsstichtagen sowie der Abgleich zwischen Einkommensteuererklärungen und Steuerprüfberichten etc.

Dies verringerte den manuell zu bewältigenden Prüfungsaufwand erheblich, beschleunigte die Nachweisverarbeitung, verbesserte die Erkennung von Hinweisen auf Betrug und erweiterte den Prüfungsumfang.

Praktische Wege für ORKB: erste Schritte in Richtung Prüfungsinnovation

Die Erfahrungen der ORKB Indien mit diesen vier Initiativen liefern praktische Erkenntnisse. Die erste Phase ist analytischer Natur und grundlegend: Hier können ORKB zunächst die Verfügbarkeit, Qualität sowie Zugänglichkeit der digitalen Daten von überprüften Stellen beurteilen. ORKB sollten ihre internen Analysekapazitäten ehrlich einschätzen: Welche Kompetenzen sind vorhanden, welche Tools werden bereits genutzt und welche Lücken müssen geschlossen werden?

Die zweite Phase beinhaltet gezielte Experimente. Anstatt sofort einen institutionsweiten Wandel anzustreben, sind ORKB besser beraten, einen spezifischen Prüfungsbereich festzulegen, in dem digitale Daten verfügbar sind und die Prüfungsfrage klar definiert ist.

Die dritte Phase ist die methodische Konsolidierung. Erfolgreiche Pilotprojekte müssen in wiederverwendbaren Rahmenwerken festgeschrieben werden: dokumentierte Arbeitsabläufe, standardisierte Skripte, Prüfungsvorlagen sowie Qualitätssicherungsvorgaben, die es späteren Teams ermöglichen, die Methode zu reproduzieren und anzupassen, ohne sie von Grund auf neu entwickeln zu müssen. In dieser Phase gehen Innovationen von individuellem Fachwissen zu institutioneller Kompetenz über.

In der vierten und entscheidendsten Phase geht es um Kompetenzen und Kultur. ORKB müssen in strukturierte Schulungsprogramme zur Förderung der analytischen Kompetenzen des gesamten Prüfungspersonals investieren. Das bedeutet nicht, sämtliche Prüferinnen und Prüfer zu Datenwissenschaftlerinnen und -wissenschaftlern auszubilden, sondern sicherzustellen, dass Analysetools verstanden, als zuverlässig angesehen sowie mit professionellem Urteilsvermögen eingesetzt werden.

Fazit

Der digitale Wandel von Verwaltungssystemen erfordert einen entsprechenden Wandel in der staatlichen Finanzkontrolle. Die Erfahrungen der ORKB Indien zeigen, dass neue Technologien wie Drohnen, Bildanalysen, KI- und maschinelle Lernverfahren gemeinsam dazu beitragen können, Prüfungskompetenzen von einer reaktiven Transaktionskontrolle hin zu einer proaktiven, informationsgestützten Aufsicht zu verlagern.

Da Verwaltungssysteme immer komplexer und digital vernetzter werden, werden jene ORKB den größten öffentlichen Nutzen erzielen, die schon heute in die Tools, Techniken und die institutionelle Kultur investieren, die für die Prüfungsherausforderungen von morgen benötigt werden. Der Wandel hat begonnen; nun gilt es, ihn zu beschleunigen und sich daran zu beteiligen.

Fußnoten

1.  Die Aadhaar-Nummer ist eine einmalige 12-stellige Identifikationsnummer, die den Einwohnerinnen und Einwohnern Indiens ausgestellt wird. ↩︎
2.  Ein Sankey-Diagramm ist ein visuelles Flussdiagramm, bei dem die Breite der Pfeile direkt proportional zur Durchfluss- oder Datenmenge ist. ↩︎
3.  Unüberwachter Maschinenlernalgorithmus ↩︎
4.  Python-Bibliotheken wie NetworkX, igraph und tidygraph ↩︎