Vom Mysterium zur Anwendung: Wie die ORKB Schweden KI in ihrer Wirtschaftlichkeitsprüfung einsetzt

Autorin: Christina Gellerbrant Hagberg, Leiterin der Obersten Rechnungskontrollbehörde Schweden (Riksrevisionen)

Einleitung: KI entmystifizieren

In Obersten Rechnungskontrollbehörden steht bei Gesprächen über künstliche Intelligenz (KI) oft der technologische Aspekt im Mittelpunkt. In diesen Diskussionen stehen Modelle, Dateninfrastruktur, Governance-Rahmenwerke und künftiges Potenzial im Vordergrund. Über der Debatte um KI hängt bis zu einem gewissen Maß oft ein mysteriöser Schleier; praktische Anwendungen geraten dabei leicht in einen Topf mit eher visionären Ideen wie autonomen Agenten oder sogar Quantencomputern. Vielen Prüferinnen und Prüfern kann KI dadurch komplex – manchmal sogar einschüchternd – vorkommen.

Deshalb haben wir in der Obersten Rechnungskontrollbehörde Schweden (ORKB Schweden) letztes Jahr bewusst einen anderen Ansatz gewählt. Anstatt uns auf abstrakter Ebene mit KI zu befassen, wollten wir sie entmystifizieren – indem wir wieder in den Vordergrund gestellt haben, wie sie in der staatlichen Finanzkontrolle eingesetzt werden kann.

Nachdem Copilot von Microsoft in der gesamten Organisation sechs Monate lang verwendet wurde – und zwar sowohl großflächig als auch umfassender in der Wirtschaftlichkeitsprüfung –, haben wir begonnen, uns ein klareres Bild zu verschaffen. Unsere Erfahrung zeigt, dass der eigentliche Wandel in erster Linie nicht technologischer Natur ist, sondern vielmehr mit der Einstellung der Mitarbeiterinnen und Mitarbeiter zu tun hat.

Eine strategische Entscheidung: Praxis vor Theorie

Zu Beginn der Einführung von Copilot hat die ORKB Schweden eine eindeutige organisatorische Entscheidung getroffen: Wir haben KI weder als groß angelegtes Transformationsprogramm noch als technisches Entwicklungsprojekt dargestellt. Stattdessen haben wir uns für einen Ansatz entschieden, der auf drei einfachen Prinzipien beruht:

• Verwendung bestehender, sicherer Tools – in erster Linie Copilot.
• Schwerpunkt auf praktischem statt auf theoretischem Lernen.
• Förderung des Ausprobierens im Arbeitsalltag.

Dieser Ansatz verkörpert eine grundlegende Erkenntnis über berufliche Weiterbildung: Prüferinnen und Prüfer eignen sich professionelles Urteilsvermögen nicht durch das Lesen von Richtlinien an, sondern in der Praxis.

Es ist nicht notwendig, den zugrunde liegenden Code zu verstehen

Es ist sinnvoll, eine Unterscheidung zu treffen zwischen der Prüfung von KI-Modellen an sich und der Bewertung, wie Organisationen KI zur Verbesserung ihrer Abläufe einsetzen.

In einigen seltenen Fällen kann das KI-Modell selbst Gegenstand der Prüfung sein, beispielsweise wenn sich eine Behörde bei ihrer Entscheidungsfindung auf einen Algorithmus verlässt. In solchen Fällen ist unter Umständen ein gewisses Maß an technischem Verständnis erforderlich, um die Funktionsweise des Modells und die damit verbundenen Risiken zu beurteilen. Diese Art der Prüfung kommt im Bereich der Wirtschaftlichkeitsprüfung allerdings relativ selten vor.

Häufiger liegt der Schwerpunkt darauf, wie Organisationen KI im Rahmen umfassenderer Maßnahmen zur Steigerung von Effizienz und Wirksamkeit einsetzen. In Bezug auf diese Prüfungen unterscheidet sich KI nicht grundlegend von anderen Ausformungen der Digitalisierung. Relevante Prüfungsfragen betreffen Governance, Risikomanagement, interne Kontrollen, diesbezügliche Weiterbildung und Follow-up-Mechanismen: Testen und überprüfen Organisationen ihren KI-Einsatz, bewerten sie Risiken, bewältigen sie unbeabsichtigte Auswirkungen und stellen sie sicher, dass die Technologie zu den angestrebten Ergebnissen beiträgt?

Die Prüfung von KI erfordert keine völlig neuen Prüfungsinstrumente – vielmehr müssen etablierte Prüfungsansätze auf eine neue Art von Instrument angewendet werden. Wie auch in anderen Bereichen der Digitalisierung liegt der Schwerpunkt darauf, wie die Organisation arbeitet, und nicht auf den internen Funktionsweisen der Technologie selbst.

Die wichtigste Schlussfolgerung daraus ist, dass die meisten Prüferinnen und Prüfer KI auf technischer Ebene nicht tiefgreifend verstehen müssen. Was sie benötigen, ist die Fähigkeit, zu beurteilen, wie Organisationen KI regulieren und wie sie diese in der Praxis einsetzen. Dabei sollten sie sich auf dieselben Grundsätze stützen, die Wirtschaftlichkeitsprüfungen im Allgemeinen zugrunde liegen.

KI – ein Thema für die Führungsebene

Eine unserer wichtigsten Erkenntnisse war, dass es bei der Einführung von KI weniger um Technologie und vielmehr um Führung geht. In der ORKB Schweden bedeutet dies, dass sich die Führungsebene darauf konzentriert hat, Rahmenbedingungen für Weiterbildung zu schaffen, Hindernisse fürs Ausprobieren abzubauen, Erwartungen und Zuständigkeiten zu klären sowie unnötige Ängste und Unsicherheiten zu verringern.

Ausprobieren zu fördern bedeutet nicht, Kontrollen abzubauen. Unser Ansatz stützt sich auf eine Kombination aus Freiheit und klaren Grenzen. Das Prüfungspersonal wird dazu ermutigt, in seinem Arbeitsalltag zu experimentieren. Allerdings behält menschliches Urteilsvermögen weiterhin die volle Kontrolle über alle Schlussfolgerungen. Außerdem dürfen KI-Tools nicht zur Verarbeitung sensibler oder vertraulicher Daten verwendet werden.

Dieser Ansatz der „verantwortungsbewussten Freiheit“ hat sich als entscheidend erwiesen. Er ermöglicht es, zu lernen, und gewährleistet gleichzeitig Vertrauen, Rechenschaftspflicht sowie die Einhaltung von Vorschriften.

Was KI tatsächlich unterstützt

In der Praxis hat sich KI am nützlichsten erwiesen, wenn sie als Hilfsmittel eingesetzt wird. Unsere Wirtschaftlichkeitsprüferinnen und -prüfer nutzen KI, um:

• Ideen zu strukturieren und zu verfeinern;
• große Textmengen zu analysieren;
• Dokumente und Interviews zusammenzufassen;
• Klarheit und Sprachstil von Berichten zu verbessern;
• ursprüngliche Annahmen zu hinterfragen.

Dies hat oft den Nebeneffekt höherer Erwartungen hinsichtlich Klarheit und Argumentationslinie. Wenn Argumente schneller überprüft und alternative Erklärungen leichter erstellt werden können, erhöht dies die analytischen Anforderungen. In unserem nächsten Schritt wollen wir erforschen, wie Prüfungen der Rechnungsführung durch KI unterstützt werden können.

Qualität, Risiko und Verantwortung

Eine häufig gestellte Frage ist, wie sich KI auf Verantwortung auswirkt. In der ORKB Schweden haben wir klar Stellung bezogen: KI ändert nichts an den grundlegenden Prinzipien der Prüfungsverantwortung.

Die Prüferin bzw. der Prüfer trägt weiterhin die volle Verantwortung für alle Schlussfolgerungen. KI-Ergebnisse werden lediglich als Vorschläge eines sehr hilfreichen „Praktikanten“ oder einer äußerst nützlichen „Co-Pilotin“ betrachtet. KI-Ergebnisse müssen stets kritisch überprüft und validiert werden.

Risiken wie Fehler oder Vorurteile bestehen. Sie sollten allerdings genauso gehandhabt werden wie alle anderen Risiken – mit professioneller Skepsis und durch Überprüfung.

Eine der größten praktischen Herausforderungen betrifft Daten. Viele der in der staatlichen Finanzkontrolle verwendeten Datensätze sind vertraulich oder als geheim eingestuft und viele moderne KI-Tools werden in Cloud-Umgebungen betrieben. Dies führt zu Einschränkungen bei der Nutzung. Unser Ansatz ist pragmatisch: Anstatt auf perfekte Lösungen zu warten, konzentrieren wir uns auf das, was mit den derzeitigen Einschränkungen machbar ist.

Sechs Monate nach der Einführung: erste Beobachtungen

Nach sechs Monaten im operativen Einsatz zeichnen sich mehrere Muster ab. Prüferinnen und Prüfer finden zunehmend ihre eigenen relevanten Anwendungsfälle. KI ist bei alltäglichen Aufgaben nützlicher als bei isolierten Pilotprojekten. Das Erlernen erfolgt eher in der praktischen Anwendung und im Dialog als durch formelle Schulungen. Das vermeintlich Mysteriöse der KI löst sich in Luft auf, sobald die Prüferinnen und Prüfer beginnen, sie zu nutzen.

Die wichtigste Erkenntnis der ORKB Schweden ist simpel: Beginnen Sie nicht mit einem technischen Ansatz, sondern mit einem praktischen. Damit KI nützlich ist, muss ihre technische Funktionsweise nicht vollständig verstanden werden. Entscheidend ist, wie sie in alltägliche Aufgaben integriert wird, ob das Erlernen unterstützt wird und dass die Prüfungsverantwortung gewahrt bleibt.

KI bildet keinen Ersatz für fachliches Urteilsvermögen. Sie verändert die Art und Weise, wie dieses Urteilsvermögen zustande kommt und angewendet wird – was in erster Linie ein Thema für die Führungsebene ist.