Leitsatz A4: KI-generierte Inhalte fachlich prüfen

Typ: Häufig nachgefragt

Nutzende prüfen KI-generierte Inhalte vor der weiteren Verwendung fachlich.

Bei der behördlichen Nutzung sind für Arbeitsergebnisse, die mit Hilfe von KI erstellt werden, die gleichen Qualitätsstandards einschlägig, wie für Arbeitsergebnisse, die ohne KI erstellt werden. Mit Hilfe von KI generierte Arbeitsergebnisse gelten weiterhin als Arbeitsergebnisse des jeweiligen Mitarbeitenden. Das heißt, Nutzende tragen die gleiche Verantwortung für Rechtmäßigkeit und Qualität ihrer Arbeit, wie sonst bei der Erledigung von Aufgaben üblich. Aus diesem Grund sollten Nutzende stets hinterfragen, welche Teile einer Aufgabe mit Hilfe eines KI-Systems gelöst werden können und wie sich die generierten Inhalte in die Arbeit einfügen lassen.


Umsetzung der fachlichen Prüfung am Beispiel von
LLM-Anwendungen:

  • Antworten und Inhalte, welche durch LLM-Anwendungen erzeugt werden, sind daher durch die Nutzenden in Abhängigkeit zu dem konkreten Einsatzbereich und Einsatzzweck fachlich zu prüfen und bei Bedarf zu überarbeiten. Nur so können die Qualitätsstandards und Rechtmäßigkeit der behördlichen Arbeit garantiert werden.
  • Beim Einsatz von LLM-Anwendungen zur Zusammenfassung umfangreicher Dokumente bedeutet dies beispielsweise, dass Nutzende kritisch abwägen, in welchem Umfang eine Prüfung der ausgegebenen Zusammenfassung auf Basis des Originaldokuments erforderlich ist. Der notwendige Umfang einer solchen Prüfung hängt vom Verwendungszweck ab. Im Falle der Nutzung von LLM-Anwendungen zu Recherchezwecken ist sicherzustellen, dass die eigene Fachexpertise ausreicht, um die Ausgaben kritisch zu hinterfragen. Dabei sollte beispielsweise überprüft werden:
    • Sind die generierten Informationen und Quellen fachlich korrekt? Es besteht beispielsweise die Gefahr des Halluzinierens des Modells. Das heißt, die LLM-Anwendung erzeugt fehlerhafte Ausgaben, gegebenenfalls sogar mit erfundenen Quellenangaben, die überzeugend als relevante Lösungen zur Fragestellung des Nutzenden präsentiert werden. Sollten die Bearbeitenden diesbezüglich unsicher sein, müssen die Informationen auf anderem Wege geprüft werden, beispielsweise durch den Einbezug eines fachkundigen Mitarbeitenden der fraglichen Behörde.
    • Enthalten generierte Inhalte personenbezogene Daten? Es gilt, dass generierte Inhalte mit personenbezogenen Daten nur im Einklang mit den datenschutzrechtlichen Bestimmungen weiterverwendet werden dürfen. [34]