Warum ein KI-Review kein Gutachten ist
Aktualisiert am 13.10.2026
Die naheliegende Idee: Wenn eine KI den Code geschrieben hat, lässt man eine andere KI ihn prüfen. Das ist nicht falsch — es ist nur kein Gutachten. Wer KI-gebaute Software ernsthaft bewerten will, braucht drei Arten von Prüfung, die sich gegenseitig kontrollieren.
Das Problem mit KI-Reviews allein
- Sie klingen immer überzeugend. Ein Sprachmodell formuliert eine Vermutung genauso flüssig wie eine Tatsache. Ohne Gegenprobe ist nicht zu unterscheiden, was stimmt.
- Sie sind nicht reproduzierbar. Dieselbe Frage, zweimal gestellt, liefert unterschiedliche Befundlisten. Für eine Nachprüfung, die zeigen soll, dass ein Mangel behoben ist, taugt das nicht.
- Sie teilen die blinden Flecken. Ein Modell, das beim Schreiben eine Sicherheitslücke für normal hielt, hält sie beim Prüfen womöglich auch für normal.
- Sie verstärken falsche Sicherheit. Die Stanford-Studie von Perry und Kollegen zeigte: Wer mit KI-Unterstützung programmiert, schätzt die Sicherheit des eigenen Codes eher zu hoch ein. Ein KI-Review mit «sieht gut aus» verstärkt genau diesen Effekt.
Das Problem mit Werkzeugen allein
Statische Analyse, Schwachstellen-Scanner und Secret-Scanner sind reproduzierbar und gründlich — und liefern Listen mit hunderten Treffern, von denen viele nicht ausnutzbar sind. Vor allem aber sehen sie die wichtigste Klasse von Fehlern in Vibe-Code kaum: Logikfehler. Dass ein Endpunkt zwar die Anmeldung prüft, aber nicht, ob der Datensatz der angemeldeten Person gehört, ist für einen Scanner meist kein Muster, sondern korrekter Code.
Wie es zusammen funktioniert
| Deterministisch | Heuristisch / KI | Mensch | |
|---|---|---|---|
| Stärke | reproduzierbar, vollständig, schnell | versteht Zusammenhänge, findet Logikfehler, erzeugt Testideen | urteilt, gewichtet, verantwortet |
| Schwäche | viele Fehlalarme, blind für Logik | nicht reproduzierbar, kann irren | langsam, teuer |
| Rolle im Gutachten | Messwerte und Belege | Hypothesen und Missbrauchsfälle | Verifikation und Urteil |
Der entscheidende Schritt ist der Übergang von der Hypothese zum Befund: Eine KI kann vorschlagen, dass Endpunkt X fremde Daten herausgibt. Zum Befund wird das erst, wenn jemand es am Testsystem mit einem zweiten Konto ausprobiert hat. Unsere Regel dafür ist einfach: Kein Befund ohne Beleg — Fundstelle, Schritte, Auswirkung, Massnahme.
Wofür wir KI beim Prüfen einsetzen
- Als Angreifer: Modelle in getrennten Rollen suchen Wege hinein. Kein Modell bewertet seine eigene Arbeit.
- Als Testgenerator: Aus Routen und Rollen entstehen konkrete Missbrauchsfälle, die gegen das Testsystem laufen.
- Als Leser: Abgleich von Dokumentation und Code — KI-geschriebene READMEs beschreiben oft die Absicht, nicht den Stand.
Und dafür nicht: um ein Urteil zu fällen. Das bleibt bei einem Menschen, der es mit seinem Namen vertritt.