Technische Führungskräfte gehen oft davon aus, dass die Integration von KI-Coding-Tools die Entwicklungszyklen automatisch beschleunigt. Aktuelle empirische Belege deuten jedoch darauf hin, dass die Realität differenzierter ist.
Eine kontrollierte Studie mit erfahrenen Open-Source-Entwicklern zeigt, dass KI-Unterstützung manchmal eher hinderlich als hilfreich sein kann und in realen Szenarien zu längeren Bearbeitungszeiten führt.
Kurz gesagt
- •
KI-Coding-Tools können die Bearbeitungszeit für erfahrene Entwickler im Vergleich zu manuellen Workflows um 19 % erhöhen.
- •
Benchmarks überschätzen oft die Fähigkeiten von KI, da sie die Reibungsverluste des realen Kontexts und die Anforderungen an menschliche Eingriffe (Human-in-the-Loop) ignorieren.
- •
Entwicklungsteams sollten Observability und menschliche Aufsicht priorisieren, um KI-bedingte Produktivitätsrückgänge in komplexen Codebasen zu verhindern.
Die Benchmark-Lücke
Standard-Benchmarks für KI-Coding basieren häufig auf in sich geschlossenen Aufgaben, denen die Komplexität großer Repositories fehlt. Diese Auswertungen priorisieren oft die algorithmische Effizienz gegenüber der unübersichtlichen Realität bestehender Codebasen.
Da diese Benchmarks ohne menschliche Interaktion ablaufen, berücksichtigen sie nicht die kleinen, iterativen Korrekturen, die Entwickler in Standard-Workflows durchführen. Diese Diskrepanz kann zu einer Überschätzung der KI-Leistung in Produktionsumgebungen führen.
Produktivitäts-Kompromisse in der Praxis
Für die Studie wurden 16 erfahrene Entwickler rekrutiert, um an Open-Source-Repositories mit über 1 Million Codezeilen zu arbeiten. Wenn diese Entwickler KI-Tools einsetzten, benötigten sie 19 % länger zur Lösung von Problemen als diejenigen, die ohne KI-Unterstützung arbeiteten.
Dieser Rückgang deutet darauf hin, dass der kognitive Aufwand für die Verwaltung der KI-Ausgabe – wie das Überprüfen von Vorschlägen oder das Korrigieren halluzinierter Muster – die Geschwindigkeitsvorteile der automatisierten Codegenerierung überwiegen kann. Für erfahrene Entwickler unterstreicht dies die Notwendigkeit einer strengen Evaluierung, bevor KI-Tools in den gesamten Entwicklungsteams skaliert werden.
Quelle
Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study
