Wenn das Sprachmodell den Projektaufwand nennt: was dabei wirklich passiert

Was kommt heraus, wenn man ein Sprachmodell nach dem Projektaufwand fragt?

Eine Zahl, die plausibel aussieht und nicht aus einer Rechnung stammt.

Wir haben das im August 2026 nachgemessen. Drei Projektarten in fünf Zuschnitten, jede Anfrage so formuliert, wie eine Projektleiterin oder ein Projektleiter sie stellen würde, 36 unabhängige Läufe, jeder in einer eigenen Sitzung ohne gemeinsame Historie. Gefragt wurde jeweils nach Gesamtdauer, Projektphasen, Dauer je Phase und Gesamtstunden. Getestet wurde ein Modell, Claude Opus 5, an einem Tag.

Der auffälligste Einzelbefund steht in der ERP-Reihe. Ein Unternehmen mit 25 Mitarbeitern erhält für die Einführung 1.450 Stunden, eines mit 250 Mitarbeitern im Median 14.500. Das sind in beiden Fällen exakt 58 Stunden je Mitarbeiter. Beim Konzern mit 4.000 Mitarbeitern sind es 41 Stunden je Kopf, also derselbe Ansatz mit einem Skalenabschlag.

Was in keine dieser Zahlen eingeht: Zustand des Altsystems, Qualität der Stammdaten, Zahl der Schnittstellen, Verfügbarkeit der Key-User, Fertigungstiefe. Nichts davon stand in der Anfrage, und in keinem der 36 Läufe hat das Modell danach gefragt. Es hat geantwortet.

Warum diese Frage gerade jetzt gestellt wird

In der Kostenanalytik lassen sich Hardwarekosten gut analysieren. Stücklisten, Fertigungszeiten, Materialpreise: Größen, die sich addieren und für die es belastbare Vergleichswerte gibt. Die eigentliche Schwierigkeit sitzt bei den Einmalleistungen, also bei dem Teil eines Vorhabens, der einmal entwickelt und nie wieder genauso gebaut wird.

Für diesen Teil gab es über Jahre kein Verfahren, das über die Schätzung erfahrener Fachleute hinausging. Wer den Aufwand eines Entwicklungsvorhabens früh beziffern musste, hatte die Wahl zwischen einer groben Analogie zu einem früheren Projekt und einer Zahl, die im Zweifel aus der Verhandlung stammte. Das ist keine Schwäche der Beteiligten, sondern eine Lücke im Methodenbestand.

Genau deshalb ist ein Werkzeug verführerisch, das auf dieselbe Frage in Sekunden eine vollständig ausformulierte Antwort liefert, mit Phasen, Dauern und Stunden. Es füllt eine Lücke, die es tatsächlich gibt, und es füllt sie in einer Form, die nach Arbeit aussieht. Der Vergleich fällt leicht gegen ein Verfahren, das nie existiert hat. Das macht es nötig, genauer hinzusehen, was in dieser Antwort steckt.

Warum ist eine reproduzierbare Antwort kein gutes Zeichen?

Weil die Wiederholbarkeit nicht daher kommt, dass gerechnet wurde, sondern daher, dass eine Faustformel angewendet wurde.

Für die Steuerungssoftware einer Luft-Wasser-Wärmepumpe nannten alle zehn Läufe dieselbe Gesamtdauer von 18 Monaten und denselben Aufwand von 14.500 Stunden. Zehnmal derselbe Wert, ohne jede Abweichung. Dieselben 14.500 Stunden waren zuvor als Ergebnis für eine ERP-Einführung bei 250 Mitarbeitern erschienen, ein sachlich vollkommen unverwandtes Vorhaben.

Das ist die unangenehmere Variante des Problems. Eine schwankende Antwort fällt jedem auf, der zweimal fragt. Eine stabile Antwort, die mit dem Vorhaben nichts zu tun hat, sieht wie ein Ergebnis aus und wird übernommen. Wer zur Kontrolle ein zweites Mal fragt, bekommt dieselbe Zahl und fühlt sich bestätigt.

Rechnet das Modell die Summe aus den Phasen?

Nein. In der Wärmepumpen-Reihe widerspricht jede der zehn Antworten sich selbst.

Genannt werden durchgängig 18 Monate. Zählt man die in derselben Antwort aufgeführten Phasen zusammen, kommt man auf 22 bis 27 Monate. Kein Lauf vermerkt, dass Phasen parallel laufen. Über alle 36 Läufe hinweg passen 21 Antworten nicht zusammen.

Daraus lässt sich der Mechanismus ablesen. Die Gesamtzahl entsteht nicht aus den Phasen. Sie steht zuerst da, die Phasenliste wird danach erzeugt. Deshalb passt die Begründung nicht zur Zahl, sondern liest sich nur so, als täte sie es.

Wo die Antwort schwankt, ist sie ehrlicher

Bei der Hardwareentwicklung eines Smartphones lagen die zehn Antworten zwischen 92.000 und 195.000 Stunden. Zwischen der niedrigsten und der höchsten liegt der Faktor 2,1.

Das ist genau das Vorhaben, für das es die wenigsten branchenüblichen Vorlagen gibt. Daraus lässt sich eine Regel ableiten, die die drei Reihen verbindet: Je vertrauter das Genre, desto stabiler die Antwort. Die Stabilität kommt aus der Vorlage, nicht aus dem Vorhaben. Wo keine Vorlage existiert, wird die Streuung sichtbar, und dieser Zustand ist der aufrichtigere von beiden.

Für die Praxis heißt das etwas Unbequemes. Die Antworten, denen man am ehesten traut, weil sie sich bei Nachfrage bestätigen, sind die, in denen am wenigsten vom eigenen Vorhaben steckt. Und die Antworten, die durch ihre Streuung misstrauisch machen, zeigen wenigstens an, dass die Grundlage dünn ist. Das Vertrauen verteilt sich also genau falsch herum.

Was sagt die Forschung über Unsicherheitsangaben von Sprachmodellen?

Dass sie systematisch zu eng ausfallen. Epstein und Kollegen haben über mehrere aktuelle Modelle hinweg geprüft, wie oft ein vom Modell angegebenes Konfidenzintervall den wahren Wert tatsächlich enthält. Nominale 99-Prozent-Intervalle deckten ihn im Mittel nur in 65 Prozent der Fälle ab.

Bahaj und Kollegen haben dieselbe Eigenschaft von einer anderen Seite geprüft und einen Befund erhoben, der sich in Sekunden selbst nachstellen lässt: Es gibt keinen Zusammenhang zwischen der Breite des ausgegebenen Intervalls und dem geforderten Konfidenzniveau. Wer nach einem 50-Prozent-Intervall fragt und danach nach einem 95-Prozent-Intervall, bekommt ungefähr dasselbe.

Für den Einkauf kommt ein dritter Befund hinzu. Lou und Sun haben den Ankereffekt an GPT-4 und Gemini nachgewiesen: Eine im Prompt genannte Zahl zieht die Antwort zu sich, und gängige Gegenmittel wie Chain-of-Thought oder Reflection genügen nicht, um das zu unterbinden. Wer ein Lieferantenangebot in die Anfrage kopiert und um eine Einschätzung bittet, bekommt mit einiger Wahrscheinlichkeit eine Bestätigung des Angebots zurück.

In unserer eigenen Reihe trat die Frage nach der Unsicherheit gar nicht erst auf: Alle 36 Antworten waren Punktschätzungen. Keine nannte eine Spanne, keine eine Wahrscheinlichkeit, keine einen Vorbehalt.

Können Sprachmodelle den Aufwand denn gar nicht schätzen?

Doch, und diese Einschränkung ist wichtig. Der Befund oben gilt für die Situation ohne Vorbereitung, nicht für das Werkzeug an sich.

Tawosi und Kollegen haben für die Story-Point-Schätzung untersucht, was passiert, wenn man einem Modell gezielt ausgewählte Beispiele mitgibt, statt es ohne Vorlage zu fragen. Über drei Datensätze hinweg sank der mittlere absolute Fehler gegenüber der Antwort ohne Beispiele um durchschnittlich 59,34 Prozent. Anders gesagt: Die Antwort ohne Vorbereitung ist das schwächste erreichbare Ergebnis, und sie ist zugleich die Variante, die im Alltag am häufigsten verwendet wird.

Dasselbe Bild zeigt sich in der eigenen Entwicklungsarbeit. Über ein halbes Jahr hinweg ließ sich die Streuung deutlich verringern, indem an bestimmten Stellen Informationen und feste Berechnungsschritte vorgegeben wurden. Der Preis dafür ist allerdings genau das, wofür man ein Sprachmodell einsetzt: Wiederholbarkeit entsteht dadurch, dass dem Modell Entscheidungsspielraum genommen wird.

Was leistet diese Testreihe nicht?

Sie sagt nichts über Treffgenauigkeit. Es wurden keine tatsächlichen Aufwände gegengehalten, es gibt also keine Referenz, gegen die eine Abweichung gemessen worden wäre. Gemessen sind Reproduzierbarkeit und innere Schlüssigkeit, mehr nicht.

Sie sagt auch nichts über andere Modelle. Getestet wurde eines, an einem Tag, in einer Umgebung, ohne Kontrolle über die Temperatur. 36 Läufe sind eine Stichprobe, keine Erhebung. Die Fragen im Wortlaut und die Einzelwerte geben wir auf Anfrage weiter.

Und sie sagt nichts darüber, wozu ein Sprachmodell sonst taugt. Unterlagen ordnen, Strukturen erkennen, Formulierungen vereinheitlichen: Das sind Aufgaben, bei denen es stark ist. Die Zahl am Ende ist keine davon.

Was daraus folgt

Wer eine Kalkulation braucht, die wiederholbar und begründbar ist, sollte ein Sprachmodell nicht ohne Vorbereitung danach fragen. Der Rückgriff auf eigene Altprojekte oder die Schätzung einer erfahrenen Fachkraft ist der besseren Zahl näher, und sie ist wenigstens nachvollziehbar zustande gekommen.

Wer trotzdem eines einsetzen möchte, verkleinert die Streuung mit jeder Information, die das Modell nicht erfinden muss: eine feste Projektstruktur, Stunden- und Maschinensätze, bekannte Dauern einzelner Phasen, Altdaten aus Vorprojekten. Und mit einer Probe, die nichts kostet: die genannten Phasen addieren und mit der genannten Gesamtdauer vergleichen. In mehr als der Hälfte unserer Läufe fällt der Widerspruch dabei auf.

Der zweite Weg ist ein anderer Umgang mit derselben Ausgangslage. Statt die Unsicherheit durch immer engere Vorgaben wegzudrücken, lässt sie sich abbilden und durchrechnen. Eine simulationsbasierte Projektkalkulation liefert keine einzelne Zahl, sondern den Rahmen, in dem sich der Aufwand zwischen einem günstigen und einem ungünstigen Verlauf bewegt, und benennt die Treiber, die ihn dorthin bewegen. Diese Bandbreite ist vollständig, nicht vorsichtig: Wo Sie innerhalb davon planen, entscheiden Sie.

Der Unterschied ist keine Frage der Rechenschärfe, sondern der Fragestellung. Eine Kalkulation sucht für jeden Posten die möglichst präzise Punktschätzung und hofft, damit nah an der Wirklichkeit zu liegen. Eine Simulation fragt stattdessen, wo die Unsicherheiten sitzen, wie sie zusammenwirken und was sich an ihnen ändern lässt. Wie das im Einzelnen aussieht, steht auf unserer Seite zur Projektkalkulation.

Die Grenze bleibt in beiden Fällen dieselbe: Bekannte Unsicherheit lässt sich gezielt verkleinern. Unbekannte nicht.

Quellen

• Elliot L. Epstein, John Winnicki, Thanawat Sornwanee, Rajat Dwaraknath, LLMs are Overconfident: Evaluating Confidence Interval Calibration with FermiEval, arXiv 2510.26995 (Oktober 2025) — nominale 99-Prozent-Intervalle decken den wahren Wert im Mittel nur zu 65 Prozent ab, geprüft an Fermi-Schätzfragen über mehrere aktuelle Modelle.
• Adil Bahaj, Hamed Rahimi, Mohamed Chetouani, Mounir Ghogho, Gauging Overprecision in LLMs: An Empirical Study, arXiv 2504.12098 (April 2025) — Sprachmodelle sind für numerische Aufgaben unkalibriert; kein Zusammenhang zwischen Intervallbreite und gefordertem Konfidenzniveau.
• Jiaxu Lou, Yifan Sun, Anchoring Bias in Large Language Models: An Experimental Study, arXiv 2412.06593 (Dezember 2024) — Ankereffekt bei GPT-4 und Gemini; Chain-of-Thought, Reflection und verwandte Verfahren genügen zur Abschwächung nicht.
• Vali Tawosi, Salwa Alamir, Xiaomo Liu, Search-based Optimisation of LLM Learning Shots for Story Point Estimation, SSBSE (März 2024) — gezielt ausgewählte Beispiele senken den mittleren absoluten Fehler gegenüber der Antwort ohne Beispiele über drei Datensätze hinweg um durchschnittlich 59,34 Prozent.
• Costmark, eigene Testreihe (25. August 2026) — drei Projektarten in fünf Zuschnitten, 36 unabhängige Läufe an Claude Opus 5, je Lauf eine eigene Sitzung ohne gemeinsame Historie; erhoben wurden Gesamtdauer, Phasen, Phasendauern und Gesamtstunden. Prompts im Wortlaut und Einzelwerte auf Anfrage.