Bewertung und Entscheidung
Aufgabe 5
Kritische Prüfung einer Bewertungsmatrix
80 % des Gewichts liegen auf Kriterien, die eher die Präsentation des Anbieters als die Lösung messen. Eine Nutzwertanalyse ohne Muss-Kriterien ist eine Scheingenauigkeit.
Fall
Eine Beratung legt folgende Nutzwertanalyse vor. Variante B erreicht den höheren Gesamtnutzen.
| Kriterium | Gewicht | Variante A | Variante B |
|---|---|---|---|
| Innovationsgrad | 40 % | 3 | 5 |
| Präsentationsqualität des Anbieters | 20 % | 2 | 5 |
| Zukunftsversprechen | 20 % | 3 | 5 |
| Anschaffungskosten | 10 % | 5 | 2 |
| Umsetzbarkeit | 10 % | 4 | 2 |
Nachgerechnet: Wie stabil ist das Ergebnis?
Gewichtet ergibt sich für A ein Nutzwert von 3,1 und für B von 4,4. Der Abstand wirkt eindeutig – er entsteht aber fast vollständig aus den drei „weichen“ Kriterien. Verschieben Sie die Gewichte und beobachten Sie, wie schnell sich das Ergebnis dreht.
Gewichte ausprobieren
- Innovationsgrad nicht überprüfbar40 %
- Präsentationsqualität des Anbieters nicht überprüfbar20 %
- Zukunftsversprechen nicht überprüfbar20 %
- Anschaffungskosten 10 %
- Umsetzbarkeit 10 %
Variante B liegt mit 1,30 Punkten vorn. 80 % des Gewichts entfallen auf nicht überprüfbare Kriterien.
Ergebnis: Sobald die anbieterbezogenen Kriterien an Gewicht verlieren, dreht sich die Rangfolge. Die Matrix entscheidet nicht – die Gewichtung tut es.
Teilaufgabe 1Problematische Kriterien
| Kriterium | Problem |
|---|---|
| Präsentationsqualität des Anbieters (20 %) | Misst die Vertriebsleistung, nicht die Lösung. Eine gute Präsentation sagt nichts über Funktion, Betrieb oder Kosten aus. |
| Zukunftsversprechen (20 %) | Bewertet Absichtserklärungen. Was nicht vertraglich zugesichert ist, darf nicht in eine Bewertung einfließen. |
| Innovationsgrad (40 %) | Innovation ist kein Selbstzweck der Verwaltung. Das höchste Gewicht liegt auf einem Kriterium ohne Bezug zum fachlichen Ziel. |
| Anschaffungskosten (10 %) | Betrachtet nur den Kaufpreis, nicht die Kosten über den Lebenszyklus (Betrieb, Lizenzen, Schulung, Migration). |
| Umsetzbarkeit (10 %) | Ist entscheidend für den Projekterfolg, aber auf 10 % abgewertet. |
Teilaufgabe 2Nicht ausreichend operationalisierte Kriterien
Ein Kriterium ist operationalisiert, wenn festgelegt ist, was gemessen wird, wie gemessen wird und welcher Messwert zu welcher Punktzahl führt. Das fehlt hier bei allen Kriterien:
- Innovationsgrad, Zukunftsversprechen, Präsentationsqualität: keine Messgröße, reine Einschätzung der bewertenden Person.
- Umsetzbarkeit: unklar, ob Zeit, Personalaufwand, Integrationsaufwand oder Risiko gemeint ist.
- Anschaffungskosten: als einziges Kriterium messbar, aber unklar, wie Euro-Beträge in Punkte übersetzt werden.
- Skala 1 bis 5: keine Beschreibung der Skalenstufen, keine Angabe, wer bewertet hat und auf welcher Datengrundlage.
Teilaufgabe 3Fehlende Muss-Kriterien
Muss-Kriterien (K.-o.-Kriterien) werden vor der Gewichtung geprüft. Wer sie nicht erfüllt, scheidet aus – egal, wie viele Punkte er sonst sammelt. Es fehlen u. a.:
Recht und Sicherheit
- Datenschutzkonformität (DSGVO, Auftragsverarbeitung)
- Informationssicherheit nach BSI IT-Grundschutz
- Vergaberechtliche Zulässigkeit
- Barrierefreiheit nach BITV NRW
Fachlichkeit und Betrieb
- Erfüllung aller fachlichen Muss-Anforderungen
- Schnittstellen zu vorhandenen Fachverfahren und XÖV-Standards
- Betriebsfähigkeit und Support (Servicezeiten, SLA)
- Finanzierung im Haushalt gesichert
Teilaufgabe 4Verdeckte Interessen
- Interessen der Beratung oder Anbieternähe: Kriterien wie Präsentationsqualität begünstigen Anbieter, mit denen die Beratung zusammenarbeitet oder bei denen Folgeaufträge winken.
- Prestige- und Imageinteresse der Leitung: Ein hoch gewichteter Innovationsgrad passt zu einem gewünschten „Leuchtturmprojekt“.
- Nachträgliche Rechtfertigung: Die Matrix kann gebaut worden sein, um eine bereits getroffene Vorentscheidung für B zu legitimieren.
- Vermeidung der Kostendiskussion: Mit 10 % Kostengewicht fällt nicht auf, dass B deutlich teurer ist.
- Fehlende Perspektiven: Interessen der Beschäftigten (Bedienbarkeit), der IT (Betrieb) und der Bürgerinnen und Bürger kommen gar nicht vor.
Teilaufgabe 5Überarbeitete Bewertungsmatrix
Stufe 1: Muss-Kriterien (erfüllt / nicht erfüllt) gemäß Teilaufgabe 3. Nur Varianten, die alle Muss-Kriterien erfüllen, werden in Stufe 2 bewertet.
Stufe 2: Gewichtete Soll-Kriterien mit festgelegter Messgröße:
| Kriterium | Gewicht | Messgröße und Skala | A* | B* |
|---|---|---|---|---|
| Erfüllung fachlicher Soll-Anforderungen | 25 % | Anteil erfüllter Soll-Anforderungen laut Anforderungskatalog (5 = über 90 %, 1 = unter 50 %) | 4 | 3 |
| Wirtschaftlichkeit | 20 % | Gesamtkosten über fünf Jahre (TCO) im Vergleich zur günstigsten Variante | 5 | 2 |
| Umsetzbarkeit | 15 % | Integrationsaufwand in Personentagen, Referenzen in vergleichbaren Verwaltungen | 4 | 2 |
| Betriebsfähigkeit und Support | 15 % | Betriebsaufwand der eigenen IT, vertraglich zugesicherte Servicezeiten | 4 | 3 |
| Bedienbarkeit | 15 % | Nutzertest mit Beschäftigten, System Usability Scale (SUS) | 3 | 5 |
| Zukunftsfähigkeit | 10 % | Offene Standards, Datenexport, vertraglich zugesicherte Weiterentwicklung | 3 | 4 |
| Nutzwert | 100 % | 3,95 | 3,05 |
Teilaufgabe 6Empfehlung
Die ursprüngliche Bewertung sollte nicht als Entscheidungsgrundlage verwendet werden. Sie gewichtet nicht überprüfbare, anbieterbezogene Kriterien mit 80 %, enthält keine Muss-Kriterien und ist nicht operationalisiert. Die Bewertung ist mit einem abgestimmten Kriterienkatalog, dokumentierten Messgrößen und unter Beteiligung von Fachbereich, IT und Datenschutz neu durchzuführen. Bis dahin ist keine Vergabe- oder Beschaffungsentscheidung zu treffen.