Was ist eine verhaltensverankerte Bewertungsskala?

Eine verhaltensverankerte Bewertungsskala, kurz BARS, ist eine Bewertungsmethode, die jeden Punkt einer Skala an ein konkretes, beobachtbares Verhalten bindet statt an ein vages Etikett wie "hervorragend" oder "schwach". Eine bewertende Person entscheidet nicht, wie kompetent jemand wirkte. Sie entscheidet, welche beschriebene Verhaltensweise am ehesten dem entspricht, was tatsächlich zu sehen war, ein engeres und leichter prüfbares Urteil.

Der Unterschied wirkt erst klein, bis man selbst auf beiden Seiten einer Bewertung gesessen hat. Eine übliche fünfstufige Skala für "Kommunikation" verlangt von der bewertenden Person, einen Eindruck in eine Zahl zu übersetzen, und zwei sorgfältige Personen können bei derselben Leistung auf unterschiedliche Zahlen kommen, weil jede ein anderes gedankliches Bild mittelt. Eine BARS ersetzt diesen Übersetzungsschritt durch eine Beschreibung: "stellte eine klärende Frage, bevor die Frist gegenüber dem Team wiederholt wurde" wird bewusst anders bewertet als "wartete, bis man es zweimal gesagt bekam". Die bewertende Person gleicht Belege ab, nicht eine Meinung.

Woher die Methode stammt

Die Arbeitspsychologinnen und -psychologen Patricia Cain Smith und Lorne Kendall entwickelten das Format 1963 als Lösung für grafische Bewertungsskalen, die jahrzehntelang der Industriestandard waren und notorisch leicht durch einen Halo-Effekt zu verzerren waren: Wird eine Person in einem Merkmal hoch bewertet, driften auf demselben Formular meist auch alle anderen Merkmale nach oben mit. Ihre Methode beginnt damit, echte kritische Vorfälle, also tatsächliche Beschreibungen dessen, was Menschen bei der Arbeit getan haben, von den Fachleuten zu sammeln, die diese Arbeit ausführen oder beaufsichtigen, und diese Vorfälle dann über ein Verfahren namens Rückübersetzung den Skalenpunkten zuzuordnen, bei dem eine unabhängige Gruppe von Bewertenden dieselben Vorfälle erneut den Dimensionen zuordnet, die sie eigentlich beschreiben sollen. Ein Anker verdient seinen Platz auf der Skala erst, wenn unabhängige Bewertende getrennt voneinander übereinstimmen, wo er hingehört.

Dieser Konstruktionsaufwand ist der eigentliche Sinn. Eine BARS ist genau deshalb aufwendig zu bauen, weil sie zwingt, den vagen Teil einer Bewertung, wie "gute Kommunikation" in diesem konkreten Job überhaupt aussieht, einmal öffentlich zu klären, bevor auch nur eine einzige Kandidatin oder ein Kandidat bewertet wird.

Schließt sie die Lücke tatsächlich

Die ehrliche Antwort: Eine gut gebaute BARS verringert die Uneinigkeit zwischen Bewertenden, nimmt die bewertende Person aber nicht aus der Gleichung, und eine 2022 veröffentlichte Studie zu Medizinstudierenden im zweiten Jahr, bewertet in nichttechnischen Fähigkeiten während simulierter pädiatrischer Notfälle, erschienen in Medical Education Online, zeigt genau, wie viel weiterhin davon abhängt, wer die Skala hält. Drei geschulte Bewertende beurteilten dieselben aufgezeichneten Szenarien anhand einer BARS über acht Bereiche, und die Übereinstimmung zwischen den Bewertenden in dieser Studie, gemessen mit Krippendorffs Alpha, reichte von 0,256 bei Team-Kommunikation bis 0,529 bei individueller Entscheidungsfindung, unterhalb dessen, was das Fachgebiet als akzeptable Zuverlässigkeitsschwelle ansieht. Die gleiche Studie hält fest, dass die BARS "bei der Bewertung von Medizinstudierenden während ihres Pädiatrie-Praktikums eine eingeschränkte Zuverlässigkeit zeigte."

Das ist kein Urteil gegen das Format selbst. Die gleiche Studie verweist auf einen früheren Versuch mit einem ähnlichen verhaltensverankerten Werkzeug bei erfahrenen Anästhesistinnen und Anästhesisten, bei dem eine gute Übereinstimmung zwischen und innerhalb der Bewertenden bereits nach nur zwei Stunden Schulung erreicht wurde, und schließt daraus, dass die eigenen unerfahrenen Medizinstudierenden, die das für die Szenarien vorausgesetzte klinische Grundurteil erst noch aufbauten, eine schwerer konsistent zu bewertende Gruppe waren, als die Schulungszeit allein ausgleichen konnte. Das Skalenformat war in beiden Fällen dasselbe Werkzeug. Der Unterschied lag darin, wer es einsetzte und was diese Person bereits wusste.

Warum die Bewertenden mehr zählen als das Raster

Genau das kann eine BARS nicht allein leisten. Eine Skala an echtes Verhalten zu binden entfernt die vageste Quelle der Uneinigkeit, ob zwei Personen mit "hervorragend" dasselbe meinen, aber es braucht weiterhin Bewertende, die an den Ankern geschult sind und die zugrunde liegende Fähigkeit im Idealfall gut genug kennen, um sie auch in ungewohnter Form zu erkennen. Ein Raster ohne geschulte Bewertende dahinter bleibt eine Schätzung, nur eine besser organisierte.

Deshalb kombiniert der ernsthafte Einsatz des Formats es mit einem Szenario, das der bewertenden Person überhaupt etwas Konkretes zum Bewerten gibt, dieselbe Logik hinter einem situativen Urteilstest: ein realistisches Problem zeigen, dann die Reaktion gegen Anker bewerten, auf die sich Fachleute bereits geeinigt haben, statt eine Kandidatin ein Merkmal selbst einschätzen oder eine bewertende Person eines erraten zu lassen. Das ist auch, warum strukturierte Interviews mit festem Bewertungsschlüssel unstrukturierte übertreffen, und warum unbewertete Selbsteinschätzung nur schwach mit tatsächlicher Leistung zusammenhängt: Das Format der Frage zählt weniger als die Frage, ob die Antwort gegen etwas Prüfbares bewertet wird. Der Sechs-Bereiche-Check hinter dieser Seite folgt derselben Regel und bewertet aufgezeichnete Antworten gegen Verhaltensanker, statt jemanden, ob bewertende Person oder Kandidatin, einfach wissen zu lassen.