So beurteilen Sie die Qualität eines Tests: Reliabilität

Die Suche nach den auf dem Markt verfügbaren Testtools kann ein Dschungel sein. Ist die Qualität des Tools ausreichend und wie genau ist es? Kann es Ihnen bei der Lösung Ihrer Herausforderungen helfen? Mit anderen Worten: Wie zuverlässig ist der Test?

Um datenbasiert und messbar mit Tests zur Mitarbeitergewinnung und -entwicklung arbeiten zu können, ist es wichtig, auf die Qualität der Tests zu achten, die Sie einsetzen oder einsetzen möchten. 

Glücklicherweise hat sich auch ein allgemeiner Trend entwickelt, dass viele Unternehmen begonnen haben, sich stärker auf die Qualität der Tools zu konzentrieren, die sie für die Personalbeschaffung verwenden, und nicht nur eines verwenden, von dem sie gehört haben.

Bei der Beurteilung der Qualität eines Tests kann es schwierig und verwirrend sein, genau zu wissen, worauf man achten muss. Es gibt keine Zahl oder einen Stempel, auf den man sich verlassen kann. 

Dieser Artikel möchte Ihnen dieses Thema näherbringen. Die Zuverlässigkeit spielt eine wichtige Rolle, wenn Sie beurteilen müssen, ob ein Test für Sie von Nutzen ist. 

Was ist Zuverlässigkeit?

Reliabilität sagt etwas über die Zuverlässigkeit aus. Es geht um die Genauigkeit bei der Datenerhebung und -verarbeitung. Bei der Reliabilität geht es darum, ob ein Experiment, in diesem Zusammenhang der Test, beim nächsten Mal die gleichen Ergebnisse liefert. 

Bedeutet eine hohe Zuverlässigkeit automatisch eine hohe Qualität? Nein, so einfach ist es nicht. Leider kann man nicht sagen, dass eine bestimmte Zahl eine Garantie für eine hohe Qualität im Test ist.

Das wäre, als würde man ein Auto ausschließlich danach bewerten, wie weit es pro Liter kommt. Erstens gibt es viele andere Faktoren, die für die Bewertung eines guten Autos wichtig sind, wie Sicherheit, Motorisierung oder Größe. Zweitens gibt es neben dem Kraftstoffverbrauch auch andere Maßstäbe für die Bewertung eines Autos. 

Dasselbe gilt für die Zuverlässigkeit eines Tests – um die Qualität zu verstehen, ist der gesamte Kontext erforderlich.

Es ist wichtig zu verstehen, was Zuverlässigkeit ist. Im Grunde geht es bei Zuverlässigkeit um zeitliche und örtliche Präzision. 

Die Zuverlässigkeit von Tests kann auf drei verschiedene Arten überprüft werden:

Interne Konsistenz

Die interne Konsistenz wird geprüft, indem jeder Frage im Test eine Zahl zugewiesen wird, die angibt, wie gut sie mit den anderen Fragen innerhalb derselben Skala korreliert. 

Ein häufig verwendetes Maß ist der Alpha-Koeffizient, auch Cronbachs Alpha genannt. Er reicht von 0 bis 1, wobei Werte um 0,9 allgemein als optimal gelten. Er ist oft gemeint, wenn nach der „Zuverlässigkeit eines Tests“ gefragt wird, und Alpha ist auch ein gutes Maß für die Präzision.

Test-Retest-Reliabilität

Andererseits kann es manchmal relevanter sein zu wissen, ob der Test über die Zeit stabil ist.

Bei der Test-Retest-Reliabilität geht es also um den Grad der Übereinstimmung zwischen zwei Messungen desselben Phänomens unter der Annahme, dass sich das Phänomen nicht geändert hat.

Das bedeutet: Wenn eine Person den Test beispielsweise in drei Monaten erneut durchführt, erhält sie dann das gleiche Ergebnis? Das ist beispielsweise hilfreich zu wissen, wenn Sie planen, Ihre Mitarbeiter nach einer gewissen Zeit erneut zu testen.

Wenn ein Test eine schlechte Test-Retest-Reliabilität aufweist, kann nicht gesagt werden, ob ein anderes Ergebnis auf eine Ungenauigkeit des Tests zurückzuführen ist oder ob sich der Mitarbeiter tatsächlich weiterentwickelt hat. 

Die Test-Retest-Reliabilität wird typischerweise als Korrelationskoeffizient zwischen den Ergebnissen des ersten und des zweiten Tests ausgedrückt. Sie liegt daher ebenfalls zwischen 0 und 1, und je näher sie bei 1 liegt, desto besser. In der Praxis gelten jedoch Werte um 0,7 als sehr gut.

Interrater-Reliabilität

Die Interrater-Reliabilität wird dadurch untersucht, dass verschiedene Personen dasselbe Phänomen beurteilen; es geht um den Grad der Übereinstimmung. 

Beispielsweise könnte es sich um eine 360-Grad-Umfrage handeln, bei der mehrere Personen gebeten werden, eine Person anhand desselben Tests zu bewerten. 

Die Korrelation ihrer Antworten ist ein Ausdruck dafür, wie genau der Test ist. Natürlich gibt es hier viele unterschiedliche Ansichten, die die Bewertung beeinflussen können, aber es sollte trotzdem eine klare Korrelation bestehen – sonst macht der Test etwas falsch. 

Generell werden daher etwas niedrigere Werte als bei Alpha oder Test-Retest akzeptiert, er sollte aber dennoch mindestens über 0,6 liegen.

Parallelversionen 

Parallele Versionen desselben Tests werden in der Arbeitspsychologie selten verwendet, da hierfür zwangsläufig derselbe Test zweimal entwickelt und anschließend untersucht werden muss, wie ähnlich die Ergebnisse beider Tests sind, wenn sie von derselben Person durchgeführt werden. Hier sind typischerweise Werte über 0,8 erwünscht. 

Verstehen Sie die Zahlen im richtigen Kontext

Vielleicht wird jetzt klarer, wie zuverlässig der Test ist.

Es handelt sich um eine komplexe Größe. Letztlich möchte man immer wissen, ob der Test „gut“ ist oder nicht, und das lässt sich nicht allein anhand einer Zahl entscheiden.

Ein Alpha von 0,7 ist sicherlich nicht „gut“, aber wenn wir über die Test-Retest-Reliabilität sprechen, würde diese Zahl tatsächlich zeigen, dass der Test im Laufe der Zeit wirklich stabil ist. 

Um die Sache noch komplexer zu machen: Die Kenntnis der Reliabilität allein reicht nicht aus, um die Gesamtqualität eines Tests zu beurteilen. Hier muss auch die Validität berücksichtigt werden. 

Erfahren Sie, wie Sie die Gültigkeit eines Tests messen .

Schließlich ist es eine gute Idee, die Zuverlässigkeitsangaben, die Sie hören, kritisch zu betrachten und sie dann in Frage zu stellen, damit Sie sie im richtigen Kontext verstehen. 

Informieren Sie sich eingehend über die Forschungsergebnisse zum Thema Tests .

Können Sie die Zuverlässigkeit überprüfen?

In Großbritannien (PBS) und Norwegen (DNV) gibt es Agenturen, die Tests zertifizieren. Das bedeutet, dass Sie bei Bedarf an einem Test die Zertifizierung des Tests und damit die Zuverlässigkeit prüfen können. 

Ein zertifizierter Test erfüllt eine Reihe strenger Qualitätsanforderungen, die von unabhängigen Experten bewertet werden, und ist auch in anderen Ländern ein sehr guter Maßstab. 

Leider gibt es in Dänemark keine vergleichbaren Agenturen oder Zertifizierungen für Tests. Daher müssen Sie selbst viel recherchieren, um die Qualität und Zuverlässigkeit eines Tests beurteilen zu können.

Unser Tip: Wählen Sie den richtigen Testanbieter

Sie haben bereits einen Testanbieter oder suchen einen? Erfahren Sie hier, was wir Ihnen bieten – und verschaffen Sie sich einen Überblick über unsere leistungsstarken Tools.