b) Woran erkennt man wie gut Testverfahren sind?
Wie gut Testverfahren sind und welche Glaubwürdigkeit sie beinhalten, kann man mit Hilfe der Testgütekriterien herausfinden.
Es gibt drei Hauptgütekriterien:
1) Objektivität
2) Reliabilität
3) Validität
Zuerst zu der Objektivität.
Bei der Objektivität geht man von den drei Welten Karl Poppers, einem österreichischen/britischen Philosophen aus. Er teile die Welt in drei Teile. Einmal die materielle Welt, wo man nur das betrachtet was es materiell gesehen, tatsächlich gibt, was wirklich sichtbar und fühlbar ist. Dann die Welt der bewussten Erlebnisse. Wie man Dinge selber betrachtet und dann auf die Schönheit oder anderen Eigenschaften äußerlich betrachtet, ihnen Eindruck schenkt und zum dritten die Welt der objektiven Erkenntnisse. Dies sind Sachen die wir Dingen entnehmen können, wenn man es einfach ausdrücken will. Zum Beispiel den Inhalt aus Büchern oder aus allgemeinen, anderen Informationsspeichern.
Um die Welten kurz zu verdeutlichen an einem Beispiel. Man nehme ein Autoschild wo das Kennzeichen abgebildet ist. Die erste Welt ist einfach das Material, das Blech woraus das Schild ist. Die zweite wäre die Farbe oder den Eindruck den wir vom Schild bekommen und die Dritte Welt wäre die Erkenntnis die wir aus den Buchstaben entnehmen können. Zum Beispiel der Abkürzung können wir entnehmen aus welchem Kreis oder Ort der Fahrer kommt.
Nun zu der Betrachtung ob ein Test objektiv ist
Ein Test ist dann objektiv, wenn die Schritte von der Versuchsplanung bis zur Dateninterpretation so aufgeschrieben und dokumentiert sind, dass die Untersuchung von anderen widerholt und auch ausgeführt werden kann. Anders gesagt bedeutet das: Um eine Objektivität zu erlangen, müssen die erlangten Messergebnisse möglichst unabhängig vom Untersucher sein. Zusammenhängend gilt also zu sagen, das verschieden viele Untersucher, bei der Untersuchung eines gleichen Merkmals auf das gleiche Ergebnis kommen müssen.
Um eine Objektivität beim Testen zu gewährleisten müssen natürlich auch die äußeren Bedingungen identisch sein, sodass sich keiner Vorteile erschaffen kann. ( Durchführungsobjektivität). Bearbeitungszeit, Aufgabenstellung, usw. müssen überall transparent, gleich sein.
Desweiteren muss das Testergebniss von der Person des Auswerters unabhängig sein, sodass jeder die gleiche und faire Bewertung bekommt. Diese Art nennt man Auswertungsobjektivität und als Lösung dieses Problems gibt es zum Beispiel Erwartungshorizonte bei Klassenarbeiten oder ähnliche festgelegte Lösungen.

Die dritte noch ausstehende Art ist die Interpretationsobjektivität. In die Bewertung gehen keine eigenen Meinungen oder subjektive Empfindungen ein und man hält sich an eine Norm oder Skala.

Nun zum zweitem Kriterium, zur Reliabilität ( Übersetzt: Zuverlässigkeit)
Die Reliabilität beschreibt die Genauigkeit , indem Merkmale und ihre Dimensionen, bzw. ihre Ausprägung erfasst werden. Dies geschieht unter der Vernachlässigung des Umstandes, ob es sich dabei auch um die Merkmalsdimension handelt, deren Erfassung intendiert ist.
Die Reliabilität kann als Quotient betrachtet werden, und mit Hilfe von einer sogenannten Varianz und einer wahren Varianz in eine Formel zusammengesetzt werden um den Wert der Reliabilität auszurechnen. Die Formel lautet: R=sw^2/sx^2. Ein Test vollständig reliabel (R=1,0), wenn mit seiner Hilfe Lokalisierung der Probanden auf der jeweiligen Merkmalsdimension komplett fehlerfrei geschieht. Je höher der Reliabilitätskoeffizient ist, desto besser und glaubwürdiger ist das Verfahren bzw. der Test. Der Koeffiezient sollte die Marke von R=0,7 allerdings nicht unterschreiten, da es sonst zu ungläubig erscheint. Da es jedoch verschiedene Möglichkeiten zur Bestimmung der Reliabilität, daher kann man eigentlich nicht von einer hundertprozentigen Zuverlässigkeit sprechen. Daher ist es auch dringend notwendig immer anzugeben welche Berechnungsmethode genutzt wurde, um den Koeffizienten zu bestimmen.
Eine Methode, um es nicht zu kompakt zu machen, ist die Testwiederholung (Retest). Hierbei muss der Test mit exakt derselben Stichprobe mindestens zwei Mal wiederholt werden. Die Korrelation zwischen den beiden Stichproben bezeichnet dann die Retestreliabilität. Hier entsteht nun allerdings ein kleines Dilemma, indem man schaut in welchem Zeitraum man die Proben macht. Da die Erinnerungs und Übungseffekte vermieden werden sollten, wäre eigentlich ein langer Zeitraum angebracht, doch hierbei ist eben das zweite Problem, was für einen kurzen Zeitraum spricht. Denn die realen Schwankungen des untersuchten Merkmals könnten in einem längeren Zeitraum schwanken und das Ergebnis Qualitativ verschlechtern.

Das dritte und letzte Hauptgütekriterium ist die Validität.
Bei der Validität, spricht man sozusagen von der Gültigkeit des Testverfahrens. Diese Gültigkeit sagt aus, ob tatsächlich das gemessen wird, was man messen will. Einfach gesagt fragt man sich, ob man das testet, was man wirklich herausfinden will und keine andere unnötige Dinge.
Bei einer hohen Validität in einem Testverfahren kann man sagen, dass das Verhalten der Testperson auch auf andere Situationen übertragen werden kann. Die Validität ist das wichtigste Gütekriterium , denn eine hohe Objektivität und eine hohe Reliabilität sind die Voraussetzungen einer hohen und guten Validität.

Beispiele für sehr Valide Tests sind zum Beispiel:
1) Tests, indem man Farben erkennen muss. Beispielsweise bei einem rot-grün-Schwäche Test. Wenn man die „versteckte“ Zahl in einem Muster sehen kann, leidet man nicht an der Schwäche und man konnte das gesuchte Merkmal, in diesem Fall ausschließen.

2) Berufseignungstest: Hier schaut man, ob sich eine jeweilige Person genau für den Beruf interessiert und sieht, ob sie in das jeweilige Aufgabengebiet hinein passt, oder nicht.

Um die Validität auszurechnen benutzt man erneut einen Testscore mit einem Außenkriterium, um dann den exakten Wert auszurechnen.
Außerdem gibt es zwei Arten von Validität. Einmal spricht man von der konkurrenten Validität. Das bedeutet, dass man den Test und das Kriterium gleichzeitig erfasst. Zum anderen gibt es die prädiktive Validität. Hier werden Testscore und das Kriterium zu unterschiedlicher Zeit bemessen, nämlich erst den Testscore und nach einem Zeitraum dann das Kriterium.
Hierbei ist zu beachten, dass der Einfluss von Störgrößen bei einem längeren Zeitraum natürlich höher ist und es zu Veränderungen oder anderen Problemen kommen kann. Daher liegt prädiktive Validität zumeist unter der konkurrenten Validität.

Aufgabe 2 c) Was unterscheidet seriöse Testverfahren von Selbsttests aus Illustrierten/ im Internet u.ä.? Sucht dazu Beispiele

Die Testverfahren aus dem Internet und aus Tageszeitungen oder Illustrierten besitzen oft keine, oder wenn eine äußerst geringe Objektivität. In diesen Verfahren erfährt man oft nichts davon, wie sie genau entstanden sind, oder wie sie auf ihre Wirksamkeit getestet wurden. Sie werden einfach abgedruckt, aber ob sie wissenschaftlich bewertet und überprüft wurden ist sehr fraglich und eher unwahrscheinlich. Da es sich auch oft um einen Test handelt, der spontan durchgeführt wurde an irgendwelche Leihen, kann man die Test auch oft nicht wiederholen und die Ergebnisse in einem größeren Zusammenhang testen und oder auch einordnen.