Eine Evaluation ist eine regel- und methodengeleitete Bewertung von planmäßig durchgeführten Tätigkeiten, wie z.B. sozialen oder wirtschaftlichen Programmen, Maßnahmen und Projekten. Eine Evaluation kann verschiedene Ziele haben:

Die formative Evaluation untersucht die Konzeption und Implementierung eines Präventionsprogrammes (z.B. Ist das Programm überhaupt geeignet? Können die Ziele mit der Maßnahme erreicht werden?). Sie wird zur Entwicklung und Feinanpassung des Programmes eingesetzt.

Die Prozessevaluation untersucht die Durchführung, also den Prozess, eines Programmes (z.B. Wie wurde die Maßnahme umgesetzt? Wurde die Zielgruppe erreicht? Gab es ungeplante Nebeneffekte?). Sie dient der Justierung und Fortentwicklung bestehender Programme.

Die Wirkungsevaluation untersucht, ob ein Programm die gewünschte Änderung auch tatsächlich herbeigeführt hat, z.B. anhand der Frage: Reduziert die Präventionsmaßnahme Kriminalität? Sie ist immer datengestützt und liefert wertvolle Hinweise darüber, ob ein Programm ein sinnvolles Mittel zur Kriminalprävention ist.

Weiterführende Quellen:

Döring, N. (2014). Evaluationsforschung. In Baur, N. & Blasius, J. (Hrsg.), Handbuch Methoden der empirischen Sozialforschung, S. 167-181. Wiesbaden, Springer VS.

Obergfell-Fuchs, J. (2004). Wirkung und Effizienz Kommunaler Kriminalprävention. In H.-J. Kerner & E. Marks (Hrsg.), Internetdokumentation Deutscher Präventionstag. Verfügbar unter: http://www.praeventionstag.de/content/9_praev/doku/obergfellfuchs/index_9_obergfelfuchs.html)

Gesellschaft für Evaluation e.V. (DeGEval) http://www.degeval.de/home/

Abhängig von dem konkreten Untersuchungsziel einer Evaluationsstudie, werden verschiedene wissenschaftliche Verfahren der Datenerhebung und -auswertung eingesetzt.

Qualitative Methoden der Sozialforschung bezeichnen eine Reihe von Vorgehensweisen bei der Erhebung und Auswertung nicht-standardisierter Daten (offene Interviews, Fokusgruppen, Fallstudien, Inhaltsanalyse, Beobachtungen). Qualitative Methoden werden häufig in der explorativen Untersuchung unbekannter, wenig erforschter oder seltener Phänomene eingesetzt. Die Ergebnisse liefern häufig eine sehr detail- und facettenreiche Beschreibung des Untersuchungsgegenstandes.

Quantitative Methoden der Sozialforschung bezeichnen eine Reihe von Vorgehensweisen bei der Erhebung und Auswertung numerischer und standardisierter Daten. Dazu gehören z.B. standardisierte Fragebögen, Bevölkerungsumfragen, psychometrische Messungen und Zählungen aller Art. Quantitative Daten werden mit statistischen Methoden ausgewertet. Die Ergebnisse können Muster, Regelmäßigkeiten und Gesetzmäßigkeiten aufdecken. Unter den richtigen Voraussetzungen können sie außerdem einen kausalen Zusammen zwischen Ursache und Wirkung nachweisen bzw. ausschließen. Wegen dieser Eigenschaft sind sie für die Wirkungsevaluation unersetzlich.

Untersuchungen, in denen qualitative und quantitative Verfahren kombiniert eingesetzt werden, bezeichnet man als mixed methods Studien.

Präventionsprogramme können positive, negative oder keine Effekte haben. Um dies zu überprüfen benötigt man messbare und aussagekräftige Indikatoren. Diese Indikatoren heißen Effektmaße (auch Effektgrößen), weil man an Ihnen den Effekt einer präventiven Maßnahme ablesen kann.

Es gibt verschiedene Indikatoren zur Messung von Kriminalität. Manche messen Kriminalität direkt, andere indirekt.

Direkte Effektmaße zeigen bspw. ob mehr oder weniger Personen straffällig werden (Prävalenz), ob mehr oder weniger Straftaten begangen werden (Inzidenz), oder ob mehr oder weniger Personen nach einer Verurteilung erneut straffällig werden (Rückfälligkeit).

Indirekte Effektmaße (auch assoziierte Effektmaße) sind Indikatoren, die in einem Zusammenhang mit Kriminalität stehen. Auf individueller Ebene sind das z.B. Aggressivität, mangelnde Empathiefähigkeit, eine kriminelle Identität oder bestimmte Verhaltensweisen (z.B. Weisungsverstöße). Auf sozialräumlicher Ebene können Indikatoren wie z.B. Armut, städtische Verwahrlosung, Kriminalitätsfurcht oder ein Mangel an sozialer Infrastruktur als indirekte Effektmaße in Evaluationen verwendet werden.

Direkte Effektmaße sind nicht prinzipiell besser oder schlechter zur Evaluation geeignet, als indirekte Effektmaße. Ihre Eignung ist abhängig vom konkreten Erkenntnisinteresse der Evaluation. Um ein möglichst umfassendes Bild von der präventiven Wirkung einer Maßnahmen zu bekommen, ist es oft sinnvoll direkte und indirekte Effektmaße kombiniert einzusetzen.

Studien, die weder direkte noch indirekte Effekte messen erlauben keinerlei Rückschlüsse über die kriminalpräventive Wirkung einer Maßnahme.

Forscher können Ihre Daten zur Evaluation auf zwei unterschiedlichen Wegen gewinnen. Entweder sie erheben die Daten eigens zum Zweck der Untersuchung (z.B. durch Befragungen, Interviews oder psychologische Testverfahren). In dem Fall handelt es sich um Primärdaten. Oder sie werten bereits bestehende Daten und Statistiken aus (z.B. Polizeiliche Kriminalstatistik oder Gerichtsakten). Daten aus bestehenden Quellen heißen Sekundärdaten.

Operationalisierung bezeichnet die konkrete Umsetzung einer Messung anhand von Indikatoren. Das Ausmaß an Kriminalität kann an vielen verschiedenen Indikatoren abgelesen werden (siehe Effektmaße). Sie alle unterscheiden sich aber im Detail und erlauben entsprechend unterschiedliche Rückschlüsse und Aussagen über Kriminalität.

Die Kriminalitätsrate (Anzahl polizeilich registrierter Delikte pro 100.000 Einwohner) sagt etwas anderes über Kriminalität aus, als die Rückfallquote (Anteil verurteilter Straftäter, die innerhalb von bspw. 12 Monaten erneut eine Straftat begeht).

Um die Wirkung einer Maßnahme auf das Kriminalitätsaufkommen verlässlich bewerten zu können, muss man sich sehr genau vergegenwärtigen welche Indikatoren die Wissenschaftler in ihrer Studie wie operationalisiert haben.

Neben der amtlich registrierten Kriminalität (dem sogenannten Hellfeld), existieren auch Indikatoren für das Dunkelfeld der Kriminalität, also für solche kriminellen Handlungen, die nicht zur Anzeige gebracht werden. Indikatoren für das Dunkelfeld der Kriminalität sind z.B. anonyme Befragungen, in denen Personen gefragt werden ob und wie häufig sie etwas Bestimmtes getan haben (bspw. Steuern hinterzogen, jemanden geschlagen oder etwas geklaut oder mutwillig beschädigt haben). Kriminologen sprechen dabei von selbstberichteter Delinquenz. Anonyme Umfragen können auch eingesetzt werden, um Personen zu fragen, ob und wie häufig sie Opfer bestimmter Handlungen geworden sind. In diesem Fall spricht man von Viktimisierungsbefragungen. So liegen für Deutschland die Ergebnisse von 35.000 einzelnen Interviews zu Opfererfahrungen der Befragten Personen vor (Guzy et al. 2015).

Weiterführende Quellen:

Zweiter periodischer Sicherheitsbericht, insbesondere Kapitel 2.1 „Kriminalität in Deutschland im Längs- und Querschnitt.
Verfügbar unter:
http://www.bmi.bund.de/SharedDocs/Downloads/DE/Veroeffentlichungen/2_periodischer_sicherheitsbericht_langfassung_de.pdf?__blob=publicationFile

Heinz, W. (2016). Kriminalität und Kriminalitätskontrolle in Deutschland. Konstanzer Inventar Sanktionsforschung.
Verfügbar unter
http://www.uni-konstanz.de/rtf/kis/Kriminalitaet_und_Kriminalitaetskontrolle_in_Deutschland_Stand_2013.pdf

Polizeiliche Kriminalstatistik (PKS) des Bundeskriminalamtes.
Verfügbar unter:
https://www.bka.de/DE/AktuelleInformationen/StatistikenLagebilder/PolizeilicheKriminalstatistik/pks_node.html

Um verlässliche Aussagen über die Wirkung eines Programmes treffen zu können, muss ein erzieltes Ergebnis in Bezug zu einem Vergleichswert gesetzt werden. Idealerweise ist dies ein Vorher-Nachher-Vergleich von Ergebnissen aus mindestens zwei untersuchten Gruppen.

Ersatzweise können auch andere Bezugsgrößen als Vergleichsmaßstab dienen. Zum Beispiel kann man die Wirkung zweier oder mehr Maßnahmen miteinander vergleichen. Solche Alternativen verringern zwar die interne Validität der Evaluation (siehe Untersuchungsdesign), sind aber besser als gar kein Vergleichsmaßstab.

Das Forschungsdesign (auch Erhebungsdesign oder Untersuchungsdesign genannt) legt die konkrete Ausgestaltung einer Studie fest. Dies betrifft insbesondere die Art und Weise mit der Vergleichsgruppen oder Vergleichsstichproben gebildete werden, sowie die Zeitpunkte, an denen die Datenerhebungen (Messungen) erfolgen.

Die Gestaltung der Studie dient zur Herstellung der internen Validität der Forschungsergebnisse, und ist daher ein wesentliches Qualitätsmerkmal der empirischen Evaluation.

Eine intern valide Studie erbringt den Beweis, dass eine beobachtete Veränderung (bspw. der Rückgang von Kriminalität) tatsächlich von der evaluierten Präventionsmaßnahme verursacht wurde. Studien mit einwandfreier interner Validität lassen sich aus praktischen Gründen selten verwirklichen. Sie können aber stufenweise diesem Ideal nahe kommen, und somit wissenschaftlich belastbare und praxisrelevante Ergebnisse liefern.

Die international etablierten Standards der sogenannten „Maryland- Scale of Scientific Rigor“ unterscheiden 6 Stufen. Die Einstufung einer Studie basiert auf der Ausprägung von drei wesentlichen Merkmalen (Beelmann & Hercher, 2016, S. 103):

• wie oft und mit welchem zeitlichen Abstand eine Datenerhebung erfolgte,
• inwieweit Vergleichsgruppen vorliegen und
• inwieweit diese Vergleichsgruppen nach relevanten Merkmalen vergleichbar sind bzw. nach welchen Prinzipien Studienteilnehmer in verschiedene Vergleichsgruppen aufgeteilt wurden.

In Anlehnung an die Maryland- Scale of Scientific Rigor formulieren Beelmann & Hercher (2016, S. 103/104) die folgenden sechs Stufen der internen Validität.

1. . Ein Erhebungszeitpunkt - keine Vergleichsgruppe

   Die Untersuchung besteht ausschließlich aus korrelativen Daten, d.h. die Teilnahme an einem Programm wird mit dem aktuellen Verhalten, mit der eingeschätzten Veränderung des Verhaltens oder mit Daten zur Zufriedenheit der Teilnehmer mit dem Programm in Verbindung gebracht. Daten zur Wirksamkeit werden bei diesen Untersuchungsdesigns vorwiegend aus Angaben von Programmteilnehmern nach einer Maßnahme erfasst (z.B. Zufriedenheitsangaben, Einschätzungen von Veränderungen oder Verbesserungen durch die Intervention).

2. . Vorher-Nachher-Design ohne (angemessene) Vergleichsgruppe

   Es werden Vergleiche zwischen den Daten vor und nach einer Intervention angestellt, diese Ergebnisse aber nicht mit einer angemessenen Vergleichsgruppe kontrastiert. Dazu gehören beispielsweise auch retrospektive Designs (Vorher-Daten werden rückwirkend erfasst).

3. . Quasi-Experiment mit angenommener Vergleichbarkeit der Versuchsgruppe

   Ein Quasi-Experiment verlangt mindestens zwei Versuchsgruppen (z.B. mit und ohne Intervention) und mindestens zwei Erhebungszeitpunkte (vor und nach der Interven¬tion). Als Vergleichsgruppe wird eine sogenannte nicht-äquivalente Gruppe herange¬zogen, die nach wichtigen Variablen vergleichbar sein sollte (z.B. zwei Schulklassen einer Schulstufe). Es liegen jedoch keine expliziten Nachweise zur Vergleichbarkeit hinsichtlich bedeutsamer und präventionsrelevanter Merkmale vor.

4. . Quasi-Experiment mit demonstrierter Vergleichbarkeit oder mit Verwendung bestimmter Kontrolltechniken

   Designs dieser Qualität entsprechen Stufe 3, nur wird die Vergleichbarkeit der Versuchsgruppen entweder per Zuweisungstechnik oder mittels statistischer Methoden sichergestellt. Techniken zur Konstruktion von vergleichbaren Kontrollgrup¬pen sind z.B. bestimmte Matching Prozeduren (Parallelisierung, Propensity Score Matching). Zu den statistischen Verfahren zählen etwa der statistische Vergleich hinsichtlich relevanter Parameter, Kovarianzanalysen oder regressionsbasierte Auswertungsverfahren. Eine Einordnung in diese Qualitätsstufe erfolgt auch bei Studien der Stufen 5 und 6, wenn diese weniger als 30 Untersuchungsteilnehmer aufweisen.

5. . Randomisiertes Experiment mit Themen in der Vergleichbarkeit der Ver¬suchsgruppen oder anderen Validitätseinschränkungen

   Es wird mindestens ein Design wie unter 3 angewandt (zwei Messzeitpunkte, zwei Gruppen) und zusätzlich werden die Personen zufällig (randomisiert) auf die Versuchsgruppen aufgeteilt. Es liegen aber Einschränkungen der Aussagekraft vor, da trotz Randomisierung wichtige Unterschiede zwischen den Vergleichsgruppen existieren (z.B. differentieller Dropout).

6. . Randomisiertes Experiment mit Vergleichbarkeit /ohne Einschränkungen

   Dieses Rating bezieht sich auf Designs wie unter 3 mit einer Randomisierung wie unter 5, jedoch mit zusätzlich demonstrierter Vergleichbarkeit der Versuchsgruppen und ohne Einschränkungen der Aussagekraft.“

Siehe auch Evidenzindex .

Weiterführende Quellen:

Wittenberg, J. (2015). Erhebungsdesigns für kriminologische Befragungen und Experimente. In: Eifler, S. & Pollich, D. (Hrsg.): Empirische Forschung über Kriminalität. Methodologische und methodische Grundlagen. S. 95 - 122. Wiesbaden, Springer VS.

Beelmann, A. & Hercher, J. (2016). Methodische Beurteilung von Evaluationsstudien im Bereich der Gewalt- & Kriminalitätsprävention: Beschreibung und Begründung eines Methodenprofils. In Stiftung Deutsches Forum für Kriminalprävention (Hrsg.), Entwicklungsförderung & Gewaltprävention 2015/2016 - Aktuelle Beiträge aus Wissenschaft und Praxis (S. 97-116). Verfügbar unter: http://www.wegweiser-praevention.de/files/DFK/dfk-publikationen/2016_06_02_jahrbuch_wegweiser_2015.pdf

Stein, P. (2014). Forschungsdesigns für die quantitative Sozialforschung. In Baur, N. & Blasius, J. (Hrsg.), Handbuch Methoden der empirischen Sozialforschung, S. 135 - 151. Wiesbaden, Springer VS.

Przyborski, A. & Wohlrab-Sahr M. (2014). Forschungsdesigns für die qualitative Sozialforschung. In: Baur, N. & Blasius, J. (Hrsg.), Handbuch Methoden der empirischen Sozialforschung, S. 117 - 133. Wiesbaden, Springer VS.

Groeger-Roth, F. & Hasenpusch, B. (2011): Grüne Liste Prävention. Auswahl- und Bewertungskriterien für die CTC Programm Datenbank. Landespräventionsrat Niedersachsen (Hrsg.). Verfügbar unter:
http://www.gruene-liste-praevention.de/communities-that-care/Media/Grne_Liste_Bewertungskriterien.pdf

Die Anzahl der Messzeitpunkte (vor und nach der Intervention) und die Zuweisung der Studienteilnehmer in Versuchs- und Kontrollgruppe bestimmt die interne Validität.

Das Auswahlverfahren für die Studienteilnehmer (Stichprobenziehung, englisch Sampling) bestimmt die externe Validität. Sie legt fest, auf welchen größeren Kreis von Personen (Grundgesamtheit) die Ergebnisse der Evaluation übertragen werden dürfen. Es existieren verschiedene Auswahlverfahren. Sie basieren in der Regel auf einer zufälligen Auswahl der Teilnehmer. Je nach praktischen Voraussetzungen für eine Zufallsauswahl werden z.B. einfache, systematische oder stratifizierte Zufallsstichproben gezogen.

Wenn eine zufällige Auswahl nicht möglich ist, kann z.B. durch die Einhaltung von Quoten (z.B. nach Geschlecht, Alter und Bildungsstand) die externe Validität vergrößert werden.

Bei schwer erreichbaren Zielgruppen können Auswahlverfahren nach dem Schneeballsystem zielführend sein.

Erfolgt die Auswahl der Teilnehmer nicht durch zufällige Auswahl, kann dies unter Umständen auch die interne Validität negativ beeinflussen. Dies ist in der Regel bei selbst-selektiven Stichproben ein Thema.

Werden beispielsweise ausschließlich die freiwilligen Teilnehmer einer Präventionsmaßnahme untersucht, dann unterscheidet sich diese Gruppe in einer grundlegenden Eigenschaft (nämlich der Motivation zur Teilnahme) von dem allgemeinen Adressatenkreis der Maßnahme. Der Effekt der Maßnahme wäre dann nicht mehr ausschließlich auf die Maßnahme selbst, sondern ggf. auch auf die Motivation der Probanden zurückzuführen. Die Ergebnisse lassen sich demnach auch nicht auf weniger motivierte Personen übertragen.

Weiterführende Quellen:

Akremi, L. (2015). Stichprobenziehung in der qualitativen Sozialforschung . In Baur, N. & Blasius, J. (Hrsg.), Handbuch Methoden der empirischen Sozialforschung, S. 265 - 282. Wiesbaden, Springer VS.

Stichprobenziehung in der quantitativen Sozialforschung . In Baur, N. & Blasius, J. (Hrsg.), Handbuch Methoden der empirischen Sozialforschung, S. 282 - 297. Wiesbaden, Springer VS.

Die Auswahl der Stichprobe (Auswahl der Studienteilnehmer) legt fest, auf welchen größeren Kreis von Personen (Grundgesamtheit) die Ergebnisse der Evaluation übertragen werden dürfen. Sozialwissenschaftler sprechen von der externen Validität (auch Repräsentativität oder Generalisierbarkeit). Sie gibt Auskunft darüber inwieweit sich die Ergebnisse einer konkreten Studie auch auf Personen, Objekte und Situationen übertragen lassen, die nicht unmittelbar an der Studie beteiligt waren. Unter Einhaltung bestimmter Regeln lassen sich Ergebnisse aus einer ausgewählten Gruppe von Studienteilnehmern (der sogenannten Stichprobe oder auf Englisch „sample“) auf größere Gruppe (z.B. bestimmte Tätergruppen oder die Gesamtbevölkerung) übertragen.

Hier werden sechs Stufen der Repräsentativität unterschieden. Auf der untersten Stufe gelten die Ergebnisse der Evaluation ausschließlich für die untersuchten Teilnehmer. Auf der obersten Stufe sind die Ergebnisse der Evaluation repräsentativ für den gesamten Adressatenkreis der Maßnahme im gesamten Bundesgebiet.

Siehe auch Evidenzindex .

Die Größe der Stichprobe muss in einem bestimmten Verhältnis zur Grundgesamtheit stehen, damit sie repräsentativ sein kann. Auch bei nicht-repräsentativen Studien ist die Größe der Stichprobe wichtig, weil bestimmte statistische Verfahren nur ab einer bestimmten Stichprobengröße zuverlässig funktionieren.

Als Grundgesamtheit bezeichnet man die gesamte Population an Personen, für die eine Stichprobe repräsentativ sein soll. Bei Wahlprognosen sind das z.B. alle wahlberechtigten Personen in Deutschland. Für den Bereich der Kriminalprävention kann die relevante Grundgesamtheit (z.B. alle, d.h. auch nicht-registrierte Sexualstraftäter) nicht immer genau bestimmt werden.

Die Teilnehmerrate oder Rücklaufquote (auch Stichprobenausschöpfung) ist der Anteil an Personen, die tatsächlich an einer Studie teilgenommen haben (die sogenannte realisierte Stichprobe oder Nettostichprobe) im Verhältnis zu allen Personen der Stichprobe (Bruttostichprobe).

Eine niedrige Teilnehmerrate / Bruttostichprobe kann die Ergebnisse einer Studie systematisch verzerren (sowohl in Bezug auf die Repräsentativität, als auch in Bezug auf die Wirksamkeit). Dieser Verzerrung kann unter bestimmten Umständen mit einer Gewichtung der Fälle entgegengewirkt werden.

Der Stichprobenfehler (auch Standardfehler) beziffert die standardisierte Abweichung eines geschätzten Wertes in der Stichprobe (z.B. Durchschnittsalter) von dem tatsächlichen Wert in der Grundgesamtheit.

Er dient als Grundlage zur Berechnung des totalen Umfragefehlers (total survey error), der wiederum die Genauigkeit der Stichprobenwerte bemisst.

Weiterführende Quellen:

Faulbaum, F. (2015). Total Survey Error . In Baur, N. & Blasius, J. (Hrsg.), Handbuch Methoden der empirischen Sozialforschung, S. 439 - 453. Wiesbaden, Springer VS.

Die Abbrecherquote ist der Anteil an Personen, die ihre Teilnahme an einer Studie (oder Präventionsmaßnahme) abgebrochen haben, im Verhältnis zu Personen, die die Studie (Maßnahme) komplett abgeschlossen haben. Genau wie niedrige Teilnehmerraten können hohe Abbruchquoten die Ergebnisse von Evaluationen systematisch verzerren. Niedrige Abbruchquoten sind in der Prozessevaluation häufig ein Erfolgskriterium.

Einige der oben aufgeführten Punkte zur Stichprobenziehung spielen bei qualitativen Studien keine Rolle, weil hier andere Untersuchungsziele im Vordergrund stehen. So kann es z.B. Ziel der Untersuchung sein, nur ganz bestimmte (z.B. extreme) Fälle in die Untersuchung einzubeziehen, und andere gezielt auszuschließen. Hier erfolgt die Auswahl ganz bewusst nicht zufällig.

Weiterführende Quellen:

Akremi, L. (2015). Stichprobenziehung in der qualitativen Sozialforschung . In Baur, N. & Blasius, J. (Hrsg.), Handbuch Methoden der empirischen Sozialforschung, S. 265 - 282. Wiesbaden, Springer VS.

Das Skalenniveau (auch Messniveau) beschreibt bestimmte Eigenschaften von Variablen und Indikatoren. Wie der Name andeutet beziehen sich diese Eigenschaften auf die Skala der Messwerte. Es gibt folgende Skalenniveaus:

Dichotom: Der Indikator hat genau zwei Ausprägungen. Beispiel: „Ist der Studienteilnehmer in den vergangenen 12 Monaten straffällig geworden? Ja/Nein“

Nominal (auch kategorial oder qualitativ genannt): Die Ausprägungen sind unterscheidbar und daher zählbar, haben aber keine natürliche Reihenfolge. Beispiel: Die Parteipräferenzen oder die Herkunftsländer von Studienteilnehmern.

Ordinal: Die Ausprägungen haben eine Reihenfolge und können entsprechend ihrer Größe nach geordnet werden. Beispiele: Schulnoten (von 1= sehr gut bis 6= ungenügend), Kriminalitätsfurcht (auf einer Skala von 1= niedrig bis 5 = sehr hoch) oder der Stadt und Gemeindetyp (1= Gemeinde bis 5= Großstadt).

Intervall: Die Ausprägungen haben eine Reihenfolge, deren Abstand zueinander gleich (oder messbar) ist. Beispiel: Datum

Metrisch: Die Ausprägungen haben eine Reihenfolge, deren Abstand zueinander gleich ist, und bei der es einen natürlichen Nullpunkt gibt. Beispiel: Das Alter oder das (genaue) Einkommen eines Befragten.

Zudem gibt es stetige und diskrete Merkmalsausprägungen. Stetige Merkmalsausprägungen können beliebig häufig in immer kleinere Einheiten unterteilt werden (z.B. die Länge der Haftstrafe). Diskrete Merkmalsausprägungen sind nicht in beliebig kleine Einheiten unterteilbar. Beispiel: Die kleinste Einheit des Einkommens einer Person ist ein Cent. Indikatoren mit nominalem Skalenniveau sind immer diskret.

Das Skalenniveau legt fest, welche statistischen oder qualitativen Analyseverwahren bei der Datenauswertung angewandt werden dürfen.

Ein Zusammenhangsmaß gibt die Stärke und Richtung des Zusammenhangs zwischen zwei Variablen an, z.B. den Zusammenhang zwischen Bildungsstand und Einkommen einer Person. Sozialwissenschaftler sprechen von der (positiven oder negativen) Korrelation zwischen zwei Merkmalen. Korrelierende Merkmale stehen nicht notwendigerweise in einem kausalen Zusammenhang zueinander.

Abhängig von der Skalierung und statistischen Verteilung der untersuchten Merkmale (siehe Erläuterungen zum Skalenniveau) werden u.a. folgende Zusammenhangsmaße eingesetzt.

Für Dichotom abhängige Variablen:

• Odds und Odds-Ratio
• logarithmierte Odds
• Phi (ϕ)
• Lamda (λ)

Für Nominal abhängige Variablen:

• Cramer’s V
• Kontingenzkoeffizient

Für ordinal abhängige Variable:

• Cramer’s V
• Kendals tau- a, b und c
• Spearman Rangkorrelation
• polychorische Korrelationen

Für metrische abhängige Variablen:

• Korrelationskoeffizient
• Kovarianz
• Regressionskoeffizienten
• standardisierte Regressionskoeffizienten (beta-koeffizienten)

Viele Zusammenhangsmaße besitzen einen Wertebereich zwischen -1 bis +1, wobei -1 eine perfekte negative Abhängigkeit und +1 eine perfekte positive Abhängigkeit anzeigt.

Ein Zusammenhangsmaß von bspw. Phi = 1 bedeutet, dass in den Daten der Studie Veränderungen eines Merkmals immer zusammen mit Veränderungen eines anderen Merkmals auftreten (Die Merkmale sind perfekt abhängig voneinander). Ein Zusammenhang von Phi = 0 bedeutet, das Veränderungen eines Merkmals nie zusammen mit Veränderungen eines anderen Merkmals auftreten (die Merkmale sind vollständig unabhängig voneinander). Ein Wert von Phi = .25 bedeutet, dass die Merkmale zu einem gewissen Grad abhängig voneinander sind.

Neben der Stäke des gemessenen Zusammenhangs ist die Signifikanz des Zusammenhangs zu beachten. Am Signifikanzlevel kann man ablesen, mit welcher Wahrscheinlichkeit ein beobachteter Zusammenhang in einer Studie rein zufällig ist. Die Signifikanz wird häufig anhand eines chi-Qudrat-Tests (x^2-Test) berechnet.

Weiterführende Quellen:

Healey, J. F (2002). Statistics. A Tool for Social Research (6th edition). Part III Measures of Association S. 297 - 370. Belmont CA, Wadsworth. Schnell, R., Hill, P.B. & Esser, E. (2008). Methoden der empirischen Sozialforschung. München, Oldenbourg.

Viele statistische Verfahren gehen von der Annahme einer sogenannten Normalverteilung aus. Die Ausprägungen von normalverteilten Merkmalen haben eine charakteristische Häufigkeitsverteilung, bei der sich die Fälle, entsprechend der Gesetzmäßigkeiten der Gauß-Verteilung, ober- und unterhalb des Mittelwertes verteilen. Diese wahrscheinlichkeitstheoretische Gesetzmäßigkeit kann man für eine Reihe von statistischen Verfahren ausnutzen.

Die Körpergröße ist ein gängiges Beispiel für ein normalverteiltes Merkmal.

In kriminologischen Studien sind die Effektmaße (die abhängigen Merkmale) häufig nicht normalverteilt. Das gilt z.B. für die Inzidenz von Kriminalität (die Anzahl begangener Delikte, Delikthäufigkeit einer Person in einem bestimmten Zeitraum), die in der Regel Poisson- oder negativ binominal verteilt ist. Da die meisten Personen gar kein Delikt begehen ist die Häufigkeitsverteilung stark rechtsschief (d.h. zum rechten Ende flach abfallend) und lässt sich daher nicht adäquat durch eine Normalverteilungsfunktion abbilden.

Der Zusammenhang zwischen zwei Merkmalen wird meistens durch weitere Faktoren beeinflusst. Diese Faktoren kann man mit geeigneten Verfahren, wie bspw. der (multivariaten) Regressionsanalyse, kontrollieren. Bildlich gesprochen kann man in der statistischen Analyse zusätzliche Faktoren an- und ausschalten und dabei beobachtet, wie sich der Zusammenhang zwischen den anderen Faktoren ändert. Auf diese Weise können sogenannte Scheinkorrelationen aufgedeckt werden, bei denen der Zusammenhang zwischen zwei Merkmalen bei der Kontrolle durch einen dritten Faktor vollständig wegfällt.

Es gibt zwei grundsätzlich unterschiedliche Ansätze, um den Einfluss von Faktoren zu kontrollieren:

1. ) durch das Design, das heiß durch die Aufteilung in Versuchs- und Kontrollgruppe anhand von Randomisierung oder Matching (siehe „Wie wird verglichen?“ weiter oben). Unter den idealen Bedingungen eines randomisierten Kontrollgruppenexperiments (RCT=Randomized Controlled Trial) kann dann eine einfache Korrelation zwischen zwei Merkmalen (bspw. Teilnahme an einem Programm zur Kriminalprävention: ja/nein, und Rückfälligkeit in den ersten 12 Monaten nach der Teilnahme: ja/nein) einen validen Nachweis von Kausalität erbringen. In diesem Fall werden durch die zufällige Verteilung in Versuchs- und Kontrollgruppe alle möglichen Einflussfaktoren kontrolliert.
2. ) durch statistische Kontrolle aller (theoretisch) relevanten Faktoren. Mit sogenannten multivariaten Verfahren (Verfahren, die den statistischen Zusammenhang von mehr als drei Merkmalen gleichzeitig untersuchen) lässt sich der wechselseitige Einfluss gleichzeitig wirkender Faktoren untersuchen.

Zu diesen Verfahren gehören z.B. die Familie der Regressionsmodelle (GLM, logistisch, linear), Strukturgleichungsmodelle (SEM) und die Mehrebenenanalyse.

Insbesondere in Verbindung mit Panel und/oder Kohortenstudien (Merkmale werden in der gleichen Stichprobe/Kohorte zu mindestens zwei Zeitpunkten gemessen) können sie wertvolle Ergebnisse über die Wirksamkeit von Präventionsmaßnahmen liefern

Wie stark und im Vergleich zu welcher Bezugsgröße/welchem Maßstab verändern sich die Indikatoren anhand derer die Wirksamkeit der Maßnahme evaluiert wurde? Hier sind die wichtigsten Ergebnisse zusammengefasst.

Welche Ergebnisse hat die Analyse von weiteren Einflussfaktoren ergeben?

Wie wirksam eine Maßnahme ist, hängt nicht nur von dem Präventionsansatz an sich, sondern auch von der Art und Weise seiner Implementierung ab. In der Evaluationsforschung wurden u.a. folgende wirksamkeitsrelevante Aspekte der Umsetzung identifiziert:

• Eine Maßnahme setzt das ursprüngliche Präventionsmodell (Präventionskonzept, erfolgreiches Pilotprojekt) originalgetreu um.
• Das Programm erreicht die genaue Zielgruppe.
• Die Teilnahme an der Maßnahme erfolgt in ausreichender Intensität und Dauer.
• Das Personal ist ausreichend qualifiziert und motiviert.

Untersuchungen zeigen, dass sich die Wirkung eines Programms um das Zwei- bis Dreifache steigern lässt, wenn eine gute Umsetzung vor Ort erfolgt. Eine schlechte Implementierung kann einen ansonsten wirksamen Ansatz wirkungslos werden lassen oder sogar unerwünschte Effekte auslösen.

Evaluationen können entsprechende Hinweise auf die Implementierungsbedingungen eines Projektes beinhalten (vgl. Groeger-Roth, 2014, S. 138).

Groeger-Roth, F. (2014). Die “Grüne Liste Prävention“ – ein Beitrag zur nachhaltigen Kriminalprävention. In: W. Schubarth (Hrsg.), Nachhaltige Prävention von Kriminalität, Gewalt und Rechtsextremismus, Beiträge aus Wissenschaft und Praxis, S. 127 - 143. Potsdam, Universitätsverlag Potsdam.

Welche Handlungsempfehlungen benennen die Autoren der Studie? Empfehlungen des NZKs finden Sie auf der Seite der entsprechenden Forschungssynthesen zu dieser Maßnahme oder diesem Ansatz.

Hier sehen Sie, wie wir das wissenschaftliche Niveau der Studie in Bezug auf ihre Evaluationsbefunde einschätzen. Dieser Wert ist ausdrücklich kein Urteil oder Maßstab der allgemeinen wissenschaftlichen Bedeutung dieser Studie. Die Autoren der Studie verfolgen unter Umständen ein ganz anderes Untersuchungsziel als die Evaluation einer Maßnahme, und erzielen Evaluationsbefunde nur als ein Nebenprodukt ihrer Auswertung. Folglich kann eine Studie mit einem niedrigen Evidenzindex durchaus exzellente Ergebnisse für ihren Untersuchungsbereich erzielen.

Der Index hat Werte von 0 bis 100, wobei 100 für eine wissenschaftlich exzellente Praxis und 0 für ein gänzlich unwissenschaftliches Vorgehen (oder eine gänzlich andere Zielsetzung der Studie) stehen.

Mehr Informationen zur Berechnung des NZK-Evidenzindex und zur kritischen Bewertung wissenschaftlicher Befunde allgemein finden Sie hier.

Die Formulierung der Untersuchungsziele wird mit einer von 3 Stufen beurteilt:

Stufe 0: Die Studie benennt kein klares oder kein Untersuchungsziel.

Stufe 1: Die Studie benennt ein klares überprüfbares Untersuchungsziel (oder dieses Ziel ist offensichtlich), beschreibt aber nicht dessen methodische Operationalisierung.

Stufe 2: Die Studie benennt ein klares überprüfbares Untersuchungsziel und beschreibt die Methode.

Die Eignung des methodischen Zugangs wird mit einer von 3 Stufen beurteilt:

Stufe 0: Ungeeignet: Der methodische Zugang ist offensichtlich ungeeignet für das Untersuchungsziel der Studie und die Studie unternimmt keinen überzeugenden Versuch den gewählten methodischen Zugang zu begründen.

Stufe 1: Geeignet und unterlegen
Der methodische Zugang ist prinzipiell geeignet für das Untersuchungsziel der Studie, gleichzeitig wäre ein anderes Studiendesign geeigneter gewesen.

Stufe 2: Geeignet und überlegen
Der methodische Zugang ist geeignet für das Untersuchungsziel der Studie. Es gibt keine (oder kaum) evaluationspraktische Hindernisse bei der Evaluation.

Die Eignung der theoretischen Grundlagen der Evaluation wird mit einer von 3 Stufen beurteilt:

Stufe 0: Die Studie benennt keine theoretischen Annahmen über die Wirkungsweise der Präventionsmaßnahme (Black Box Evaluation).

Stufe 1: Die Studie benennt theoretische Annahmen über die Wirkungsweise der Präventionsmaßnahme, stellt aber keinen (ausreichenden) Bezug zu deren empirischer Überprüfung her.

Stufe 2: Die Studie benennt theoretische Annahmen über die Wirkungsweise der Präventionsmaßnahme und stellt einen ausreichenden Bezug zu deren empirischen Überprüfung her.

Stufe 0:
Die Studie macht keine oder unzureichende Angaben darüber, wie die Effektgrößen operationalisiert sind.
Oder:
Die verwendeten Indikatoren oder Daten sind ungeeignet die Effektgrößen zu messen.

Stufe 1: Augenscheinliche Validität - Die Studie verwendete augenscheinlich aussagekräftige Indikatoren (und/oder kodifizierte Verfahren) zur Messung der Effektgröße, jedoch sind die Indikatoren weder theoretisch noch empirisch begründet.

Stufe 2: Augenscheinliche Validität und theoretische Validität - Die Studie verwendete augenscheinlich gute und theoretisch begründete Indikatoren (und/oder kodifizierte Verfahren) zur Messung der Effekt-größe

Stufe 3: Augenscheinliche Validität und Reliabilität - Die Studie verwendet augenscheinlich gute Indikatoren zur Messung der Effektgröße und kann deren Reliabilität empirisch nachweisen (bspw. Faktorenana-lyse, Reliabilitätstest, Intercoder- Reliabilität etc.).

Stufe 4: Die Studie verwendet ein theoretisch verankertes und empirisch bewährtes Messinstrument zur Messung der Effektgröße (die Reliabilität des Instruments wurde empirisch überprüft).

Stufe 5: Multimethodal - Die Studie verwendet theoretisch verankerte und empirisch bewährte Messinstrumente und setzt mindestens zwei verschiedene Instrumente zur Messung der Effektgröße ein (ein Instrument mindestens Stufe 3 und ein weiteres Instrument mindestens Stufe 1).

Die Qualität der Datenauswertung und ihrer Dokumentation wird mit einer von 6 Stufen beurteilt:

Stufe 0:
Die Studie beschreibt die Methoden der Datenerhebung und der Datenauswertung nicht. Der Leser kann nicht beurteilen, ob die angewendeten Verfahren für die Evaluation geeignet sind (Verletzung der Methodentransparenz). Die Autoren liefern auch auf Nachfrage keine Informationen zur Methodik der Evaluation.

Oder:
Die empirischen Daten und die qualitativen und/oder quantitativen Auswertungsverfahren passen offensichtlich nicht zueinander und es fehlt eine Begründung warum die Studie die erhobenen Daten ausgerechnet mit diesen Verfahren auswertet.

Stufe 1: Die Auswertung ist lückenhaft oder unverständlich dokumentiert, erscheint nach Einschätzung der gegebenen Informationen aber plausibel.

Stufe 2: Die Auswertung ist nachvollziehbar dokumentiert und augenscheinlich plausibel. Es werden aber wichtige Annahmen/Voraussetzungen zur Anwendung der Methode verletzt (z. B. zu geringer Stichprobenumfang, fehlerhafte Annahmen über die Verteilung, oder Skalenmaße. Bei qualitativen Auswertungsmethoden erfolgt keine Interpretation in Gruppen und/oder Intercoderanalyse.

Eine kritische Auseinandersetzung über die Einschränkungen (Verletzung von Annahmen und/oder fehlende Intercoderanalyse) erfolgt nicht, oder ist offenkundig angreifbar.

Stufe 3: wie Stufe 2, aber es erfolgt eine kritische und offene Auseinandersetzung über die Verletzung von Annahmen sowie deren Auswirkung auf die Ergebnisse. Die dargestellten Ergebnisse sind bei Berücksichtigung ihrer offen dargelegten Einschränkungen nicht weiter angreifbar.

Stufe 4: Die Auswertung der empirischen Daten ist nachvollziehbar dokumentiert, erfolgt anhand der geeignetsten Auswertungsmethoden und ohne erkennbaren Fehler.

Stufe 5: Wie Stufe 4 + multimodale Auswertung bzw. Triangulation.

Die Qualität der Ergebnisinterpretation wird mit einer von 3 Stufen beurteilt:

Stufe 0: Unangemessene, verzerrte Interpretation der Ergebnisse.

Stufe 1: Angemessene, reflektierte und sachliche Interpretation der Ergebnisse; unzureichende Diskussion möglicher Grenzen und Einschränkungen der Ergebnisse.

Stufe 2: Angemessene, reflektierte und sachliche Interpretation der Ergebnisse; selbstkritische Reflexion möglicher Grenzen und Einschränkungen der Ergebnisse

Das Bestehen möglicher Interessenkonflikte wird mit einer von 3 Stufen beurteilt

Stufe 0: Studienautor ist Programmentwickler bzw. Mitarbeiter mit einem kommerziellen Interesse an der Vermarktung der Maßnahme.

Stufe 1: Studienautor ist Programmentwickler bzw. Mitarbeiter, aber Programm wurde (bisher) nicht kommerziell verbreitet, keine kommerzielle Vermarktung.

Stufe 2: Unabhängige Evaluation durch externe Einrichtung/Person ohne erkennbaren Interessenkonflikt.

Ergänzende Kritik (positiv und negativ) an der Evaluation. Hier werden in Einzelfällen auch Begründungen für die Auswahl einzelner Bewertungen bzw. Stufen gegeben.