Studienplanung

Generelle Informationen

Bei der Studienplanung geht es darum, festzuleben wie man eine Studie durchführt. Dies ist ist ein sehr wichtiger Schritt denn er gibt an wie das geplante Ziel, d.h. die Forschungsfrage, beantwortet werden soll. Bildlich gesprochen gibt die Studienplanung an wie der Weg zur Beantwortung der Forschungsfrage aussehen soll. Es geht also in diesem Schritt darum zu bestimmen, wie eine Studie durchgeführt werden soll.

Es gibt immer mehrere Wege ans Ziel zu kommen und entsprechend gibt es für jede Fragestellung nicht nur einen, sondern verschiedene Wege, eine Studie durchzuführen. Um zu entscheiden welcher Weg der beste ist, muss sollte man berücksichtigen:

• wie genau man mit der geplanten Studiendurchführung die Forschungsfrage beantworten kann. Hier sollte man den Weg wählen, der einem am nächsten zum Ziel bringt. Beispiel: Wenn ich an Zufriedenheit interessiert bin, sollte ich einen Fragebogen verwenden der Zufriedenheit und nicht Glücklichkeit misst.
• von welcher Güte der Weg ist. Hierzu kann man die Gütekriterien verwenden. Welcher Weg erfüllt die für die vorliegende Forschungsfrage wichtigen Gütekriterien am besten? Will man z.B. eine hohe Generalisierbarkeit der Ergebnisse für Alltagssituationen erreichen, sollte die externe Validität hoch sein. Möchte man sehr exakt ein bestimmtes Phänomen messen und Alternativerklärungen ausschliessen, so sollte die interne Validität hoch sein. Wichtig zu erkennen ist, dass die Gütekriterien nicht unabhängig voneinander sind, d.h. sie beeinflussen sich gegenseitig. Ein Beispiel dazu: Will man hohe interne Validität, kann es sein, dass man sich dazu entschliesst z.B. ein Experiment durchzuführen welches in einem Labor durchgeführt wird, um weitere Störfaktoren und damit Alternativerklärungen auszuschliessen. Das führt jedoch dazu, dass das Experiment unter nicht realitischen Bedingungen durchgeführt wird und damit erniedrigt sich die externe Validität. Wie gesagt, es gibt hier nicht die beste Lösung, sondern man muss abwägen, was einem für die Fragestellung derzeit am wichtigsten ist. Die Shortcomings oder das Abwägen der gewählten Methode und deren Auswirkung auf die Ergebnisse, können dann in der Diskussionsteil der Arbeit disktuiert werden.
• ob der gewählte Weg methodisch-technisch-zeitlich innerhalb der Arbeit umsetzbar ist, und
• welche Alternativerklärungen bei dem gewählten Weg noch offen bleiben. Dies sollte minimiert werden. Alternativerklärungen werden auch im Diskussionsteil der Arbeit diskutiert.

Insgemt ist hier ein ratsame einen kritischen Blick auf die eigene Planung einzunehmen, um spätere Überraschungen bei der Beantwortung der Frage zu vermeiden. Hier empfiehlt es sich die Studie kritisch mit Kommilitonen und dem/der BetreurIn zu diskutieren.

Studiendesign bestimmen

Das Studiendesign ist eine kurze und prägnante Beschreibung Deiner wissenschaftlichen Untersuchung. Es ist ein kurzer Text der kurz und prägnant beschreibt was gemessen wurde und wie es gemessen wurde. Diese Information ist wichtig, um den richtige Analyse auszuwählen oder die notwendige Stichprobengröße a-priori zu bestimmen. Das Studiendesign hilft daher bei der Übersetzung von dem was Du in deiner wissenschaftlichen Untersuchung gemacht hast in eine statistische Analyse.

Beantworte folgenden Fragen um Dein Studiendesign zu bestimmen:

1. Was musst Du alles messen, um Deine Forschungsfrage zu beantworten? Die Antwort auf diese Frage gibt dir Auskunft darüber welche Variablen in deiner Untersuchung vorliegen.
2. Was ist/sind deine abhängigen Variablen (AV) und was sind deine unabhängigen Variablen (UV)? Zur Erinnerung: Deine AV ist die Variable in Deiner Untersuchung auf die du schauen würdest, um festzustellen, ob sich im Laufe Deiner Untersuchung was verändert. Stell dir also bildlich vor, dass alle Variablen vor die liegen würden und du deine Untersuchung beginnen würdest. Auf welche Variable würdest Du schauen, um zu sehen, ob ob Deine Vermutung darüber, was in der Untersuchung passieren wird stimmt? Es kann sein, dass Du auf mehrere Variablen schaust. In diesem Fall hast Du mehrere AVs. Die anderen Variablen sind die UVs. Die UVs ist/sind die Variablen in Abhängigkeit dessen man die Veränderung der AV misst, d.h. der Wert der AV hängt von der Ausprägung der UV ab (daher auch der Name abhängige Variable).
3. Bestimme das Skalenniveau (nominal/ordinal/intervallskaliert/verhältnisskaliert) für alle Deine Variablen.
4. Dieser Schritt ist nur notwendig, wenn Du UVs hast die nominalskaliert sind (diese UV wird dann auch Faktor genannt). Aus wie vielen Gruppen (auch Levels genannt) besteht jede dieser UVs und sind die Messungen die über die Gruppen durchgeführt werden abhängig oder unabhängig voneinander. Abhängigkeiten können vorliegen, wenn ein und diesselbe Person mehrmals gemessen wird (z.B. durch die Stimmung der Person). Wenn die Messungen über die Gruppen abhängig sind spricht man von einem within subject Faktor, da der Effekt z.B. innerhalb der Person deutlich wird, die man mehrmals gemessen hat. Wenn die Gruppen unabhängig sind, spricht man auch von einen between subjects Faktor, weil die Effekte nur auf Gruppenebene, aber nicht innerhalb der Person, ersichtlich werden (wenn man z.B. verschiedene Personen in verschiedenen Gruppen gemessen hat).

Damit hast Du alles beisammen, um Deine statistische Prozedur zu bestimmen. Ich habe hier mal eine Übersicht von gängigen statistischen Verfahren als Entscheidungsbaum zusammengestellt: Entscheidungsbaum der statistischen Tests.

Hier eine Kurzzusammenfassung der gängisten Designs als Enscheidungsbaum:

Effektgrößenbestimmung

Effektgrößenbestimmungen sind wichtig für die Stichprobengrößenschätzungen vor der Durchführung der Studie. Voraussetzung um eine Effektgrößenbestimmung durchzuführen ist, dass die Forschungsfrage und das Studiendesign eindeutig definiert sind.
Effektgrößen können vor der Durchführung der Studie dann wie folgt bestimmt/abgeschätzt werden:

1. Literaturrecherche: Suche nach existierenden Studien, die alle deine Fragebögen/Variablen verwenden. Wenn es die nicht gibt, suche nach Sudien die so viele wie möglich deiner Fragebögen/Variablen verwenden. Wenn es die auch nicht geben sollte, suche nach Studien die nur eine Deiner Fragebögen/Variablen verwenden. Gibt es keine Studien mit den Variablen, die du benutzen möchtest, dann schau nach Studien, die das Konstrukt mit einem anderen Tool/Fragebogen/Variable messen. Gehe hier wie eben zuvor beschrieben vor. Falls es keine anderen Studien mit gibt, die dasselbe Konstrukt messen, dann suche nach ähnlichen Konstrukten, die deinem möglichst nahe kommen und gehe wie oben zuvor beschrieben vor. Wenn es auch dieses nicht gehen sollte, schaue dir Punkt 2 oder 3 an.
   Hast Du Studien gefunden, musst du innerhalb dieser Studien zu der Ergebnissektion gehen und dort nach Effektgrößen für die Variable für die du dich interessierst ausschau halten (Effektgrößen sind z.B. r², Cohen's d, eta², partial-eta², generalized eta², Hedges g, Omaga-squared, Cramer's V).
   Suche die Effektgröße für den Effekt raus (Haupteffekt oder Interaktion), für den du dich in deiner Untersuchung interessierst.
   Die Effektgrößen werden über die Studien varrieren. Um ein einheitlicheres Bild bezüglich der Effektgröße für eure Studie zu erhalten, kannst du Effektgrößen von verschiedenen Studien zu derselben Variable mitteln. Oftmals sind unterschiedliche Effektgrößenmaße angegeben. Um die verschiedenen Effektgrößen zu mitteln musst du daher erst einmal alle Effektgrößen in dasselbe Effektgrößenmaß umwandeln. Wandle sie am besten in f um, da dieses auch von g-power verwendet wird. Chat-GPT kann hier dir schnell die Umrechnungsformeln zukommen lassen oder sogar die Umrechnung durchführen (prüft diese jedoch noch einmal).
   Es kann sein, dass deine verschiedenen Variablen unterschiedlich Effektgrößen aufweisen. Gehe am besten konservativ vor und wähle die kleinste Effektgröße für deine Stichprobengrößenberechnung aus, da Du so eine Anzahl erhält mit der du mit großer Wahrscheinlichkeit deinen schwächsten Effekt (und damit auch alle anderen stärkeren Effekte) signifikant bekommst.
2. Pilotiertung: Wenn es keine Studien zu deinen Variablen gibt und Du Zeit hast, kannst Du auch deine Studie pilotieren (siehe unten), d.h. Probeweise daten erheben um zu schauen ob alles funktioniert und dann die Daten nur zur Berechnung der Effektgröße verwenden.
3. Sind alle obigen Optionen für dich nicht zutreffend, dann bleibt es Dir nur noch übrig die Effektgröße grob zu schätzen. Generell wird empfohlen hier etwas konservativ zu sein und den Effekt als kleinen oder mittleren Effekt zu schätzen (also f=0.1 oder f=0.25 zu wählen).

Stichprobengrößenbestimmung

Um abzuschätzen wie viele Probanden in quantitativen Studien man braucht, sollte eine Stichprobengrößebestimmung mit GPower erfolgen. Hier kannst Du dir gpower runterladen:
Gpower website mit Downlaod
Gpower manual

Um die Stichprobengrößenberechnung durchzuführen sind zwei Dinge notwendig:

1. genaue Angaben zum Studiendesign (AV/UV/within-between Design/Gruppenanzahl, Signifikanzlevel) (siehe oben)
2. Effektgröße. Diese wird am besten abgeschätzt, indem man eine ähnliche Studie finden, die einen ähnlichen Effekt gemessen hat und die Effektgrößen angibt. Wenn es keine Studie gibt, ist es üblich mit einer mittleren Effektgröße zu rechnen. (siehe oben)

Diese Informationen werden in Gpower eingegeben

1. Wähle für 'Type of power analysis' 'A priori: Compute required....'' aus.
2. Für 'Test familiy':
   Hast Du eine intervallskalierte AV: Wähle F test aus wenn Du eine Regression oder ANOVA rechnest (d.h. du mehrere UVs hast). Ansonsten t-test (wenn Du nur eine UV hast).
   Hast Du eine nominale AV: Wähle Chi-quadrat test aus.
3. Für 'Statistical test' wähle den zutreffenden Test für deine Untersuchung aus (siehe Entscheidungstabelle oben (achte auf within und between subject design falls zutreffend)). Oft sind folgende Einstellungen richtig (prüfe das aber bitte nochmals anhand des g-power manuals ab, ob dies auch für deine Untersuchung zutrifft):
   Für eine Regression wähle 'Linear multiple regression: Fixed model, R² increase' aus.
   Für die ANOVA wähle 'ANOVA Fixed effects, special, main effects and interactions' aus.
   Genereller Hinweis: wir gehen normalerweise davon aus, dass die UV fixed sind.
4. Für Effect size gib das Ergebnis aus deiner Effektgrößenbestimmung (siehe oben) ein.
5. Für alpha und power kannst du die Standardwerte beibehalten.
6. Weitere Werte angeben.
   Regression: Gib dann noch die Anzahl der UVs (Prädiktoren) bei der Regression an. Für number of tested predictors musst du die Anzahl der Prädiktoren angeben, wenn Du KEINE a-priori Vermutung für die Signifikanz für einen oder mehrere Prädiktoren hast (du bist also nur daran interessiert, ob ein oder mehrere Prädiktoren, die Du untersucht, einen Effekt auf die AV hat). Machst Du spezifische a-priori Vorhersagen für einzelne Prädiktoren so setzt du die Number of tested predictors auf 1. Bei anderen Vorhaben solltest Du nochmal mit mir Rücksprache halten.
   
   ANOVA: Für die ANOVA musst du die Anzahl der Zellen in deinem Design angeben. Also die Anzahl der Gruppen innerhalb des Design. Beispiel bist du nur an dem Effekt von Geschlecht (m,w,d) interessiert hast du 3 Zellen. Hast du jedoch zwei Faktoren, z.B. Geschlecht (m,w,d) und Alter (jung, mittel, alt) interessiert, und bist an der Interaktion interessiert, so hast du 3x3=9 Gruppen in Deinem Design.

Klicke auf 'Calculate' und es wird dann die Stichprobengröße zurückgegeben. Generell sollte zur dieser Stichprobengröße noch eine zeitliche Grenze a-priori (also im Vorherein) festgelegt werden (z.B. max. 3 Wochen Datenerhebung). Dies dient dazu, die Arbeit noch abschliessbar zu halten im Falle, dass die Stichprobenerhebung länger als erwartet dauert. Die Regel ist dann dass die Datenerhebung dann endet sobald entweder die zeitliche oder die Stichprobengrenze überschritten ist.

Pilotierung

Um sicherzustellen, dass die geplante Studie auch funktioniert, sollte die Studie pilotiert werden, d.h. die Studie wird an zwei oder drei Personen ausprobiert und kritisches Feedback von den Personen wird eingeholt. Falls Fehler in der Studie erkennbar sind (z.B. ProbandInnen verstehen eine Frage nicht) sollten diese beseitigt werden. Zudem sollte bei der Pilotierung auch geprüft werden, ob die gelieferten Daten wirklich es prinzipiell es zulassen, die Forschungsfrage zu beantworten. Z.B. wurden alle Variablen wirklich richtig erhoben oder lassen die Antworten in einem qualitativen Interview es wirklich zu mehr Aufschluß über die Fragestellung zu gewinnen.

Wichtig: Wenn die Studie einmal gestartet ist und sich im Nachhinein offensichtliche Fehler ergeben, schlägt sich dieses negativ auf die Beurteilung der wissenschaftlichen Arbeit nieder innerhalb der Gutachten nieder. Gleichzeitig soll gesagt werden, dass in einer Studie fast immer Fehler passieren. Wissenschaftlich wird mit Fehlern so umgegangen, dass diese offen und transparent mitgeteilt werden, so dass der/die LeserIn der Studie selbst eine Einschätzung über die Fehler und deren Konsequenzen gewinnen kann. Fehler und deren Konsequenzen für die Interpretation der Ergebnisse werden zudem im Diskussionsteil der Thesis diskutiert. Fehler zu unterschlagen, ist wissenschaftlich unetisches Verhalten, was oft als Täuschung oder Falschdarstellung des Sachverhaltes interpretiert wird und daher zur deutlichen Abwertung der Arbeit führen kann.