Studienplanung

Generelle Informationen

Bei der Studienplanung geht es darum, festzuleben wie man eine Studie durchführt. Dies ist ist ein sehr wichtiger Schritt denn er gibt an wie das geplante Ziel, d.h. die Forschungsfrage, beantwortet werden soll. Bildlich gesprochen gibt die Studienplanung an wie der Weg zur Beantwortung der Forschungsfrage aussehen soll. Es geht also in diesem Schritt darum zu bestimmen, wie eine Studie durchgeführt werden soll.

Es gibt immer mehrere Wege ans Ziel zu kommen und entsprechend gibt es für jede Fragestellung nicht nur einen, sondern verschiedene Wege, eine Studie durchzuführen. Um zu entscheiden welcher Weg der beste ist, muss sollte man berücksichtigen:

  • wie genau man mit der geplanten Studiendurchführung die Forschungsfrage beantworten kann. Hier sollte man den Weg wählen, der einem am nächsten zum Ziel bringt. Beispiel: Wenn ich an Zufriedenheit interessiert bin, sollte ich einen Fragebogen verwenden der Zufriedenheit und nicht Glücklichkeit misst.
  • von welcher Güte der Weg ist. Hierzu kann man die Gütekriterien verwenden. Welcher Weg erfüllt die für die vorliegende Forschungsfrage wichtigen Gütekriterien am besten? Will man z.B. eine hohe Generalisierbarkeit der Ergebnisse für Alltagssituationen erreichen, sollte die externe Validität hoch sein. Möchte man sehr exakt ein bestimmtes Phänomen messen und Alternativerklärungen ausschliessen, so sollte die interne Validität hoch sein. Wichtig zu erkennen ist, dass die Gütekriterien nicht unabhängig voneinander sind, d.h. sie beeinflussen sich gegenseitig. Ein Beispiel dazu: Will man hohe interne Validität, kann es sein, dass man sich dazu entschliesst z.B. ein Experiment durchzuführen welches in einem Labor durchgeführt wird, um weitere Störfaktoren und damit Alternativerklärungen auszuschliessen. Das führt jedoch dazu, dass das Experiment unter nicht realitischen Bedingungen durchgeführt wird und damit erniedrigt sich die externe Validität. Wie gesagt, es gibt hier nicht die beste Lösung, sondern man muss abwägen, was einem für die Fragestellung derzeit am wichtigsten ist. Die Shortcomings oder das Abwägen der gewählten Methode und deren Auswirkung auf die Ergebnisse, können dann in der Diskussionsteil der Arbeit disktuiert werden.
  • ob der gewählte Weg methodisch-technisch-zeitlich innerhalb der Arbeit umsetzbar ist, und
  • welche Alternativerklärungen bei dem gewählten Weg noch offen bleiben. Dies sollte minimiert werden. Alternativerklärungen werden auch im Diskussionsteil der Arbeit diskutiert.

Insgemt ist hier ein ratsame einen kritischen Blick auf die eigene Planung einzunehmen, um spätere Überraschungen bei der Beantwortung der Frage zu vermeiden. Hier empfiehlt es sich die Studie kritisch mit Kommilitonen und dem/der BetreurIn zu diskutieren.

Praktische Hinweise zur Fragebogenerstellung

  • Wählt für die Messung eurer Messgröße immer das höchste Skalenniveau. Beispiel: Fragt Alter nicht in Alterskategorien ab (nominal oder ordinal), sondern fragt nach dem Alter in Jahren (kontinuierlich). Falls ihr Alter in Alterskategorien abfragt könnt ihr später nicht einmal das durchschnittliche Alter berechnen. Jedoch könnt ihr das Alter in Jahren immer noch kategorisieren wenn ihr es denn wollt.
  • Machmal müsst ihr etwas messen, für das es kein Fragebogen/Konstrukt gibt (ihr würdet die Größe als latente Variable messen), z.B. wie ecklig fühlt sich das an. Ein Trick den ihr in Betracht ziehen könnt ist aus der latenten Variable eine manifeste zu machen, indem ihr direkt nach dem Zustand fragt: "Wie ecklig hat sich das angefühlt?". Das geht jedoch nur, wenn das Verständnis eurer Größe über alle Personen hin etwas gleich ist, z.B. alle Personen verstehen "ecklig" als relativ ähnlich. Falls das nicht der Fall ist, sagt eingangs was genau ihr mit eurer Größe meint, z.B. Bitte bewerte den Eckel der aufgrund der Feuchtigkeit des Objekts sich bei Dir ergibt".

Effektgrößenbestimmung

Effektgrößenbestimmungen sind wichtig für die Stichprobengrößenschätzungen vor der Durchführung der Studie. Voraussetzung um eine Effektgrößenbestimmung durchzuführen ist, dass die Forschungsfrage und das Studiendesign eindeutig definiert sind.
Effektgrößen können vor der Durchführung der Studie dann wie folgt bestimmt/abgeschätzt werden:

  1. Literaturrecherche: Suche nach existierenden Studien, die alle deine Fragebögen/Variablen verwenden. Wenn es die nicht gibt, suche nach Sudien die so viele wie möglich deiner Fragebögen/Variablen verwenden. Wenn es die auch nicht geben sollte, suche nach Studien die nur eine Deiner Fragebögen/Variablen verwenden. Gibt es keine Studien mit den Variablen, die du benutzen möchtest, dann schau nach Studien, die das Konstrukt mit einem anderen Tool/Fragebogen/Variable messen. Gehe hier wie eben zuvor beschrieben vor. Falls es keine anderen Studien mit gibt, die dasselbe Konstrukt messen, dann suche nach ähnlichen Konstrukten, die deinem möglichst nahe kommen und gehe wie oben zuvor beschrieben vor. Wenn es auch dieses nicht gehen sollte, schaue dir Punkt 2 oder 3 an.
    Hast Du Studien gefunden, musst du innerhalb dieser Studien zu der Ergebnissektion gehen und dort nach Effektgrößen für die Variable für die du dich interessierst ausschau halten (Effektgrößen sind z.B. r2, Cohen's d, eta2, partial-eta2, generalized eta2, Hedges g, Omaga-squared, Cramer's V).
    Suche die Effektgröße für den Effekt raus (Haupteffekt oder Interaktion), für den du dich in deiner Untersuchung interessierst.
    Die Effektgrößen werden über die Studien varrieren. Um ein einheitlicheres Bild bezüglich der Effektgröße für eure Studie zu erhalten, kannst du Effektgrößen von verschiedenen Studien zu derselben Variable mitteln. Oftmals sind unterschiedliche Effektgrößenmaße angegeben. Um die verschiedenen Effektgrößen zu mitteln musst du daher erst einmal alle Effektgrößen in dasselbe Effektgrößenmaß umwandeln. Wandle sie am besten in f um, da dieses auch von g-power verwendet wird. Chat-GPT kann hier dir schnell die Umrechnungsformeln zukommen lassen oder sogar die Umrechnung durchführen (prüft diese jedoch noch einmal).
    Es kann sein, dass deine verschiedenen Variablen unterschiedlich Effektgrößen aufweisen. Gehe am besten konservativ vor und wähle die kleinste Effektgröße für deine Stichprobengrößenberechnung aus, da Du so eine Anzahl erhält mit der du mit großer Wahrscheinlichkeit deinen schwächsten Effekt (und damit auch alle anderen stärkeren Effekte) signifikant bekommst.
  2. Pilotiertung: Wenn es keine Studien zu deinen Variablen gibt und Du Zeit hast, kannst Du auch deine Studie pilotieren (siehe unten), d.h. Probeweise daten erheben um zu schauen ob alles funktioniert und dann die Daten nur zur Berechnung der Effektgröße verwenden.
  3. Sind alle obigen Optionen für dich nicht zutreffend, dann bleibt es Dir nur noch übrig die Effektgröße grob zu schätzen. Generell wird empfohlen hier etwas konservativ zu sein und den Effekt als kleinen oder mittleren Effekt zu schätzen (also f=0.1 oder f=0.25 zu wählen).

Stichprobengrößenbestimmung

Um abzuschätzen wie viele Probanden in quantitativen Studien man braucht, sollte eine Stichprobengrößebestimmung mit GPower erfolgen. Hier kannst Du dir gpower runterladen:
Gpower website mit Downlaod
Gpower manual

Um die Stichprobengrößenberechnung durchzuführen sind zwei Dinge notwendig:

  1. genaue Angaben zum Studiendesign (AV/UV/within-between Design/Gruppenanzahl, Signifikanzlevel) (siehe oben)
  2. Effektgröße. Diese wird am besten abgeschätzt, indem man eine ähnliche Studie finden, die einen ähnlichen Effekt gemessen hat und die Effektgrößen angibt. Wenn es keine Studie gibt, ist es üblich mit einer mittleren Effektgröße zu rechnen. (siehe oben)

Diese Informationen werden in Gpower eingegeben

  1. Wähle für 'Type of power analysis' 'A priori: Compute required....'' aus.
  2. Für 'Test familiy':
    Hast Du eine intervallskalierte AV: Wähle F test aus wenn Du eine Regression oder ANOVA rechnest (d.h. du mehrere UVs hast). Ansonsten t-test (wenn Du nur eine UV hast).
    Hast Du eine nominale AV: Wähle Chi-quadrat test aus.
  3. Für 'Statistical test' wähle den zutreffenden Test für deine Untersuchung aus (siehe Entscheidungstabelle oben (achte auf within und between subject design falls zutreffend)). Oft sind folgende Einstellungen richtig (prüfe das aber bitte nochmals anhand des g-power manuals ab, ob dies auch für deine Untersuchung zutrifft):
    Für eine Regression wähle 'Linear multiple regression: Fixed model, R2 increase' aus.
    Für die ANOVA wähle 'ANOVA Fixed effects, special, main effects and interactions' aus.
    Genereller Hinweis: wir gehen normalerweise davon aus, dass die UV fixed sind.
  4. Für Effect size gib das Ergebnis aus deiner Effektgrößenbestimmung (siehe oben) ein.
  5. Für alpha und power kannst du die Standardwerte beibehalten.
  6. Weitere Werte angeben.
    Die Werte von tested und total number of predictors muss für jeden Prädiktor (Regression)/Faktor (ANOVA) einzeln bestimmt werden. Die größte Anzahl an Personen, die du über alle diese Prädiktoren/Faktoren hin findest, ist dann die notwendige Anzahl an Personen für deine Studie. Regression: Es wird nach den tested und total number of predictors gefragt. Für number of tested predictors hängt es davon ab wie viel Vorwissen du in die Studie mitbringst. Wenn Du KEINE a-priori Vermutung darüber hast welcher Prädiktoren signifiant wird sondern du denkst nur, dass mindestens einer der getesteten Prädiktoren zu einem signifikaten Ergebnis führt (du bist also nur daran interessiert, ob ein oder mehrere Prädiktoren, die Du untersucht, einen Effekt auf die AV hat), dann gibst du alle Anzahl aller Prädiktoren als number of tested predictors an. Hast du aber spezifische Vermutungen (d.h. a-priori Vorhersagen) für die Wirksamkeit einzelner Prädiktoren, so setzt du die Number of tested predictors auf 1. Bei anderen Vorhaben solltest Du nochmal mit mir Rücksprache halten.

    ANOVA: Für die ANOVA musst du die Anzahl der Level für den Faktor für den du dich interessierst minus 1 in deinem Design angeben. Beispiel bist du nur an dem Effekt von Geschlecht (m,w,d) interessiert hast du 3 Level und du solltest 3-1=2 angeben. Anderes Beispiel Interaktion: Für die Interaktion multiplizierst du die Anzahl der Levels -1 der an der Interaktion beteiligten Faktoren. Hast du zwei Faktoren, z.B. Geschlecht (m,w,d) und Alter (jung, mittel, alt) interessiert, und bist an der Interaktion interessiert, so hast du (3-1)(3-1)=22=4 tested predictors. Einfach gesagt: Number of tested predictors = Zähler df des Effekts aus der Ergebnistabelle.

Die total number of predictors ist gleich der Anzahl aller Prädiktoren in deinem statistischen Modell. Beispiel: Du hast eine AV und 4 UV, ohne interaktionen, dann sieht dein Modell wie folgt aus: Y=b0+b1X1+b2X2+b3X3+b4X4 wobei die X immer für die Prädiktoren stehen. Dann hast du 4 Prädiktoren und die total number of predictors ist 4. Falls du noch die Interaktion zwischen X3 und X4 Rechnen willst, dann Y=b0+b1X1+b2X2+b3X3+b4X4+b5*X3X4 und dann sind die Anzahl an Prädiktoren 5.

Klicke auf 'Calculate' und es wird dann die Stichprobengröße zurückgegeben. Generell sollte zur dieser Stichprobengröße noch eine zeitliche Grenze a-priori (also im Vorherein) festgelegt werden (z.B. max. 3 Wochen Datenerhebung). Dies dient dazu, die Arbeit noch abschliessbar zu halten im Falle, dass die Stichprobenerhebung länger als erwartet dauert. Die Regel ist dann dass die Datenerhebung dann endet sobald entweder die zeitliche oder die Stichprobengrenze überschritten ist.

Pilotierung

Um sicherzustellen, dass die geplante Studie auch funktioniert, sollte die Studie pilotiert werden, d.h. die Studie wird an zwei oder drei Personen ausprobiert und kritisches Feedback von den Personen wird eingeholt. Falls Fehler in der Studie erkennbar sind (z.B. ProbandInnen verstehen eine Frage nicht) sollten diese beseitigt werden. Zudem sollte bei der Pilotierung auch geprüft werden, ob die gelieferten Daten wirklich es prinzipiell es zulassen, die Forschungsfrage zu beantworten. Z.B. wurden alle Variablen wirklich richtig erhoben oder lassen die Antworten in einem qualitativen Interview es wirklich zu mehr Aufschluß über die Fragestellung zu gewinnen.

Wichtig: Wenn die Studie einmal gestartet ist und sich im Nachhinein offensichtliche Fehler ergeben, schlägt sich dieses negativ auf die Beurteilung der wissenschaftlichen Arbeit nieder innerhalb der Gutachten nieder. Gleichzeitig soll gesagt werden, dass in einer Studie fast immer Fehler passieren. Wissenschaftlich wird mit Fehlern so umgegangen, dass diese offen und transparent mitgeteilt werden, so dass der/die LeserIn der Studie selbst eine Einschätzung über die Fehler und deren Konsequenzen gewinnen kann. Fehler und deren Konsequenzen für die Interpretation der Ergebnisse werden zudem im Diskussionsteil der Thesis diskutiert. Fehler zu unterschlagen, ist wissenschaftlich unetisches Verhalten, was oft als Täuschung oder Falschdarstellung des Sachverhaltes interpretiert wird und daher zur deutlichen Abwertung der Arbeit führen kann.