Eine der ersten Fragen bei der Planung eines Forschungsprojekts lautet:
Wie viele Personen müssen an meiner Untersuchung teilnehmen?
Wer zum ersten Mal ein Forschungsprojekt durchführt, kann diese Frage kaum aus eigener Erfahrung beantworten. Man könnte zwar einfach beschließen, beispielsweise 30, 50 oder 100 Personen zu untersuchen. Ohne eine weitere Begründung weiß man jedoch nicht, ob diese Zahl ausreicht, um die Forschungsfrage sinnvoll zu beantworten.
Eine zu kleine Stichprobe kann dazu führen, dass ein tatsächlich vorhandener Effekt nicht erkannt wird.
Eine sehr große Stichprobe liefert in der Regel genauere Ergebnisse, benötigt aber mehr Zeit, Geld und Teilnehmende. Außerdem ist es wissenschaftlich und ethisch nicht sinnvoll, mehr Personen als notwendig zu untersuchen.
Die Stichprobengrößenberechnung soll deshalb einen sinnvollen Mittelweg finden:
Die Stichprobe soll groß genug sein, um einen für die Forschungsfrage relevanten Effekt mit ausreichender Wahrscheinlichkeit erkennen zu können.
Die Stichprobengröße sollte möglichst vor Beginn der Datenerhebung bestimmt werden. Eine solche Berechnung nennt man eine A-priori-Poweranalyse.
Angenommen, wir möchten untersuchen, ob Arbeitsbelastung mit dem Stresserleben von Studierenden zusammenhängt.
Es sind unterschiedliche Situationen denkbar:
Ein sehr starker Zusammenhang ist normalerweise leichter zu erkennen. Dafür kann bereits eine kleinere Stichprobe ausreichen.
Ein schwacher Zusammenhang ist schwieriger von zufälligen Schwankungen in den Daten zu unterscheiden. Um einen solchen Zusammenhang zuverlässig erkennen zu können, werden normalerweise mehr Personen benötigt.
Daher gilt als grundlegende Regel:
Je kleiner der Effekt ist, den wir erkennen möchten, desto größer muss normalerweise die Stichprobe sein.
Die statistische Power wird auch als Teststärke bezeichnet.
Sie beschreibt die Wahrscheinlichkeit, mit der eine Untersuchung einen tatsächlich vorhandenen Effekt erkennt.
In G*Power wird sie folgendermaßen bezeichnet:
Power (1 - beta err prob)
Häufig wird eine Power von .80 verwendet.
Das bedeutet vereinfacht:
Wenn der angenommene Effekt in der Population tatsächlich vorhanden ist, soll die Untersuchung eine Wahrscheinlichkeit von 80 Prozent haben, diesen Effekt statistisch zu erkennen.
Eine Power von .80 bedeutet nicht, dass die Hypothese mit einer Wahrscheinlichkeit von 80 Prozent richtig ist.
Die Aussage bezieht sich nur auf folgende Situation:
Eine höhere gewünschte Power führt normalerweise zu einer größeren benötigten Stichprobe.
Beispielsweise benötigt eine Untersuchung mit einer gewünschten Power von .90 normalerweise mehr Personen als eine Untersuchung mit einer gewünschten Power von .80.
Für eine A-priori-Poweranalyse werden normalerweise folgende Informationen benötigt:
Aus diesen Angaben berechnet G*Power die erforderliche Stichprobengröße.
Die benötigte Stichprobengröße hängt davon ab, wie die Forschungsfrage später statistisch untersucht werden soll.
Mögliche Fragestellungen sind beispielsweise:
Deshalb muss vor der Stichprobengrößenberechnung festgelegt werden, welcher statistische Test später verwendet werden soll.
Die Poweranalyse muss zu der Analyse passen, mit der die Forschungsfrage später tatsächlich untersucht wird.
Wird die Stichprobe beispielsweise für einen einfachen Gruppenunterschied geplant, die eigentliche Hypothese später aber mit einer Interaktion untersucht, passt die Stichprobengrößenberechnung nicht zur Forschungsfrage.
Eine Effektgröße beschreibt die Stärke eines Unterschieds oder Zusammenhangs.
Sie beantwortet beispielsweise folgende Fragen:
Eine Effektgröße beschreibt somit nicht nur, ob ein Effekt vorhanden ist, sondern wie groß dieser Effekt ist.
Je nach statistischem Test werden unterschiedliche Effektgrößen verwendet.
Beispiele sind:
d für bestimmte Mittelwertunterschiede,r für Korrelationen,f für Varianzanalysen,f^2 für multiple Regressionen,R^2 für den erklärten Varianzanteil eines Regressionsmodells.Die Effektgröße muss zu dem statistischen Test passen, der in G*Power ausgewählt wurde.
Ein Wert darf deshalb nicht einfach aus einer Studie übernommen und in ein beliebiges Effektgrößenfeld eingetragen werden.
Beispielsweise ist:
r = .30
nicht dasselbe wie:
f^2 = .30
Die Effektgröße muss entweder bereits in der benötigten Form berichtet oder korrekt umgerechnet werden.
Die Bestimmung der erwarteten Effektgröße ist häufig der schwierigste Teil der Stichprobengrößenberechnung.
Die eigene Untersuchung wurde noch nicht durchgeführt. Deshalb ist auch noch nicht bekannt, wie groß der Effekt in den eigenen Daten sein wird.
Man benötigt daher eine begründete Annahme.
Man kann sich zunächst fragen:
Was ist der kleinste Effekt, der für unsere Forschungsfrage noch wissenschaftlich oder praktisch bedeutsam wäre?
Ein Effekt kann statistisch nachweisbar sein und trotzdem so klein sein, dass er inhaltlich kaum eine Bedeutung besitzt.
Die Untersuchung kann deshalb so geplant werden, dass sie ausreichend groß ist, um mindestens den kleinsten noch relevanten Effekt erkennen zu können.
Diese Vorgehensweise ist besonders sinnvoll, wenn sich aus der Theorie oder aus praktischen Anforderungen begründen lässt, ab welcher Effektstärke ein Ergebnis interessant wäre.
Eine Metaanalyse fasst die Ergebnisse mehrerer früherer Untersuchungen zusammen.
Sie kann deshalb eine gute Grundlage für die Abschätzung einer plausiblen Effektgröße darstellen.
Dabei muss jedoch geprüft werden, ob die Metaanalyse zur eigenen Untersuchung passt.
Wichtige Fragen sind:
Ein metaanalytischer Durchschnittswert sollte nicht automatisch übernommen werden. Es muss begründet werden, warum dieser Wert auf die eigene Untersuchung übertragbar ist.
Wenn keine passende Metaanalyse vorhanden ist, können möglichst ähnliche Einzelstudien verwendet werden.
Dabei sollte insbesondere auf folgende Vergleichbarkeit geachtet werden:
Das heißt, die Effektgröße sollte nicht einfach aus irgendeiner Studie übernommen werden, in der ähnliche Begriffe vorkommen.
Außerdem sollte nicht automatisch die Studie mit dem größten gefundenen Effekt ausgewählt werden. Sehr große Effekte können durch kleine Stichproben, zufällige Schwankungen oder Besonderheiten der Untersuchung überschätzt worden sein.
Ein vorsichtiger Ansatz besteht darin, sich an einem kleineren, aber noch plausiblen Effekt zu orientieren.
Für viele Effektgrößen gibt es allgemeine Richtwerte für kleine, mittlere und große Effekte.
Diese Richtwerte können verwendet werden, wenn keine besseren Informationen vorhanden sind.
Sie sind jedoch nur eine Ersatzlösung.
Ein als mittel bezeichneter Effekt ist nicht automatisch der wahrscheinlichste Effekt für die eigene Forschungsfrage.
Die Bedeutung und typische Größe eines Effekts hängen vom Forschungsgebiet, von der Population, von der Operationalisierung und vom Untersuchungsdesign ab.
Deshalb muss begründet werden, warum ein bestimmter Richtwert verwendet wird.
Die verwendete Messmethode kann die beobachtete Effektgröße beeinflussen.
Ein zuverlässiger und genauer Test kann vorhandene Unterschiede oder Zusammenhänge normalerweise besser abbilden als eine sehr ungenaue Messung.
Eine unzuverlässige Messung kann dazu führen, dass:
Deshalb sollte bei der Suche nach früheren Effektgrößen möglichst darauf geachtet werden, dass vergleichbare Messmethoden verwendet wurden.
Die Effektgröße ist jedoch nicht ausschließlich eine feste Eigenschaft des Messinstruments.
Sie hängt unter anderem auch davon ab:
Ein zuverlässiges Messinstrument liefert nicht in jeder Population und bei jeder Forschungsfrage dieselbe Effektgröße.
Es ist deshalb am genauesten, von der Effektgröße eines bestimmten Zusammenhangs oder Unterschieds zu sprechen, der mit einer bestimmten Messmethode in einer bestimmten Population untersucht wurde.
Für die Stichprobenplanung gilt:
Frühere Studien sind besonders hilfreich, wenn Forschungsfrage, Population, Design und Messmethoden möglichst gut mit der geplanten Untersuchung übereinstimmen.
Ein konservativer Ansatz bedeutet, dass die Untersuchung nicht mit einer zu optimistischen Annahme geplant wird.
Angenommen, frühere Untersuchungen berichten unterschiedlich große Effekte.
Eine sehr optimistische Planung würde den größten berichteten Effekt verwenden. Dadurch würde G*Power wahrscheinlich eine relativ kleine Stichprobe berechnen.
Das Risiko besteht dann darin, dass der tatsächliche Effekt kleiner ist und die Stichprobe nicht ausreicht.
Ein vorsichtigerer Ansatz verwendet einen kleineren, aber weiterhin plausiblen und inhaltlich relevanten Effekt.
Dadurch wird eine größere Stichprobe berechnet.
Je kleiner die angenommene Effektgröße ist, desto größer ist normalerweise die benötigte Stichprobe.
Eine Untersuchung kann mehrere zentrale Hypothesen enthalten.
Beispielsweise könnten untersucht werden:
Für diese Hypothesen können unterschiedlich große Effekte erwartet werden. Auch die verwendeten Messmethoden können unterschiedlich empfindlich oder zuverlässig sein.
In einem solchen Fall sollte der Stichprobenbedarf für jede zentrale Analyse geprüft werden.
Anschließend wird betrachtet, welche Analyse die größte Stichprobe benötigt.
Die größte benötigte Stichprobe bestimmt die Mindestgröße der gesamten Untersuchung.
Dies ist genauer als die pauschale Regel, sich immer an der schlechtesten Messmethode zu orientieren.
Die am wenigsten empfindliche oder am wenigsten zuverlässige Messmethode kann allerdings dazu führen, dass für die zugehörige Hypothese ein kleinerer beobachtbarer Effekt angenommen werden muss. Dadurch kann diese Analyse tatsächlich die größte Stichprobe erfordern.
Das prinzipielle Vorgehen lautet daher:
Effektgrößen helfen nicht nur bei der Interpretation der eigenen Untersuchung.
Sie ermöglichen auch anderen Forschenden, zukünftige Untersuchungen besser zu planen.
Ein p-Wert zeigt nicht direkt, wie stark ein Unterschied oder Zusammenhang ist.
Deshalb sollten wissenschaftliche Ergebnisse möglichst folgende Informationen enthalten:
Dadurch können spätere Forschende besser einschätzen, welche Effektgröße bei einer vergleichbaren Untersuchung plausibel sein könnte.
Das Berichten von Effektgrößen ist deshalb eine wichtige Grundlage für die Stichprobenplanung zukünftiger Studien.
Vor der Berechnung sollten folgende Fragen beantwortet werden:
G*Power kann nur dann eine sinnvolle Stichprobengröße berechnen, wenn die eingegebenen Annahmen zur geplanten Untersuchung passen.
Wenn die benötigte Stichprobengröße vor Beginn der Datenerhebung berechnet werden soll, wird ausgewählt:
A priori: Compute required sample size - given alpha, power, and effect size
Das bedeutet:
Unter Test family wird die Familie des geplanten statistischen Tests ausgewählt.
Bei den in diesem Kapitel behandelten multiplen Regressionsmodellen und Varianzanalysen wird normalerweise ausgewählt:
F tests
Dies gilt insbesondere, wenn geprüft wird:
Die Auswahl von F tests ergibt sich nicht allein daraus, dass mehrere Variablen erhoben wurden.
Sie ergibt sich daraus, dass die geplante Forschungsfrage mit einem Regressions- oder Varianzanalysemodell und einem entsprechenden F-Test untersucht wird.
In diesem Kapitel wird davon ausgegangen, dass mehrere Variablen gemeinsam in einem statistischen Modell berücksichtigt werden.
Unter Statistical test wird der genaue statistische Test ausgewählt.
Die richtige Auswahl hängt von der Forschungsfrage und vom geplanten Modell ab.
Bei einer Regression muss insbesondere unterschieden werden zwischen:
Soll geprüft werden, ob alle Prädiktoren gemeinsam Unterschiede in der Zielvariable erklären, wird normalerweise ausgewählt:
Linear multiple regression: Fixed model, R^2 deviation from zero
Die Forschungsfrage lautet dann beispielsweise:
Erklären Arbeitsbelastung, soziale Unterstützung und Alter gemeinsam Unterschiede im Stresserleben?
Das Modell kann vereinfacht so dargestellt werden:
Stress = Arbeitsbelastung + soziale Unterstützung + Alter
Der Test vergleicht das vollständige Modell mit einem Modell, das keine dieser Prädiktoren enthält.
Vereinfacht wird geprüft:
H0: R^2 = 0
gegen:
H1: R^2 > 0
Die Frage lautet:
Erklärt das gesamte Regressionsmodell überhaupt Varianz in der Zielvariable?
In G*Power muss dafür die Gesamtzahl der Prädiktoren angegeben werden:
Number of predictors
Im Beispiel enthält das Modell drei Prädiktoren:
Daher wird eingetragen:
Number of predictors = 3
Häufig interessiert nicht nur, ob das gesamte Modell Varianz erklärt.
Stattdessen soll geprüft werden, ob ein bestimmter Prädiktor oder ein bestimmter Prädiktorenblock über andere bereits berücksichtigte Prädiktoren hinaus zusätzliche Varianz erklärt.
Dann wird ausgewählt:
Linear multiple regression: Fixed model, R^2 increase
Eine mögliche Forschungsfrage lautet:
Erklärt die Arbeitsbelastung zusätzliche Unterschiede im Stress, wenn Alter und soziale Unterstützung bereits berücksichtigt werden?
Das reduzierte Modell lautet:
Stress = soziale Unterstützung + Alter
Das vollständige Modell lautet:
Stress = soziale Unterstützung + Alter + Arbeitsbelastung
Geprüft wird, ob sich der erklärte Varianzanteil durch die Aufnahme der Arbeitsbelastung erhöht.
Vereinfacht lautet die Frage:
Ist R^2_full größer als R^2_reduced?
Die Effektgröße für diesen zusätzlichen Beitrag kann folgendermaßen dargestellt werden:
f^2 = (R^2_full - R^2_reduced) / (1 - R^2_full)
Bei dieser Analyse benötigt G*Power zwei Angaben:
Number of tested predictors
und:
Total number of predictors
Total number of predictors ist die Gesamtzahl aller Prädiktoren im vollständigen Regressionsmodell.
Beispiel:
Stress = Arbeitsbelastung + soziale Unterstützung + Alter
Das vollständige Modell enthält drei Prädiktoren:
Daher gilt:
Total number of predictors = 3
Dabei spielt es keine Rolle, ob alle drei Prädiktoren später statistisch signifikant werden.
Sie zählen, weil sie Bestandteil des vollständigen statistischen Modells sind.
Number of tested predictors gibt an, wie viele Prädiktoren mit dem konkreten Modellvergleich geprüft werden.
Das Wort tested bedeutet hier:
Diese Prädiktoren stehen im Mittelpunkt des konkreten statistischen Tests.
Es bedeutet nicht:
Es geht darum, welche Prädiktoren beim Vergleich des reduzierten mit dem vollständigen Modell neu hinzukommen.
Wir untersuchen folgende Frage:
Erklärt Arbeitsbelastung zusätzliche Unterschiede im Stress, wenn Alter und soziale Unterstützung bereits berücksichtigt werden?
Das reduzierte Modell enthält:
Stress = Alter + soziale Unterstützung
Das vollständige Modell enthält:
Stress = Alter + soziale Unterstützung + Arbeitsbelastung
Im vollständigen Modell befinden sich drei Prädiktoren.
Daher gilt:
Total number of predictors = 3
Beim Modellvergleich kommt nur die Arbeitsbelastung neu hinzu.
Daher gilt:
Number of tested predictors = 1
Die Einstellungen in G*Power lauten:
Test family: F testsStatistical test: Linear multiple regression: Fixed model, R^2 increaseType of power analysis: A prioriNumber of tested predictors: 1Total number of predictors: 3Angenommen, wir vermuten:
Arbeitsbelastung hängt besonders dann stark mit Stress zusammen, wenn eine Person wenig soziale Unterstützung erhält.
Wir interessieren uns dafür, ob Arbeitsbelastung und soziale Unterstützung zusammenwirken.
Ein solches Zusammenwirken bezeichnet man als Interaktion.
Das Regressionsmodell lautet:
Stress = Arbeitsbelastung + soziale Unterstützung + Arbeitsbelastung x soziale Unterstützung
Das Modell enthält drei Prädiktoren:
Daher gilt:
Total number of predictors = 3
Unsere zentrale Hypothese bezieht sich nur auf die Interaktion.
Das reduzierte Modell lautet:
Stress = Arbeitsbelastung + soziale Unterstützung
Das vollständige Modell lautet:
Stress = Arbeitsbelastung + soziale Unterstützung + Arbeitsbelastung x soziale Unterstützung
Beim Vergleich der beiden Modelle kommt nur ein Prädiktor neu hinzu: die Interaktion.
Daher gilt:
Number of tested predictors = 1
Die Einstellungen in G*Power lauten:
Test family: F testsStatistical test: Linear multiple regression: Fixed model, R^2 increaseType of power analysis: A prioriNumber of tested predictors: 1Total number of predictors: 3Es können auch mehrere Prädiktoren gemeinsam getestet werden.
Angenommen, Alter und soziale Unterstützung werden zunächst als Kontrollvariablen berücksichtigt.
Anschließend sollen drei Persönlichkeitsmerkmale gemeinsam in das Modell aufgenommen werden.
Das reduzierte Modell lautet:
Stress = Alter + soziale Unterstützung
Das vollständige Modell lautet:
Stress = Alter + soziale Unterstützung + Neurotizismus + Extraversion + Gewissenhaftigkeit
Das vollständige Modell enthält fünf Prädiktoren.
Daher gilt:
Total number of predictors = 5
Beim Modellvergleich werden drei Prädiktoren neu aufgenommen:
Daher gilt:
Number of tested predictors = 3
Geprüft wird der gemeinsame zusätzliche Erklärungsbeitrag dieser drei Persönlichkeitsmerkmale.
In einer Untersuchung können viele Variablen erhoben werden.
Nicht alle erhobenen Variablen müssen jedoch in jeder statistischen Analyse verwendet werden.
Als Prädiktoren zählen nur die Variablen und Modellbestandteile, die tatsächlich in das konkrete Regressionsmodell aufgenommen werden.
Nicht mitgezählt werden:
Die Anzahl der Prädiktoren ist deshalb nicht automatisch mit der Anzahl aller Variablen im Datensatz identisch.
Bei einer Varianzanalyse spricht man häufig von Faktoren.
Bei einer Regression spricht man von Prädiktoren.
Beide haben eine ähnliche Aufgabe:
Sie sollen Unterschiede in einer Zielvariable erklären.
Die Begriffe sind jedoch nicht vollständig gleichbedeutend.
Ein Faktor in einer klassischen Varianzanalyse ist normalerweise eine kategoriale Variable.
Beispiele sind:
Ein Prädiktor in einer Regression kann dagegen sein:
Deshalb sollte man nicht einfach sagen:
Alle erhobenen Variablen heißen bei der ANOVA Faktoren und bei der Regression Prädiktoren.
Genauer ist:
Faktoren und Prädiktoren sind Bestandteile eines statistischen Modells, mit denen Unterschiede in der Zielvariable erklärt werden sollen.
In einfachen Fällen gilt häufig:
Eine Variable = ein Prädiktor
Es gibt jedoch wichtige Ausnahmen.
Das Modell:
Stress = Arbeitsbelastung + soziale Unterstützung + Arbeitsbelastung x soziale Unterstützung
enthält drei Prädiktoren:
Obwohl die Interaktion aus zwei erhobenen Variablen gebildet wird, ist sie ein eigener Modellbestandteil.
Angenommen, wir vermuten, dass ein mittleres Maß an Arbeitsbelastung günstig ist, während sowohl sehr niedrige als auch sehr hohe Arbeitsbelastung ungünstig sind.
Dann kann ein quadratischer Term verwendet werden:
Stress = Arbeitsbelastung + Arbeitsbelastung^2
Dieses Modell enthält zwei Prädiktoren:
Beide Prädiktoren entstehen aus derselben ursprünglich erhobenen Variable.
Für das statistische Modell werden trotzdem zwei Modellparameter benötigt.
Eine kategoriale Variable mit mehreren Gruppen wird in einer Regression normalerweise durch mehrere Vergleichsvariablen dargestellt.
Eine Variable mit vier Gruppen benötigt bei einer üblichen Kodierung drei Vergleichsvariablen.
Eine einzige inhaltliche Variable kann deshalb im Regressionsmodell drei Prädiktorparameter erzeugen.
Für die Eintragung in G*Power muss deshalb die Zahl der tatsächlich im Modell geschätzten Prädiktorparameter berücksichtigt werden.
Die Konstante wird nicht mitgezählt.
Die Begriffe Type I und Type III Sums of Squares beschreiben unterschiedliche Arten, Effekte innerhalb eines statistischen Modells zu prüfen.
Sie bestimmen jedoch nicht unmittelbar, ob in G*Power automatisch R^2 deviation from zero oder R^2 increase ausgewählt wird.
Entscheidend ist immer die konkrete Forschungsfrage.
Type I Sums of Squares werden auch als sequenzielle Quadratsummen bezeichnet.
Die Prädiktoren werden in einer bestimmten Reihenfolge in das Modell aufgenommen.
Jeder Prädiktor oder Block wird danach beurteilt, wie viel zusätzliche Varianz er über die bereits zuvor aufgenommenen Prädiktoren hinaus erklärt.
Beispiel:
Für die Arbeitsbelastung lautet die sequenzielle Frage:
Wie viel zusätzliche Varianz erklärt die Arbeitsbelastung, nachdem Alter und soziale Unterstützung bereits berücksichtigt wurden?
Das ist ein Test eines zusätzlichen Varianzbeitrags.
Für eine entsprechende Poweranalyse ist deshalb grundsätzlich R^2 increase passend.
Nur wenn das gesamte bisherige Modell gegen ein Modell ohne Prädiktoren geprüft wird, kann R^2 deviation from zero verwendet werden.
Bei Type III Sums of Squares wird ein Effekt unter Berücksichtigung der anderen relevanten Modellbestandteile geprüft.
Die Frage lautet beispielsweise:
Erklärt die Arbeitsbelastung einen eigenständigen Anteil der Zielvariable, wenn die übrigen Prädiktoren im Modell berücksichtigt werden?
Auch dies ist eine Frage nach einem partiellen oder zusätzlichen Beitrag eines bestimmten Prädiktors beziehungsweise Modellterms.
Für die Poweranalyse eines solchen einzelnen Effekts oder Blocks ist daher normalerweise ebenfalls R^2 increase passend.
Die Auswahl in G*Power sollte nicht nach folgender vereinfachter Regel erfolgen:
R^2 deviation from zero.R^2 increase.Diese Regel wäre falsch.
Stattdessen gilt:
Forschungsfrage:
Erklären alle Prädiktoren gemeinsam Varianz?
Auswahl:
Linear multiple regression: Fixed model, R^2 deviation from zero
Forschungsfrage:
Erklärt dieser Prädiktor oder Block zusätzliche Varianz über die anderen Prädiktoren hinaus?
Auswahl:
Linear multiple regression: Fixed model, R^2 increase
Diese Auswahl gilt unabhängig davon, ob die spätere Analyse als sequenzieller Modellvergleich oder als partieller Test beschrieben wird.
Type III Sums of Squares sind nicht in allen Statistikprogrammen automatisch der Standard.
Beispielsweise verwenden manche ANOVA-Funktionen Type III als Voreinstellung.
Andere Funktionen berechnen standardmäßig sequenzielle Type-I-Quadratsummen.
Deshalb sollte bei der Auswertung immer geprüft und dokumentiert werden:
Für die Poweranalyse ist letztlich nicht der Name der Quadratsumme entscheidend, sondern die Frage:
Wird das gesamte Modell geprüft oder wird der zusätzliche beziehungsweise partielle Beitrag eines bestimmten Modellbestandteils geprüft?
Bei einer ANOVA hängt die richtige Auswahl in G*Power vom Untersuchungsdesign ab.
Es muss unter anderem geklärt werden:
Beispiel:
Drei verschiedene Lernmethoden werden miteinander verglichen.
Mögliche Auswahl:
Test family: F testsStatistical test: ANOVA: Fixed effects, omnibus, one-wayBeispiel:
Es werden die Lernmethode, die Prüfungsform und die Interaktion zwischen beiden Faktoren untersucht.
Mögliche Auswahl:
Test family: F testsStatistical test: ANOVA: Fixed effects, special, main effects and interactionsHier muss festgelegt werden, welcher Haupteffekt oder welche Interaktion für die Stichprobenplanung relevant ist.
Beispiel:
Das Stresserleben wird bei denselben Personen vor und nach einer Intervention gemessen.
Mögliche Auswahl:
ANOVA: Repeated measures, within factors
Beispiel:
Eine Interventionsgruppe und eine Kontrollgruppe werden vor und nach einer Intervention untersucht.
Wenn geprüft werden soll, ob sich die Gruppen unterschiedlich über die Zeit verändern, steht eine Interaktion im Mittelpunkt.
Mögliche Auswahl:
ANOVA: Repeated measures, within-between interaction
Die genaue Auswahl muss immer zum geplanten Design und zur zentralen Hypothese passen.
G*Power berechnet normalerweise die Zahl der Fälle, die für die statistische Analyse tatsächlich zur Verfügung stehen müssen.
In der Praxis können jedoch Daten verloren gehen.
Mögliche Gründe sind:
Deshalb sollte die tatsächlich zu rekrutierende Stichprobe größer sein als die von G*Power berechnete auswertbare Stichprobe.
Beispiel:
G*Power berechnet:
Benötigte auswertbare Stichprobe = 100
Es wird mit einem Ausfall von 10 Prozent gerechnet.
Die benötigte Rekrutierungszahl kann folgendermaßen berechnet werden:
100 / 0.90 = 111.11
Es sollten daher mindestens 112 Personen rekrutiert werden.
Wichtig ist, nicht einfach 10 Prozent von 100 hinzuzurechnen.
100 + 10 Prozent = 110
Wenn von diesen 110 Personen 10 Prozent ausfallen, bleiben nur 99 Personen übrig.
Deshalb sollte durch den erwarteten verbleibenden Anteil geteilt werden.
Die Stichprobengrößenberechnung muss so dokumentiert werden, dass sie nachvollzogen werden kann.
Berichtet werden sollten mindestens:
Die erforderliche Stichprobengröße wurde vor Beginn der Datenerhebung mit G*Power bestimmt. Es wurde eine A-priori-Poweranalyse für eine multiple lineare Regression mit Prüfung des zusätzlichen Varianzbeitrags durchgeführt (
Linear multiple regression: Fixed model, R^2 increase). Bei einem Signifikanzniveau vonalpha = .05, einer angestrebten Power von.80, einer angenommenen Effektgröße vonf^2 = [Wert], einem getesteten Prädiktor und insgesamt drei Prädiktoren ergab sich eine erforderliche Stichprobengröße vonN = [Wert]. Unter Berücksichtigung einer erwarteten Ausfallquote von[Wert] Prozentwurde eine Rekrutierung von mindestensN = [Wert]Personen angestrebt.
Zusätzlich muss die Herkunft der Effektgröße erklärt werden.
Beispiel:
Die angenommene Effektgröße wurde aus
[Quelle]abgeleitet. Die Untersuchung wurde herangezogen, weil Population, Operationalisierung, Messmethoden und statistisches Modell mit der geplanten Untersuchung vergleichbar waren.
Die erforderliche Stichprobengröße wurde vor Beginn der Datenerhebung mit G*Power bestimmt. Es wurde eine A-priori-Poweranalyse für
[genaue ANOVA-Bezeichnung]durchgeführt. Bei einem Signifikanzniveau vonalpha = .05, einer angestrebten Power von.80und einer angenommenen Effektgröße vonf = [Wert]ergab sich eine erforderliche Gesamtstichprobe vonN = [Wert]. Unter Berücksichtigung einer erwarteten Ausfallquote von[Wert] Prozentwurde eine Rekrutierung von mindestensN = [Wert]Personen angestrebt.
Auch hier muss erklärt werden, wie die angenommene Effektgröße bestimmt wurde.
Aussagen wie:
Für eine Bachelorarbeit benötigt man immer mindestens 100 Personen.
sind keine ausreichende Begründung.
Die benötigte Stichprobe hängt von Forschungsfrage, Effektgröße, Test, Design und gewünschter Power ab.
Ein mittlerer Effekt sollte nicht allein deshalb verwendet werden, weil G*Power oder ein Lehrbuch einen entsprechenden Richtwert nennt.
Die angenommene Effektgröße sollte möglichst theoretisch, praktisch oder anhand früherer Forschung begründet werden.
Der größte gefundene Effekt führt zu einer kleinen berechneten Stichprobe.
Ist dieser Effekt überschätzt oder nicht auf die eigene Untersuchung übertragbar, reicht die Stichprobe möglicherweise nicht aus.
Wenn die zentrale Hypothese eine Interaktion betrifft, muss die Stichprobe für die Interaktion geplant werden.
Es reicht nicht aus, die Stichprobe nur für einen Haupteffekt zu berechnen.
Interaktionen können kleiner sein und deshalb größere Stichproben erfordern.
Es zählen nur die Prädiktorparameter, die tatsächlich im geplanten Regressionsmodell enthalten sind.
Die Zielvariable und die Konstante werden nicht mitgezählt.
R^2 deviation from zero prüft das gesamte Modell.
R^2 increase prüft den zusätzlichen Beitrag bestimmter Prädiktoren oder Prädiktorenblöcke.
Die Auswahl wird durch die Forschungsfrage bestimmt und nicht allein durch die Bezeichnung Type I oder Type III Sums of Squares.
G*Power berechnet normalerweise die benötigte Zahl auswertbarer Fälle.
Erwartete Ausfälle müssen zusätzlich berücksichtigt werden.
Die Stichprobengrößenberechnung sollte grundsätzlich vor der Datenerhebung erfolgen.
Nach Abschluss der Untersuchung sind insbesondere folgende Angaben wichtig:
Eine nachträglich aus dem beobachteten Effekt berechnete Power liefert normalerweise kaum zusätzliche Informationen.
Vor Beginn der Datenerhebung sollte geprüft werden:
R^2 increase wurden getestete und gesamte Prädiktoren unterschieden.Eine Stichprobengrößenberechnung beantwortet die Frage, wie viele auswertbare Beobachtungen für die geplante Analyse benötigt werden.
Die Poweranalyse muss zu der Analyse passen, mit der die Forschungsfrage später tatsächlich untersucht wird.
Je kleiner der Effekt ist, den man zuverlässig erkennen möchte, desto größer muss normalerweise die Stichprobe sein.
Die erwartete Effektgröße sollte aus Theorie, praktischer Relevanz, Metaanalysen oder möglichst vergleichbaren früheren Studien abgeleitet werden.
Vergleichbare Messmethoden sind wichtig, weil die Messqualität die beobachtbare Effektgröße beeinflussen kann.
Bei mehreren zentralen Hypothesen wird der Stichprobenbedarf für jede Analyse geprüft. Die größte benötigte Stichprobe bestimmt den Mindestumfang.
R^2 deviation from zeroprüft den gemeinsamen Erklärungsbeitrag des gesamten Regressionsmodells.
R^2 increaseprüft den zusätzlichen Erklärungsbeitrag eines Prädiktors oder eines Prädiktorenblocks.
Total number of predictorsbezeichnet alle Prädiktorparameter im vollständigen Regressionsmodell.
Number of tested predictorsbezeichnet die Prädiktorparameter, die beim konkreten Modellvergleich neu hinzukommen.
Testedbedeutet im konkreten statistischen Modell geprüft und nicht empirisch gemessen.Effektgrößen und Konfidenzintervalle sollten berichtet werden, damit die Stärke und Unsicherheit der Ergebnisse beurteilt und zukünftige Untersuchungen besser geplant werden können.