Einstellungen

<< Click to Display Table of Contents >>

Navigation:  Datenauswertung > Signifikanztests >

Einstellungen

Zur Berechnung und Darstellung der Ergebnisse von Signifikanztests gibt es in GESStabs eine Reihe an Einstellungen, die der/die Nutzer/in selbst treffen kann:

1.Gegenstand des Signifikanztests: TESTCOLUMNS und TESTCOLUMNSX

2.Definition von Schwellenwerten: TTESTABSMIN, TTESTPHYSMIN und SIGNIFMINEFFECTCHIQ, SIGNIFMINEFFECTTTEST

3.Definition des Signifikanzniveaus: SIGNIFLEVEL

4.Beschreibung der Signifikanzen: SIGNIFTEXT und AUTOSIGNIFTEXT

5.Ausweisung der Signifikanzen: INDEXCHARS und SHOWSIGNIF

6.Gestaltung der Kennzeichnung signifikanter Zusammenhänge: COLOR und AUTOSIGNFORMAT

5.Protokollierung der Signifikanzberechnung: STATTESTDUMP


Gegenstand des Signifikanztests

TestColumns

Gibt man keine TESTCOLUMNS an, werden je Variable alle Spalten gegeneinander getestet.

Syntax:

TESTCOLUMNS = { Testdefinition }*n;

Testdefinition ::= | VARIABLE <varno> CODE <code> 
: VARIABLE <varno> CODE <code>

Beispiel:

TESTCOLUMNS =

| VARIABLE 1 CODE 1 : VARIABLE 2 CODE 1

| VARIABLE 1 CODE 2 : VARIABLE 2 CODE 2

;

In diesem Beispiel würden nur zwei Tests durchgeführt; der Code 1 der ersten Variablen im Kopf gegen Code 1 der zweiten Variablen im Kopf; und ebenso mit dem Code 2 in den beiden Variablen.

Gibt man eine leere Testdefinition an (TESTCOLUMNS = ;), werden variablenübergreifend alle Spalten gegeneinander getestet.

TestColumnsX

Syntax :

TESTCOLUMNSX = { | <varno> <code> [ : <code> ] *  
<varno> <code> [ : <code> ] }*n ;

Inhaltlich ist dies dasselbe wie TESTCOLUMNS: man kann die Anwendung von spaltenweisen Signifikanztests auf ausgesuchte Spalten einschränken. Lediglich die Schreibweise ist etwas flüssiger und kompakter.

Beispielsweise die Anweisung

TESTCOLUMNS =

| VARIABLE 1 CODE 1 : VARIABLE 2 CODE 1

| VARIABLE 1 CODE 2 : VARIABLE 2 CODE 2

;

ist bedeutungsgleich zu

TESTCOLUMNSX =

| 1 1 * 2 1

| 1 2 * 2 2

;

Oder:

TESTCOLUMNSX =

| 1 1 * 2 1:5

;

ist bedeutungsgleich zu

TESTCOLUMNS =

| VARIABLE 1 CODE 1 : VARIABLE 2 CODE 1

| VARIABLE 1 CODE 1 : VARIABLE 2 CODE 2

| VARIABLE 1 CODE 1 : VARIABLE 2 CODE 3

| VARIABLE 1 CODE 1 : VARIABLE 2 CODE 4

| VARIABLE 1 CODE 1 : VARIABLE 2 CODE 5

;


Definition von Schwellenwerten

tTestAbsMin und tTestPhysMin

Syntax:

TTESTABSMIN = <number>;
TTESTPHYSMIN = <number>;

Hiermit werden bei den unabhängigen t-Tests (MEANTEST, PHYSTTEST, PHYSMEANTEST und MEANTESTROW) die Zellen von der Berechnung ausgeschlossen, bei denen die gewichtete oder ungewichtete Berechnungsbasis des getesteten Mittelwerts unter dem angegebenen Schwellwert liegt. Die Berechnungsbasis ist die gewichtete bzw. ungewichtete Zellenbesetzung, reduziert um die Fälle bzw. Nennungen, bei denen die Variable, deren Mittelwert getestet wird, keinen gültigen Wert enthält (Missing, gefiltert, leere Wertemenge). Sind beide Schwellwerte angegeben, müssen beide überschritten werden.

SignifMinEffectChiQ und SignifMinEffecttTest

Begrenzung der Ausgabe von Signifikanzkennzeichnung durch minimale Effektgröße

Syntax:

SIGNIFMINEFFECTCHIQ = <value>;
SIGNIFMINEFFECTTTEST = <value>;

Über Tabellenbände wird gern das Füllhorn statistischer Tests (Signifikanztests) ausgeschüttet. Bei höheren Fallzahlen werden oft allerdings auch Zusammenhänge signifikant, deren geringe Effektstärke eine weitergehende Interpretation oft unsinnig erscheinen lässt. Die Signifikanz ist ja nur die Aussage darüber, wie unwahrscheinlich es ist, dass die Nullhypothese gilt, dass dieser Zusammenhang also in der Grundgesamtheit nicht existiert. Je größer die Stichprobe, desto kleinere Effekte werden als signifikant gekennzeichnet. Es liegt also nahe, die Kennzeichnung von Signifikanz in solchen Fällen zu unterdrücken, in denen der vorgefundene Unterschied einen vom Benutzer vorzugebenden Minimalwert der Effektstärke nicht erreicht. Die Statistik kennt hierfür Maße der Effektstärke, die sonst auch als Zusammenhangsmaße verwendet werden.

Die am häufigsten verwendeten Signifikanztests in den Tabellenbänden testen Unterschiede von Anteilen (Prozentwerten) oder von Mittelwerten. Zur Messung der Effektstärke bei Tests aus der ChiQu-Familie (COLCHIQU, ROWCHIQU, HYCOLCHIQU etc.) wird Cramers Phi berechnet. Wird hierbei nicht mindesten ein Effekt der Stärke SIGNIFMINEFFECTCHIQ erreicht, wird die Ausgabe des Signifikanzbuchstabens für diese Zelle unterdrückt. Der Wertebereich von Phi ist 0 bis 1.

Für die Bewertung von Mittelwertunterschieden (TTEST, MEANTEST, HYMEANTEST, ESSMEANTEST etc.) wird Cohens d berechnet. Der Mechanismus funktioniert entsprechend: wird nicht mindestens ein Effekt in Höhe von SIGNIFMINEFFECTTTEST erreicht, wird der Signifikanzbuchstabe unterdrückt. Wie bei allen Maßen für Effektstärke bedeutet 0 auch hier, dass kein messbarer Zusammenhang besteht. Cohens d kann aber auch Werte größer 1 annehmen.

In aller Regel wird man für Phi (SIGNIFMINEFFECTCHIQ) kleinere Grenzwerte ansetzen als für Cohens d (SIGNIFMINEFFECTTTEST). Wenn bei letzterem die "pooled variance" den Wert 0 hat, wird Cohens d numerisch unzulässig (vulgo unendlich). In dem Fall wird der Test nicht durchgeführt.

SIGNIFMINEFFECTCHIQ und SIGNIFMINEFFECTTTEST sind Tabellen-Voreinstellungen, sie gelten für alle in der Folge vereinbarten Tabellen. Mit SIGNIFMINEFFECTCHIQ / SIGNIFMINEFFECTTTEST = 0; kann man die Restriktion wieder ausschalten. Wird durch einen dieser Tests ein Signifikanzbuchstabe unterdrückt, wird dies ggf. im STATTESTDUMP-File protokolliert.


Definition des Signifikanzniveaus

Mit SIGNIFLEVEL kann das Signifikanzniveau für SIgnifikanztests definiert werden.

Syntax:

SIGNIFLEVEL = <option>; 

Voreinstellung: UNDEFINED (es wird kein Signifikanztest durchgeführt)

Die Optionen und die dazugehörigen Kombinationen von zu testenden Signifikanzniveaus sind der folgenden Tabelle zu entnehmen:


0,1%

1%

5%

10%

20%

32%

STDSIGNIFICANCE

 

X

X

 

 

 

SIGNIF90

 

 

 

X

 

 

SIGNIF95

 

 

X

 

 

 

SIGNIF99

 

X

 

 

 

 

SIGNIF999

X

 

 

 

 

 

LOWSIGNIFICANCE

 

 

X

X

 

 

HIGHSIGNIFICANCE

X

X

 

 

 

 

ALLSIGNIFICANCE

X

X

X

X

 

 

SIGNIF3LEVELS

 

X

X

X

 

 

SIGNIF20AND5

 

 

X

 

X

 

SIGNIF20AND10

 

 

 

X

X

 

SIGNIF68 

 

 

 

 

 

X

SIGNIF32AND10

 

 

 

 

 

X

Es gelten folgende Regeln zur Darstellung:


Darstellung

STDSIGNIFICANCE

ABC... für 1%-Niveau, abc.... für 5%-Niveau

SIGNIF90

ABC... für 10%-Niveau

SIGNIF95

ABC... für 5%-Niveau

SIGNIF99

ABC... für 1%-Niveau

SIGNIF999

ABC... für 0.1%-Niveau

LOWSIGNIFICANCE

ABC... für 5%-Niveau, abc.... für 10%-Niveau

HIGHSIGNIFICANCE

ABC... für 0.1%-Niveau, abc.... für 1%-Niveau

ALLSIGNIFICANCE

A*B*C*.... für 0.1%-Niveau, ABC.... für 1%-Niveau
a*b*c*.... für 5%-Niveau, abc.... für 10%-Niveau

SIGNIF3LEVELS

ABC... für 1%-Niveau, abc.... für 5%-Niveau, (a) (b) (c).... für 10% Niveau

SIGNIF20AND5

ABC... für 5%-Niveau, abc.... für 20%-Niveau

SIGNIF20AND10

ABC... für 10%-Niveau, abc.... für 20%-Niveau


Beschreibung der Signifikanzen

Für alle oben benannten Optionen (Signifikanzniveaus) existieren Standardtexte, die das jeweilige Signifikanznivau beschreiben.

SignifText

Die SIGNIFTEXT-Anweisung dient dazu, diesen Standardtext anzupassen. GESStabs verwendet diesen Text in Abhängigkeit von dem gesetzten SIGNIFLEVEL der Tabelle und fügt ihn am Ende eines existierenden BOTTOMTEXT ein. Dies geschieht nur, wenn die Tabelle einen BOTTOMTEXT enthält, und wenn SIGNIFLEVEL ungleich UNDEFINED ist.

Syntax:

SIGNIFTEXT <option> = "Text zur Kennzeichnung";

z.B.:

SIGNIFTEXT SIGNIF90 = "ABC ... für Signifikanz auf dem 10%-Niveau";

AutoSignifText

Syntax:

AUTOSIGNIFTEXT = [ YES | NO ];

Default: abhängig vom gewählten Signifikanzniveau, z.B. 'Signif. 1% (ABC...) / 5% (abc...)' für STDSIGNIFICANCE

 

Steht dieser Schalter auf YES, dann wird immer dann, wenn ein SIGNIFLEVEL gesetzt ist und ein spaltenweiser Signifikanztest vorliegt, im BOTTOMTEXT der entsprechende Signifikanztext ausgegeben.

Gibt es keinen BOTTOMTEXT,  wird einer erzeugt. Steht dieser Schalter auf NO, wird im Kompatibilitätsmodus zu ältern Versionen nur dann der Signifikanztext ausgegeben, wenn ein BOTTOMTEXT besteht.


Ausweisung der Signifikanzen

IndexChars

Syntax:

INDEXCHARS = "<Buchstaben | Zeichen>";

Voreinstellung: Buchstaben A bis Z

z B. wird mit

INDEXCHARS = "GEHT";

der ersten Testspalte ein (kleines oder großes) G zugeordnet, der zweiten ein E, der dritten ein H und der vierten ein T. Voreingestellt sind die Buchstaben A bis Z.

Für INDEXCHARS sollte man nur solche Zeichen verwenden, für die es einen Kleinbuchstaben (Minuskel) gibt. Als Regel gilt, dass die INDEXCHARS als Großbuchstaben angegeben werden. Sonderzeichen wie '+ ( &' etc. sind zwar nicht explizit verboten, können aber zu Problemen führen. '#' ist explizit verboten und führt zu einem Syntaxfehler.

Die Tests werden als Default immer zwischen den Spalten bzw. Zeilen einer Variablen durchgeführt. Spalten bzw. Zeilen aus verschiedenen Variablen werden als Standard nicht getestet. Man kann aber mit TESTCOLUMNS bzw. TESTCOLUMNSX die gewünschten Tests explizit benennen, das geht dann auch variablenübergreifend.

In HTML und OFFICEEXPORT ist die Zeichendarstellung unproblematisch. Für die üblichen Zeichensätze, wie z.B. Dänisch, Französisch oder Polnisch, gilt das auch für PS/PDF. Problematisch können Zeichen aus den russischen, kyrillischen oder griechischen Zeichensätzen sein.

ShowSignif

Gesetzt den Fall, ein Test würde einen signifikanten Unterschied zwischen Spalte A und Spalte D ergeben. Dann ergibt natürlich auch der Test zwischen der Spalte D und der Spalte A einen signifikanten Unterschied. Die Ausweisung von 'A' in der Spalte D und von 'D' in der Spalte A ist inhaltlich richtig, aber redundant. In vielen Fällen ist es erwünscht, dass der Signifikanzhinweis nur einmal für jedes Paar ausgegeben wird. Diese Steuerung geschieht über das Statement SHOWSIGNIF.

Syntax:

Für den Test auf Mittelwertsunterschiede:

SHOWSIGNIF MEAN = [ BOTH | LESS | GREATER | UNDEFINED ];

Für den Test auf Prozentwertunterschiede:

SHOWSIGNIF PERCENT = [ BOTH | GREATER | LESS | 
ABSOLUTE GREATER | UNDEFINED ];

Analog zum SIGNIFLEVEL dient UNDEFINED dazu, sich der alten Steuerungslogik über die TABLEFORMATS zu bedienen.


Gestaltung der Kennzeichnung signifikanter Zusammenhängen

Color

GESStabs bietet die Möglichkeit, den Hintergrund und den Vordergrund von Zellen einer Tabelle in Abhängigkeiten von Wertebereichen farbig zu markieren. Da es wünschenswert sein kann, gerade auch die Zellen zu kennzeichnen, in denen signifikante Abweichungen registriert wird, ist den erfolgreichen Signifikanztests ein 'synthetischer«'Zahlenwert zugeordnet: die Zahl 99999.

Mit dem COLOR-Statement kann man so auch auf das Ergebnis eine spezifischen Signifikanztests reagieren, z.B.:

RGB = NO;

COLOR FOREGROUND =

| COLCHIQU RANGE 99998.9 99999.1 : 0 1 1

;

Auf diese Weise werden alle Signifikanzbuchstaben zu COLCHIQU in rot ausgegeben.

AutoSignFormat

Syntax:

AUTOSIGNFORMAT = "<formatstring>";

Im Standardfall wird in die Labelkästchen nur der Signifikanzbuchstabe übernommen. Wenn man diese Ausgabe etwas verschönern will, kann man einen speziellen Formatstring angeben. Alle Zeichen des Strings werden übernommen; # im String wird durch den INDEXCHAR ersetzt.

Zum Beispiel bewirkt

AUTOSIGNFORMAT = '#\';

, dass nach dem Indexchar ein Zeilenvorschub generiert wird, wenn der Indexchar am Anfang des Labels stehen soll.

AUTOSIGNFORMAT = '\#';

generiert einen Zeilenvorschub vor dem Indexchar. praktisch z.B. wenn der Indexchar am Ende des Labels stehen soll.


Protokollierung der Signfikanztests

Syntax:

STATTESTDUMP = <filename> ;

Steht diese Spezifikation im Skript, werden in die Datei »filename« für die wichtigsten Signifikanztests die wesentlichen Größen zur Berechnung und die Irrtumswahrscheinlichkeit ausgegeben.