Logistische Regression
Der Hauptunterschied der logistischen Regression (im Gegensatz zur linearen Regression) ist die dichotome Zielgröße (Ja/Nein). Daher sind die Parameter anders zu interpretieren.
Konsequenzen einer dichotomen Zielgröße
Die Konsequenz einer dichotomen Zielgröße ist, dass die Methoden der linearen Regression nicht mehr anwendbar sind. Daher muss eine andere Vorgehensweise gewählt werden.
Schritt 1: Berechnen der Wahrscheinlichkeit
Schritt 1 besteht im Berechnen der Wahrscheinlichkeit, dass das Ereignis eintritt. Hierbei sind alle Werte zwischen 0% und 100% möglich.
Interpretation:
- Wahrscheinlichkeit kleiner 50% ==> Ereignis ist nicht eingetreten
- Wahrscheinlichkeit größergleich 50% ==> Ereignis ist eingetreten
- Beachte: kein Unterschied ob 51% oder 99%
Problem: rechnerisch sind auch Wahrscheinlichkeiten über 100% und unter 0% denkbar
Schritt 2: Logarithmieren
Schritt 2 besteht im Logarithmieren. Hierbei wird allerdings nicht die Wahrscheinlichkeit logarithmiert, sonder die "Chance" (sogenannte Odds)
wobei p die Wahrscheinlichkeit ist.
Beispiel: welche Chance habe ich eine 6 zu Würfeln?
- -> Möglichkeiten zu gewinnen (eine 6 zu Würfeln): 1
- -> Möglichkeiten nicht zu gewinnen (keine 6 zu würfeln): 5
- oder in die Formel eingesetzt:
- Antwort: 1:5
- Chance = 1:5,
- Im Unterschied zur Chance beträgt die Wahrscheinlichkeit aber 1:6
logarithmieren:
b ist nicht gut interpretierbar.. bei der linearen Regression war b ja die Steigung der Geraden...
Problem: Wie finde ich die optimale "Kurve"
3. Schritt
statt "kleinste quadratische Abweichung" jetzt "Maximum likelihood Schätzung" Problem: Parameter b ist nicht gut interpretierbar.. bei der linearen Regression war b ja die Steigung der Geraden...
4.Schritt
nicht der Koeffizient b wird interpretiert, sondern:
- odds ratio (OR) => Chancenverhältnis = 2 Verschiedene Chancen ins Verhältnis setzen
- exp(b) = Rückgängigmachen des Logarithmierens
- Beispiel: Münzwurf, Gewinnchance 1:1; Würfeln, Gewinnchance 1:5
- Chancenverhältnis: 1/1 : 1/5 = 1/1 * 5/1 = 5
Bei der Münze hat man eine 5fach höhere Gewinnchance als beim Würfeln
Beispielfrage: Hängt das Sturzrisiko vom Geschlecht ab?
Sturzrisiko und Geschlecht (e^b = Odds ratio = 2) (die 2 ist ein Beispielergebnis) d.h. die Chance (Risiko) für Frauen zu stürzen ist doppelt so hoch wie die Chance (Risiko) für Männer zu stürzen
Odds ratio = 1 bedeutet: kein Unterschied, gleiche Chance
Was heisst Frauen haben eine doppelt so hohe Chance zu stürzen? Heisst es:
- Die Wahrscheinlichkeit, dass Frauen stürzen, ist doppelt so hoch wie bei Männern?
- Die Wahrscheinlichkeit, dass Frauen stürzen, ist 50% höher als bei Männern ?
- Die Wahrscheinlichkeit, dass Frauen stürzen, ist höher als bei Männern. Der genaue Wert hängt von der Sturzwahrschinlichkeit der Männer ab.
Antwort "zu Fuß" gerechnet:
- Wie groß ist die Sturzwahrscheinlichkeit bei Frauen bei einem "odds rtatio" von 2 ?
- z.B. Sturzwahrscheinlichkeit bei Männern ist 1/6 = 16,67%
- d.h.: die Chance (odd) für Männer zu stürzen ist 1/5
- d.h. die Chance für Frauen zu stürzen ist 2/5 (weil ja doppelt so groß)
- d.h. die Sturzwahrscheinlichkeit bei Frauen ist 2/7 = 28,57%
weiteres Beispiel:
- Sturzwahrscheinlicheit bei Männern = 5/6 = 83,33%
- d.h. Chance (odd) für Männer zu stürzen = 5:1
- d.h. Chance für Frauen zu stürzen = 10:1
- d.h. Sturzwahrscheinlichkeit bei Frauen = 10/11 = 90,91%
- d.h. ---> Antwort 3 ist richtig
Merksatz:
- Um von Wahrscheinlichkeit nach Chance zu kommen, wird der Zähler beibehalten, und vom Nenner wird der Zähler abgezogen
- Um von Chance nach Wahrscheinlichkeit zu kommen, wird der Zähler beibehalten, und der Nenner wird mit dem Zähler addiert
Das Bestimmtheitsmaß (r^2) ist die quadrierte Korrelation, und besagt, wieviel Prozent Abweichung wir mit der Geraden erklären können (bei der linearen Regression)
Da wir hier mit dichotomen Zielgrößen arbeiten, ist die Modellgüte mittels R^2 ist nicht mehr bestimmbar
(Eine Alternative): Klassifikationsmatrix
Retrospektiver Vergleich der tatsächlichen und der vorhergesagten Gruppenzugehörigkeit (gestürzt / nicht gestürzt)
siehe auch