www.wikidata.de-de.nina.az

Scoring rule In der Entscheidungstheorie ist eine score function oder scoring rule zu deutsch eine Bewertungs Regel ein

Scoring rule

In der Entscheidungstheorie ist eine score function oder scoring rule, zu deutsch eine Bewertungs-Regel, ein Maß für die Performanz einer Wahrscheinlichkeitsvorhersage eines Modells, ohne dabei zu dichotomisieren. Im Rahmen der Probabilistischen Klassifikation und der Empirischen Risikominimierung können Scoring rules als Verlustfunktion eingesetzt werden.

Dieser Artikel wurde auf der Qualitätssicherungsseite des Portals Mathematik eingetragen. Dies geschieht, um die Qualität der Artikel aus dem Themengebiet Mathematik auf ein akzeptables Niveau zu bringen.

Bitte hilf mit, die Mängel dieses Artikels zu beseitigen, und beteilige dich bitte an der Diskussion! (Artikel eintragen)

Motivation Bearbeiten

Eine Dichotomisierung der Wahrscheinlichkeitsvorhersage wird häufig bei der Beurteilung eines binären Klassifikators angewandt. Ein Vorteil von Scoring rules gegenüber anderen Bewertungsmetriken wie Precision, Recall oder F-Score, ist, dass eine schlechtere Wahrscheinlichkeitskalibrierung zu einem schlechteren scoring führt (was für die anderen Bewertungsmetriken nicht zwingend der Fall ist).

Daher werden in der probabilistischer Klassifikation, bei der es um gute Wahrscheinlichkeitskalibrierung geht (d. h. die vorhergesagten Wahrscheinlichkeiten mit den tatsächlichen übereinstimmen sollen), proper score functions zur Bewertung und als Verlustfunktion herangezogen.

Mit einer Kalibrationskurve kann herausgefunden werden, wie gut die Vorhersagen eines Modells kalibriert sind.

Definition Bearbeiten

Dieser Artikel oder Abschnitt bedarf einer grundsätzlichen Überarbeitung. Näheres sollte auf der Diskussionsseite angegeben sein. Bitte hilf mit, ihn zu verbessern, und entferne anschließend diese Markierung.

Eine Scoring rule ist eine Funktion, welche die Übereinstimmung einzelner Vorhersagen mit ihrer Beobachtung bewertet. Die Scoring rule ist über dem zusammengesetzten Raum des Ergebnisraumes und der Wahrscheinlichkeitsmaße definiert. Die Scoring-Funktion liefert die Bewertung für die Vorhersage bei Eintritt des Ereignisses . Die Eintrittswahrscheinlichkeit des Ereignisses ist , d. h. .

Scoring rules werden in folgende Fälle unterschieden:

  • positive Orientierung, das heißt größere Scores sind besser
  • negative Orientierung, das heißt kleinere Scores sind besser

Erwartungswert der Scoring rule Bearbeiten

Der Erwartungswert der Scoring rule kann mithilfe einer zufälligen Stichprobe und einer Realisierung des Stichprobenmittelwertes geschätzt werden (welcher nach dem Gesetz der großen Zahlen konvergiert):

die Werte sind die Wahrscheinlichkeitsvorhersagen für den Eintritt des realisierten Ereignisses , .

Einteilung Bearbeiten

Eine Scoring rule positiver Orientierung heißt (analog für negative Orientierung, aber mit umgedrehten Ungleichungen):

  • strictly proper, falls : für alle
  • proper, falls : für alle
  • improper, falls : für manche

Eine scoring rule heißt somit proper, wenn der Vorhersagende motiviert wird, ehrlich und kohärent zu schätzen.

Proper score functions Bearbeiten

Darstellung des erwarteten Scores für verschiedene Wahrscheinlichkeiten (vertikale Linie) verschiedener scoring functions. Die x-Achse ist die Prädiktion q. Rot: linear, orange: spherical, purple: quadratic, green: log.

Brier score Bearbeiten

Die häufigste Definition des Brier score ist gegeben durch

Er sollte minimiert werden.

Logarithmische Score-Funktion Bearbeiten

Die logarithmische Score-Funktion.

Erwartungswert der Logarithmische Score-Funktion unter Annahme, dass das Ereignis x=1 mit Wahrscheinlichkeit erscheint. Die blaue Linie wird durch die Funktion beschrieben. Das Maximum liegt bei

Continuous ranked probability score Bearbeiten

Illustration des Continuous ranked probability score (CRPS). Gegeben ist eine Stichprobe y und eine vorhergesagte kumulative Verteilung F. Der CRPS wird berechnet, indem man die Differenz zwischen den Kurven an jedem Punkt x des Trägers berechnet, diese Differenz quadriert und über den gesamten Träger integriert.

Der continuous ranked probability score (CRPS) ist eine strictly proper scoring rule. Der CRPS vergleicht eine einzelne Beobachtung mit der vorhergesagten Verteilung. Er wird wie folgt definiert:

Dabei ist die vorhergesagte kumulative Verteilungsfunktion über einem Träger, welcher durch beschrieben wird und ist die Beobachtung. Beachte, dass die Vorhersage mehrere Wahrscheinlichkeiten schätzt, sodass eine kumulative Verteilungsfunktion F entsteht.

Wenn die Vorhergesagte Dichte eine Delta-Distribution ist (also) dann ist der CRPS äquivalent zum Mean absolute error (MAE):

Sphärische scoring rule Bearbeiten

Die Sphärische scoring rule:

Beispiel Bernoulli-verteilte Zufallszahl Bearbeiten

Betrachte die Aufgabe der Wettervorhersage, bei der an jedem Tag eine Regenwahrscheinlichkeit q vorhergesagt wird und es an einem Tag entweder regnet (x=1) oder nicht regnet (x=0). Die echte Wahrscheinlichkeit, dass es regnet ist sei p und die Wahrscheinlichkeit, dass es nicht regnet 1-p. Wir betrachten somit eine Bernoulli-verteilte Zufallszahl :

Durch eine Statistik der vorhergesagten Wahrscheinlichkeiten q kann die tatsächliche Regenhäufigkeit p mit der Vorhersage abgeglichen werden. Besitzt die Vorhersage q oft eine große Abweichung zu p, so wird sie schlecht kalibriert genannt. Um den Vorhersagenden zu motivieren, die Wahrscheinlichkeitskalibrierung (seine Leistung) zu verbessern, kann ihm das Ziel gesetzt werden den Erwartungswert einer proper scoring rule positiver Orientierung zu maximieren (oder bei negativer Orientierung zu minimieren).

Logarithmischer Score Bearbeiten

Betrachte die Scoring-Funktion so ist . Maximierung des erwarteten Scores liefert:

Somit wird der erwartete Score durch die spezielle Wahl maximiert und ist eine proper scoring rule (positiver Orientierung).

Beachte: der negative Erwartungswert entspricht der Kreuzentropie. Die Wahl einer logarithmischen scoring rule ist per-se willkürlich, kann jedoch durch Maximierung der Likelihood-Funktion motiviert werden.

Quadratischer Score Bearbeiten

Betrachte die Scoring-Funktion so ist . Minimierung des erwarteten Scores liefert:

Somit wird der erwartete Score durch die spezielle Wahl minimiert und ist eine proper scoring rule (negativer Orientierung).

Absoluter Score Bearbeiten

Betrachte die Scoring-Funktion (mit ), so ist . Minimierung des erwarteten Scores liefert:

was nur für p=0.5 wahr ist. Somit wird der erwartete Score nicht durch die spezielle Wahl minimiert und ist keine proper scoring rule.

Probleme Bearbeiten

Eine extreme Ungleichheit bei den Klassenhäufigkeiten macht die Schätzung von Wahrscheinlichkeiten schwer.

Literatur Bearbeiten

Weblinks Bearbeiten

Einzelnachweise Bearbeiten

  1. Greenberg, Spencer. "Calibration scoring rules for practical prediction training." arXiv preprint arXiv:1808.07501 (2018). https://arxiv.org/abs/1808.07501
  2. Economic Value of Weather and Climate Forecasts. (1997). Vereinigtes Königreich: Cambridge University Press. Seite 36, google books
  3. Healthcare Data Analytics. (2015). USA: CRC Press. https://www.google.de/books/edition/Healthcare_Data_Analytics/Iun5CQAAQBAJ?hl=de&gbpv=1&dq=brier%20score%20definition%20most%20common&pg=PA366&printsec=frontcover
  4. Wallace, Byron & Dahabreh, Issa. (2012). Class Probability Estimates are Unreliable for Imbalanced Data (and How to Fix Them). Proceedings - IEEE International Conference on Data Mining, ICDM. 695-704. doi:10.1109/ICDM.2012.115
wikipedia, wiki, deutsches, deutschland, buch, bücher, bibliothek artikel lesen, herunterladen kostenlos kostenloser herunterladen, MP3, Video, MP4, 3GP, JPG, JPEG, GIF, PNG, Bild, Musik, Lied, Film, Buch, Spiel, Spiele
Veröffentlichungsdatum:
In der Entscheidungstheorie ist eine score function oder scoring rule zu deutsch eine Bewertungs Regel ein Mass fur die Performanz einer Wahrscheinlichkeitsvorhersage eines Modells ohne dabei zu dichotomisieren Im Rahmen der Probabilistischen Klassifikation und der Empirischen Risikominimierung konnen Scoring rules als Verlustfunktion eingesetzt werden Dieser Artikel wurde auf der Qualitatssicherungsseite des Portals Mathematik eingetragen Dies geschieht um die Qualitat der Artikel aus dem Themengebiet Mathematik auf ein akzeptables Niveau zu bringen Bitte hilf mit die Mangel dieses Artikels zu beseitigen und beteilige dich bitte an der Diskussion Artikel eintragen Inhaltsverzeichnis 1 Motivation 2 Definition 3 Erwartungswert der Scoring rule 4 Einteilung 5 Proper score functions 5 1 Brier score 5 2 Logarithmische Score Funktion 5 3 Continuous ranked probability score 5 4 Spharische scoring rule 6 Beispiel Bernoulli verteilte Zufallszahl 6 1 Logarithmischer Score 6 2 Quadratischer Score 6 3 Absoluter Score 7 Probleme 8 Literatur 9 Weblinks 10 EinzelnachweiseMotivation BearbeitenEine Dichotomisierung der Wahrscheinlichkeitsvorhersage wird haufig bei der Beurteilung eines binaren Klassifikators angewandt Ein Vorteil von Scoring rules gegenuber anderen Bewertungsmetriken wie Precision Recall oder F Score ist dass eine schlechtere Wahrscheinlichkeitskalibrierung zu einem schlechteren scoring fuhrt was fur die anderen Bewertungsmetriken nicht zwingend der Fall ist Daher werden in der probabilistischer Klassifikation bei der es um gute Wahrscheinlichkeitskalibrierung geht d h die vorhergesagten Wahrscheinlichkeiten mit den tatsachlichen ubereinstimmen sollen proper score functions zur Bewertung und als Verlustfunktion herangezogen 1 nbsp Mit einer Kalibrationskurve kann herausgefunden werden wie gut die Vorhersagen eines Modells kalibriert sind Definition Bearbeiten nbsp Dieser Artikel oder Abschnitt bedarf einer grundsatzlichen Uberarbeitung Naheres sollte auf der Diskussionsseite angegeben sein Bitte hilf mit ihn zu verbessern und entferne anschliessend diese Markierung Eine Scoring rule ist eine Funktion welche die Ubereinstimmung einzelner Vorhersagen mit ihrer Beobachtung bewertet Die Scoring rule u W F R displaystyle u Omega times mathcal F to mathbb R nbsp ist uber dem zusammengesetzten Raum des Ergebnisraumes und der Wahrscheinlichkeitsmasse F displaystyle mathcal F nbsp definiert Die Scoring Funktion liefert die Bewertung u x q R displaystyle u x q in mathbb R nbsp fur die Vorhersage q displaystyle q nbsp bei Eintritt des Ereignisses x displaystyle x nbsp Die Eintrittswahrscheinlichkeit des Ereignisses ist P X x displaystyle P X x nbsp d h X P X displaystyle X sim P X nbsp Scoring rules werden in folgende Falle unterschieden positive Orientierung das heisst grossere Scores sind besser negative Orientierung das heisst kleinere Scores sind besserErwartungswert der Scoring rule BearbeitenSiehe auch Empirische Risikominimierung Der Erwartungswert der Scoring rule E X u x q x W p X x p x u x q displaystyle E X u x q sum x in Omega underbrace p X x p x u x q nbsp kann mithilfe einer zufalligen Stichprobe und einer Realisierung des Stichprobenmittelwertes geschatzt werden welcher nach dem Gesetz der grossen Zahlen konvergiert E X u x q 1 N i 1 N u x i q x i displaystyle hat E X u x q frac 1 N sum i 1 N u x i q x i nbsp die Werte q x i displaystyle q x i nbsp sind die Wahrscheinlichkeitsvorhersagen fur den Eintritt des realisierten Ereignisses x i W displaystyle x i in Omega nbsp x i P X displaystyle x i sim P X nbsp Einteilung BearbeitenEine Scoring rule u displaystyle u nbsp positiver Orientierung heisst analog fur negative Orientierung aber mit umgedrehten Ungleichungen 2 strictly proper falls E X p u x p gt E X p u x q displaystyle E X sim p u x p gt E X sim p u x q nbsp fur alle q p displaystyle q neq p nbsp proper falls E X p u x p E X p u x q displaystyle E X sim p u x p geq E X sim p u x q nbsp fur alle q p displaystyle q neq p nbsp improper falls E X p u x p lt E X p u x q displaystyle E X sim p u x p lt E X sim p u x q nbsp fur manche q p displaystyle q neq p nbsp Eine scoring rule u x q displaystyle u x q nbsp heisst somit proper wenn der Vorhersagende motiviert wird ehrlich und koharent zu schatzen Proper score functions Bearbeiten nbsp Darstellung des erwarteten Scores E X u x q displaystyle E X u x q nbsp fur verschiedene Wahrscheinlichkeiten p x displaystyle p x nbsp vertikale Linie verschiedener scoring functions Die x Achse ist die Pradiktion q Rot linear orange spherical purple quadratic green log Brier score Bearbeiten Die haufigste Definition 3 des Brier score ist gegeben durchu x q x q 2 displaystyle u x q x q 2 nbsp Er sollte minimiert werden Logarithmische Score Funktion Bearbeiten Siehe auch Devianz Statistik Die logarithmische Score Funktion u x q log q falls x 1 log 1 q falls x 0 displaystyle u x q begin cases log q amp text falls x 1 log 1 q amp text falls x 0 end cases nbsp dd nbsp Erwartungswert der Logarithmische Score Funktion unter Annahme dass das Ereignis x 1 mit Wahrscheinlichkeit p 1 0 8 displaystyle p 1 0 8 nbsp erscheint Die blaue Linie wird durch die Funktion 0 8 log q 1 0 8 log 1 q displaystyle 0 8 log q 1 0 8 log 1 q nbsp beschrieben Das Maximum liegt bei q 0 8 displaystyle q 0 8 nbsp Continuous ranked probability score Bearbeiten nbsp Illustration des Continuous ranked probability score CRPS Gegeben ist eine Stichprobe y und eine vorhergesagte kumulative Verteilung F Der CRPS wird berechnet indem man die Differenz zwischen den Kurven an jedem Punkt x des Tragers berechnet diese Differenz quadriert und uber den gesamten Trager integriert Der continuous ranked probability score CRPS ist eine strictly proper scoring rule Der CRPS vergleicht eine einzelne Beobachtung y displaystyle y nbsp mit der vorhergesagten Verteilung Er wird wie folgt definiert C R P S F y R F x 1 x y 2 d x displaystyle CRPS F y int mathbb R F x mathbb 1 x geq y 2 dx nbsp Dabei ist F displaystyle F nbsp die vorhergesagte kumulative Verteilungsfunktion uber einem Trager welcher durch x displaystyle x nbsp beschrieben wird und y R displaystyle y in mathbb R nbsp ist die Beobachtung Beachte dass die Vorhersage mehrere Wahrscheinlichkeiten schatzt sodass eine kumulative Verteilungsfunktion F entsteht Wenn die Vorhergesagte Dichte eine Delta Distribution p z d y z displaystyle p z delta hat y z nbsp ist alsoF x x d y z d z 1 x y displaystyle F x int infty x delta hat y z dz mathbb 1 x geq hat y nbsp dann ist der CRPS aquivalent zum Mean absolute error MAE C R P S F y R 1 x y 1 x y 2 d x y y 1 d x fur y gt y y y 1 d x sonst y y displaystyle CRPS F y int mathbb R mathbb 1 x geq hat y mathbb 1 x geq y 2 dx begin cases int hat y y 1dx text fur y gt hat y int y hat y 1dx text sonst end cases hat y y nbsp Spharische scoring rule Bearbeiten Die Spharische scoring rule u x q x q 2 displaystyle u x q x sqrt q 2 nbsp dd Beispiel Bernoulli verteilte Zufallszahl BearbeitenBetrachte die Aufgabe der Wettervorhersage bei der an jedem Tag eine Regenwahrscheinlichkeit q vorhergesagt wird und es an einem Tag entweder regnet x 1 oder nicht regnet x 0 Die echte Wahrscheinlichkeit dass es regnet ist sei p und die Wahrscheinlichkeit dass es nicht regnet 1 p Wir betrachten somit eine Bernoulli verteilte Zufallszahl X Ber p displaystyle X sim text Ber p nbsp X 0 1 displaystyle X in 0 1 nbsp p X 1 p displaystyle p X 1 p nbsp p X 0 1 p displaystyle p X 0 1 p nbsp Durch eine Statistik der vorhergesagten Wahrscheinlichkeiten q kann die tatsachliche Regenhaufigkeit p mit der Vorhersage abgeglichen werden Besitzt die Vorhersage q oft eine grosse Abweichung zu p so wird sie schlecht kalibriert genannt Um den Vorhersagenden zu motivieren die Wahrscheinlichkeitskalibrierung seine Leistung zu verbessern kann ihm das Ziel gesetzt werden den Erwartungswert einer proper scoring rule positiver Orientierung u x q displaystyle u x q nbsp zu maximieren oder bei negativer Orientierung zu minimieren Logarithmischer Score Bearbeiten Betrachte die Scoring Funktion u x q log q fur x 1 log 1 q fur x 0 displaystyle u x q begin cases log q text fur x 1 log 1 q text fur x 0 end cases nbsp so ist E X u x q p log q 1 p log 1 q displaystyle E X u x q p log q 1 p log 1 q nbsp Maximierung des erwarteten Scores liefert q E X u x q q q x 0 1 p x u x q q q p u 1 q 1 p u 0 q q p q q q 2 q 0 q p displaystyle partial q E X u x q q partial q sum x in 0 1 p x u x q q partial q pu 1 q 1 p u 0 q q frac p q q q 2 q 0 implies q p nbsp Somit wird der erwartete Score durch die spezielle Wahl q p displaystyle q p nbsp maximiert und u x q log q fur x 1 log 1 q fur x 0 displaystyle u x q begin cases log q text fur x 1 log 1 q text fur x 0 end cases nbsp ist eine proper scoring rule positiver Orientierung Beachte der negative Erwartungswert E X u x q p log q 1 p log 1 q displaystyle E X u x q p log q 1 p log 1 q nbsp entspricht der Kreuzentropie Die Wahl einer logarithmischen scoring rule ist per se willkurlich kann jedoch durch Maximierung der Likelihood Funktion motiviert werden Quadratischer Score Bearbeiten Betrachte die Scoring Funktion u x q x q 2 displaystyle u x q x q 2 nbsp so ist E X u x q p 1 q 2 1 p 0 q 2 displaystyle E X u x q p 1 q 2 1 p 0 q 2 nbsp Minimierung des erwarteten Scores liefert q E X u x q q 2 q 2 p q 0 q p displaystyle partial q E X u x q q 2q 2p q 0 implies q p nbsp Somit wird der erwartete Score durch die spezielle Wahl q p displaystyle q p nbsp minimiert und u x q x q 2 displaystyle u x q x q 2 nbsp ist eine proper scoring rule negativer Orientierung Absoluter Score Bearbeiten Betrachte die Scoring Funktion u x q x q displaystyle u x q x q nbsp mit 0 q 1 displaystyle 0 leq q leq 1 nbsp so ist E X u x q p 1 q 1 p 0 q p 1 q 1 p q displaystyle E X u x q p 1 q 1 p 0 q p 1 q 1 p q nbsp Minimierung des erwarteten Scores liefert q E X u x q q 1 2 p 0 displaystyle partial q E X u x q q 1 2p 0 nbsp was nur fur p 0 5 wahr ist Somit wird der erwartete Score nicht durch die spezielle Wahl q p displaystyle q p nbsp minimiert und u x q x q displaystyle u x q x q nbsp ist keine proper scoring rule Probleme BearbeitenEine extreme Ungleichheit bei den Klassenhaufigkeiten macht die Schatzung von Wahrscheinlichkeiten schwer 4 Literatur BearbeitenSome Comparisons among Quadratic Spherical and Logarithmic Scoring Rules J Eric Bickel 7 https doi org 10 1287 deca 1070 0089Weblinks BearbeitenVideo comparing spherical quadratic and logarithmic scoring rulesEinzelnachweise Bearbeiten Greenberg Spencer Calibration scoring rules for practical prediction training arXiv preprint arXiv 1808 07501 2018 https arxiv org abs 1808 07501 Economic Value of Weather and Climate Forecasts 1997 Vereinigtes Konigreich Cambridge University Press Seite 36 google books Healthcare Data Analytics 2015 USA CRC Press https www google de books edition Healthcare Data Analytics Iun5CQAAQBAJ hl de amp gbpv 1 amp dq brier 20score 20definition 20most 20common amp pg PA366 amp printsec frontcover Wallace Byron amp Dahabreh Issa 2012 Class Probability Estimates are Unreliable for Imbalanced Data and How to Fix Them Proceedings IEEE International Conference on Data Mining ICDM 695 704 doi 10 1109 ICDM 2012 115 Abgerufen von https de wikipedia org w index php title Scoring rule amp oldid 238542113