Leistungsmetriken
Dieses Dokument fasst einige Metriken zusammen, die zur Bewertung der Modellleistung verwendet werden, und vergleicht sie. Diese Metriken sind:
- Mittlerer absoluter Fehler (Mean Absolute Error, MAE)
- Mittlerer absoluter prozentualer Fehler (Mean Absolute Percentage Error, MAPE)
- Gewichteter mittlerer absoluter prozentualer Fehler (Weighted Mean Absolute Percentage Error, WMAPE)
Der mittlere absolute Fehler wird als Durchschnitt der absoluten Differenzen zwischen den vorhergesagten und tatsächlichen Werten für jede Beobachtung berechnet.
$$ MAE = \sum_{i=1}^{N} |T_i - G_i| $$
Der mittlere absolute prozentuale Fehler wird als Durchschnitt der absoluten prozentualen Differenzen zwischen den vorhergesagten und tatsächlichen Werten für jede Beobachtung berechnet.
$$ MAPE = \sum_{i=1}^{N} \frac{|T_i - G_i|}{G_i} $$
Der gewichtete mittlere absolute prozentuale Fehler wird als Verhältnis der Summe der absoluten Differenzen zwischen den vorhergesagten und tatsächlichen Werten zur Summe der tatsächlichen Werte berechnet.
$$ WMAPE = \frac{\sum_{i=1}^{N} |T_i - G_i|}{\sum_{i=1}^{N} G_i} $$
N = Anzahl der Beobachtungen, \( T_i \) = Vorhergesagter Wert für die i-te Beobachtung, \( G_i \) = Tatsächlicher Wert für die i-te Beobachtung
Die Berechnung dieser Metriken wird auch numerisch anhand der folgenden Beispieldaten demonstriert.
| Beobachtung | Vorhergesagt | Tatsächlich | Absoluter Fehler | Absoluter prozentualer Fehler |
|---|---|---|---|---|
| 1 | 55.000 | 57.000 | 2.000 | %3.51 |
| 2 | 47.000 | 45.000 | 2.000 | %4.44 |
| 3 | 60.000 | 55.000 | 5.000 | %9.09 |
| 4 | 10.000 | 11.000 | 1.000 | %9.09 |
| 5 | 22.000 | 21.000 | 1.000 | %4.76 |
| 6 | 4.000 | 0.050 | 3.950 | %7900 |
| 7 | 50.000 | 56.000 | 6.000 | %10.71 |
| Gesamt | 248.000 | 245.050 | 20.950 | %7941.61 |
| Durchschnitt | 35.429 | 35.007 | 2.993 | %1134.52 |
Für das angegebene Beispiel:
- MAE: Mittlerer absoluter Fehler = 2.993
- MAPE: Mittlerer absoluter prozentualer Fehler = %1134.52
- WMAPE: Gewichteter mittlerer absoluter prozentualer Fehler = \( \frac{20.950}{245.050} \) = %8.54
Diese werden wie folgt berechnet. Ein Vergleich dieser Metriken ergibt:
- Zunächst liefert MAE ein Ergebnis in der Maßeinheit der vorhergesagten und tatsächlichen Werte, nicht in Prozent. Besonders bei Prognosen zur Windenergieerzeugung, wo die Produktionskapazitäten zwischen den Anlagen variieren, liefert MAE kein leicht interpretierbares Ergebnis. Beispielsweise ist die Maßeinheit von MAE bei Windprognosen MWh.
- MAPE ist zwar eine prozentuale Ausdrucksweise, erzeugt jedoch, wie im Beispiel (Beobachtung 6) zu sehen, ungewöhnlich hohe prozentuale Fehler, wenn der tatsächliche Wert niedrig ist. In Fällen wie der Windenergieprognose, wo die Beobachtungsskalen ständig variieren und die tatsächlichen Werte häufig nahe null liegen, liefert MAPE keine zuverlässigen und vergleichbaren Ergebnisse.
- Um die Interpretierbarkeit zu verbessern, fügt WMAPE zusätzlich zur MAE-Metrik die Summe der tatsächlichen Werte in den Nenner ein und wandelt das Ergebnis in einen prozentualen Ausdruck um. Dies erhöht sowohl die Zuverlässigkeit als auch die Interpretierbarkeit.
Im Lichte dieser Beobachtungen sticht WMAPE als sowohl interpretierbare als auch zuverlässige Metrik hervor.
