Bu dokümanda model performans ölçümlerinde kullanılan bazı metrikler özetlenmekte ve kıyaslanmaktadır. Bu metrikler sırasıyla:

  • Ortalama Mutlak Hata – Mean Absolute Error (MAE)
  • Ortalama Mutlak Yüzdesel Hata – Mean Absolute Percentage Error (MAPE)
  • Ağırlıklı Ortalama Mutlak Yüzdesel Hata – Weighted Mean Absolute Percentage Error (WMAPE)

Ortalama Mutlak Hata her bir gözlem noktasındaki tahmin ve gerçekleşen değerin mutlak farklarının ortalaması üzerinden hesaplanmaktadır.

    \[MAE = \sum_{i=1}^{N} |T_i - G_i|\]

Ortalama Mutlak Yüzdesel Hata her bir gözlem noktasındaki tahmin ve gerçekleşen değerin mutlak yüzde farklarının ortalaması üzerinden hesaplanmaktadır.

    \[MAPE = \sum_{i=1}^{N} \frac{|T_i - G_i|}{G_i}\]

Ağırlıklı Ortalama Mutlak Yüzdesel Hata her bir gözlem noktasındaki tahmin ve gerçekleşen değerin mutlak farklarının toplamının toplam gerçekleşen değere oranı üzerinden hesaplanmaktadır.

    \[WMAPE = \frac{\sum_{i=1}^{N} |T_i - G_i|}{\sum_{i=1}^{N} G_i}\]

N = Gözlem Sayısı, T_i = i gözlemi için tahmin değeri, G_i = i gözlemi için gerçek değer

İlgili metriklerin hesaplanması aşağıdaki örnek veri üzerinde de sayısal olarak gösterilmektedir.

 

Gözlem Tahmin Gerçekleşen Mutlak Hata Mutlak Yüzdesel Hata
1 55.000 57.000 2.000 %3.51
2 47.000 45.000 2.000 %4.44
3 60.000 55.000 5.000 %9.09
4 10.000 11.000 1.000 %9.09
5 22.000 21.000 1.000 %4.76
6 4.000 0.050 3.950 %7900
7 50.000 56.000 6.000 %10.71
Toplam 248.000 245.050 20.950 %7941.61
Ortalama 35.429 35.007 2.993 %1134.52

Örnekler

Belirtilen örnek için:

  • MAE: Ortalama Mutlak Hata = 2.993
  • MAPE: Ortalama Mutlak Yüzdesel Hata = %1134.52
  • WMAPE: Ağırlıklı Ortalama Mutlak Yüzdesel Hata = \frac{20.950}{245.050} = %8.54

olarak hesaplanmaktadır. Bu metrikleri kıyaslayacak olursak:

  • Öncelikle MAE yüzdesel bir ifadeden öte tahmin ve gerçekleşen değerlerin ölçü birimi cinsinden bir sonuç vermektedir. Özellikle rüzgar üretim tahminlerinde santraller arasında üretim kapasitesi farklılık gösterdiği için MAE kolay yorumlanabilir bir sonuç üretmemektedir. Örneğin rüzgar tahmini problemi için MAE ölçü birimi MWH cinsinden olacaktır.
  • MAPE ise yüzdesel bir ifade olmasına rağmen örnekte de görüldüğü gibi (6 numaralı gözlem) gerçekleşen değerin düşük olduğu koşullarda olağandışı yüksek yüzde hata üretmektedir. Özellikle rüzgar üretim tahmini gibi gözlem ölçeklerinin sürekli değiştiği ve gerçekleşen değerin sıkça sıfıra yaklaştığı durumlarda MAPE güvenilir ve kıyaslanabilir sonuçlar üretmemektedir.
  • Yorumlanabilirliği arttırmak adına WMAPE, MAE ölçüsüne ek olarak paydaya toplam gerçekleşeni de ekleyerek sonucu yüzdesel bir ifadeye çevirmektedir. Bu durum ise güvenilirliğinin yanında yorumlanabilirliği de arttırmaktadır.

Bu doğrultudaki gözlemler ışığında WMAPE, hem yorumlanabilir hem de güvenilir bir metrik olarak öne çıkmaktadır.