W świecie uczenia maszynowego, ocena jakości modeli jest procesem fundamentalnym. Istnieje wiele metryk służących do tego celu, jednak F1 score wyróżnia się jako narzędzie pozwalające na zbalansowane spojrzenie na wydajność klasyfikatora, szczególnie w sytuacjach, gdy mamy do czynienia z niezbalansowanymi zbiorami danych. Zrozumienie, czym jest F1 score, skąd się bierze i jak go interpretować, jest kluczowe dla każdego, kto zajmuje się budowaniem i ewaluacją modeli predykcyjnych.

Czym jest F1 score? Podstawowe definicje

Aby zrozumieć F1 score, musimy najpierw poznać jego składowe: precyzję (precision) i czułość (recall), znaną również jako kompletność lub wskaźnik trafień. Obie te metryki wynikają z analizy macierzy pomyłek (confusion matrix), która przedstawia liczbę prawdziwie pozytywnych (TP), fałszywie pozytywnych (FP), prawdziwie negatywnych (TN) i fałszywie negatywnych (FN) klasyfikacji dokonanych przez model.

• Precyzja (precision) mierzy, jaki procent wszystkich pozytywnych przewidywań modelu faktycznie było poprawnych. Oblicza się ją jako: Precyzja = TP / (TP + FP). Wysoka precyzja oznacza, że gdy model przewiduje klasę pozytywną, jest bardzo prawdopodobne, że jest to trafienie.
• Czułość (recall) mierzy, jaki procent wszystkich faktycznie pozytywnych przypadków model poprawnie zidentyfikował. Oblicza się ją jako: Czułość = TP / (TP + FN). Wysoka czułość oznacza, że model jest w stanie wychwycić większość pozytywnych przykładów.

Jak oblicza się F1 score? Wzór i znaczenie

F1 score jest średnią harmoniczną precyzji i czułości. Średnia harmoniczna jest stosowana, ponieważ lepiej odzwierciedla sytuację, gdy obie metryki są wysokie. Wzór na F1 score wygląda następująco:

F1 score = 2 * (Precyzja * Czułość) / (Precyzja + Czułość)

Dlaczego właśnie średnia harmoniczna? Ponieważ aby uzyskać wysoki F1 score, zarówno precyzja, jak i czułość muszą być na dobrym poziomie. Jeśli jedna z tych metryk jest bardzo niska, F1 score również będzie niski, nawet jeśli druga metryka jest wysoka. To sprawia, że F1 score jest doskonałym wskaźnikiem, gdy zależy nam na równowadze między liczbą fałszywie pozytywnych i fałszywie negatywnych wyników.

Kiedy stosować F1 score? Analiza przypadków użycia

F1 score jest szczególnie przydatny w sytuacjach, gdy mamy do czynienia z niezbalansowanymi zbiorami danych. Oznacza to, że jedna z klas (np. klasa pozytywna) występuje znacznie rzadziej niż druga (klasa negatywna). W takich przypadkach metryki takie jak ogólna dokładność (accuracy) mogą być mylące. Model może osiągnąć wysoką dokładność po prostu przewidując zawsze klasę dominującą, ignorując przy tym klasę mniejszościową, która często jest tą bardziej interesującą (np. wykrywanie oszustw, diagnozowanie rzadkich chorób).

Przykładem może być model klasyfikujący e-maile jako spam. Jeśli 99% e-maili nie jest spamem, a tylko 1% to spam, model przewidujący zawsze “nie spam” osiągnie 99% dokładności. Jednak taki model jest bezużyteczny w wykrywaniu spamu. W tym scenariuszu F1 score, biorąc pod uwagę zarówno precyzję (ile z e-maili oznaczonych jako spam faktycznie nim było) jak i czułość (ile faktycznych spamów zostało wykrytych), da znacznie lepszy obraz rzeczywistej wydajności modelu.

Interpretacja wartości F1 score

Wartość F1 score mieści się w przedziale od 0 do 1 (lub od 0% do 100%).

• F1 score bliski 1 (lub 100%) oznacza, że model ma zarówno wysoką precyzję, jak i wysoką czułość. Jest to idealna sytuacja, świadcząca o doskonałej równowadze i dobrej generalizacji modelu.
• F1 score bliski 0 oznacza, że model ma problemy z jedną lub obiema metrykami składowymi. Może to oznaczać, że model generuje wiele fałszywych pozytywów lub przegapia wiele pozytywnych przypadków.

Porównując F1 score różnych modeli dla tego samego zadania, możemy wybrać ten, który oferuje najlepszy kompromis między precyzją a czułością, dostosowany do specyficznych wymagań problemu.

F1 score a inne metryki oceny

Chociaż F1 score jest bardzo użyteczny, ważne jest, aby rozważyć go w kontekście innych metryk.

• Accuracy: Jak wspomniano, może być myląca przy niezbalansowanych danych.
• Precyzja: Skupia się na poprawności pozytywnych przewidywań. Jest ważna, gdy koszt fałszywie pozytywnych jest wysoki.
• Czułość (Recall): Skupia się na wychwytywaniu wszystkich pozytywnych przypadków. Jest ważna, gdy koszt fałszywie negatywnych jest wysoki.
• AUC-ROC: Mierzy zdolność modelu do rozróżniania między klasami przy różnych progach klasyfikacji.

Wybór odpowiedniej metryki zależy od konkretnego problemu biznesowego i tego, które typy błędów są bardziej kosztowne. Często stosuje się kombinację metryk, aby uzyskać pełniejszy obraz wydajności modelu. F1 score stanowi jednak solidną bazę do oceny, szczególnie gdy szukamy zbalansowanego podejścia.

Podsumowanie

F1 score jest niezastąpioną metryką w arsenale każdego specjalisty od uczenia maszynowego. Jego zdolność do zapewnienia zbalansowanej oceny modelu, szczególnie w obliczu niezbalansowanych zbiorów danych, czyni go kluczowym narzędziem do podejmowania świadomych decyzji o jakości i przydatności modeli predykcyjnych. Zrozumienie jego pochodzenia, sposobu obliczania i interpretacji pozwala na efektywniejszą pracę nad budowaniem modeli, które realnie odpowiadają na potrzeby stawiane przez problemy świata rzeczywistego.