Machine Learning: Métricas e Modelos?

“Modelo sem métrica é como um carro sem combustível…”

Em muitos casos, saber escolher a mais promissora em seu problema; faz toda diferença!

Métricas…

O que dizer?
Embora a mais conhecida seja a “dona” Accuracy (Que é básicamente o número de respostas corretas dividida pelo total de previsões), nem sempre usa-lá vai dar “bom” (tô certo?)

• Tá mas o que seria métrica?
• Para que serve?
• Como vivem?
• Se reproduzem?
• Resposta um pouco grosseira:
  Métricas são usadas para avaliar o desempenho de seu modelo (sem ela, seu modelo puft…

• ); Seu objetivo é estimar a precisão de generalização de seu modelo.

Onde usei? E quais usei?

Kaggle — Credit Card Fraud Detection (Links para um site externo.)
Métricas: Cross Validation, Precision, Confusion Matrix

Kaggle — Titanic Disaster (Links para um site externo.)
Métricas: Accuracy, Precision

Kaggle — Previsão do preço das ações (Links para um site externo.)
Métricas: Mean Absolute Error

Kaggle — Porto Seguro’s Safe Driver Prediction (Links para um site externo.)
Métricas: True Positives, True Negatives, False Positives, False Negatives, Precision,Recall, AUC

Livro que me ajudou MUITO a desvendar os mistérios das metricas em modelos, foi o “Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow”