Volver al blog
Método15/11/20262 min de lecturaMETRIKA

Cómo probar un modelo antes de fiarte de él

Una guía para evaluar pronósticos con pruebas cronológicas, calibración y un registro de decisiones que puedas repetir.

Cómo probar un modelo antes de fiarte de él

Un modelo puede parecer excelente en un histórico y fallar en cuanto cambia el mes. La causa suele estar en la forma de evaluar, en los datos disponibles en el momento del pronóstico o en la elección de qué resultados publicar. El punto de partida es definir la pregunta: «¿Qué habría sabido antes del partido y cómo habría evaluado mi decisión después?».

Haz la prueba como si vivieras en el pasado

Ordena los partidos por fecha. Entrena con enero, febrero y marzo, toma decisiones simuladas en abril y guarda esas decisiones con su hora. Avanza una ventana: entrena hasta abril y prueba en mayo. Fija primero el procedimiento y conserva un tramo final sin usar aunque el resultado de un mes te lleve a replantear el modelo. El estudio de un flujo temporal sobre mercados de LaLiga ilustra cómo aplicar controles de este tipo.

Audita cada columna

Anota cuándo se conocieron la alineación, las ausencias y la cuota. Una cuota de cierre introducida en un pronóstico hecho por la mañana rompe la simulación. También la rompe una media calculada con encuentros posteriores o un partido repetido entre entrenamiento y evaluación. Mantén un registro por observación con mercado, reglas, timestamp, fuente y criterio de exclusión.

Mide más de una cosa

En un ejemplo simulado, pronosticas un 70 % en 20 eventos y aciertas 12. Observaste un 60 %, suficiente para hacer preguntas y demasiado poco para declarar un sesgo persistente. La documentación de calibración de scikit-learn explica cómo agrupar pronósticos por probabilidad. Añade tamaño de muestra, fallos, coste supuesto y resultados por periodo. El CLV solo compara precios bajo reglas equivalentes y no demuestra que el modelo sea rentable. Para evaluar el pronóstico, empieza con unidades simuladas constantes. El criterio de Kelly añade decisiones de tamaño que dependen de estimaciones inciertas y pueden distorsionar la comparación.

Para cerrar, escribe en una frase la mejora que ensayarías, qué dato la refutaría y cuándo volverías a medirla. Si tu siguiente prueba cambia de mercado o de fuente, publícala como una prueba nueva.

Compartir este artículo

¿Te ha resultado útil este artículo?

Empieza a usar METRIKA y lleva tus apuestas al siguiente nivel.