Wat is Model Drift? - Uitleg & Betekenis

Definitie

Model drift (of ML drift) is de geleidelijke of plotselinge achteruitgang van modelprestaties in productie omdat de invoerdata of de relatie tussen input en output verandert. Het model dat getraind was op historische data past niet meer bij de huidige realiteit.

Technische uitleg

Twee hoofdtypen: data drift (input distribution verandert) en concept drift (relatie tussen input en target verandert). Detectiemethoden: statistische tests (KS, PSI), monitoring van feature-distributies, performance metrics (accuracy, AUC) over tijd, en reference data vergelijking. Oplossingen: periodic retraining, online learning, en human-in-the-loop review. Drift kan geleidelijk zijn (seizoenspatronen) of abrupt (COVID, beleidswijziging). Monitoring en geautomatiseerde retraining zijn onderdeel van MLOps.

Hoe AVARC Solutions dit toepast

AVARC Solutions implementeert drift monitoring voor productie-modellen. We volgen feature-distributies, modelprestaties en business metrics, en sturen retraining of human review aan wanneer significante drift wordt gedetecteerd.

Praktische voorbeelden

• Een fraudemodel waar transactiepatronen veranderen na een nieuwe betaaloptie, waardoor het model minder effectief wordt.
• Een aanbevelingssysteem waar productcatalogus en klantgedrag seizoensgebonden veranderen.
• Een churn-model waar de definitie van "churn" intern gewijzigd is, waardoor labels niet meer kloppen.

Gerelateerde begrippen